Ollama+Open WebUI本地化大模型安装部署

qihang01 — Tue, 31 Dec 2024 01:50:33 +0000

1、Ollama简介 ‌Ollama‌是一个开源的框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。它提供了一个简洁且用户友好的命令行界面，使得用户可以轻松地部署和管理各类开源的LLM。官方网站： https://ollama.com/download https://github.com/ollama/ollama 2、‌Open WebUI‌简介 ‌Open WebUI‌是一个开源的用户界面工具，专为运行和管理大型语言模型（LLM）及其他人工智能功能设计。其主要目的是简化人工智能模型的本地部署和操作，使用户能够通过浏览器界面与各种AI模型进行交互‌。官方网站： https://github.com/open-webui/open-webui 一、准备篇操作系统：CentOS-7.x 1、修改默认yum源，截止目前CentOS-7.x官方已经停止维护，yum命令默认已经无法使用。 #配置中科大yum源 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo-backup vi /etc/yum.repos.d/CentOS-Base.repo #编辑源文件 [base] name=CentOS- - Base baseurl=https://mirrors.ustc.edu.cn/centos-vault/centos/7.9.2009/os/$basearch/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 [updates] name=CentOS- - Updates baseurl=https://mirrors.ustc.edu.cn/centos-vault/centos/7.9.2009/updates/$basearch/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 [extras] name=CentOS- - Extras baseurl=https://mirrors.ustc.edu.cn/centos-vault/centos/7.9.2009/extras/$basearch/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 [centosplus] name=CentOS- - Plus baseurl=https://mirrors.ustc.edu.cn/centos-vault/centos/7.9.2009/centosplus/$basearch/ gpgcheck=1 enabled=0 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 :wq! #保存退出 yum clean all [...]

查看全文

系统运维 » Open WebUI

Ollama+Open WebUI本地化大模型安装部署