系统运维 » 大模型

Linux下DeepSeek+Ollama‌+Dify搭建本地知识库

qihang01 — Mon, 17 Feb 2025 10:42:58 +0000

组件简介： 1、DeepSeek：提供强大的文本理解和生成能力。作为语言模型的核心，负责生成高质量的回答。 2、Ollama：作为一个开源框架，管理 DeepSeek 模型的加载和推理。支持多种大模型，提供轻量级的接口。 3、Dify： Dify 是一个开源的项目，旨在为开发者和企业提供一站式的大语言模型（LLM）应用开发解决方案。它可以帮助用户快速构建、定制和部署基于大语言模型的应用程序，而无需深入理解复杂的底层技术细节。系统环境：这里使用Rocky Linux 9.x系统部署 CPU ：4核内存： 16GB 磁盘： 150GB 一、准备篇 1、禁用SELinux rpm -q grubby #确认grubby软件包是否已经安装 grubby --update-kernel ALL --args selinux=0 #添加selinux=0到内核命令行 shutdown -r now #重启系统 getenforce #查看结果为Disabled 2、防火墙设置 Rocky Linux 9.x默认是firewalld防火墙，因为‌Docker需要iptables，我们这里卸载firewall，安装iptables作为防火墙，并清空防火墙规则 2.1关闭firewall systemctl stop firewalld.service systemctl disable firewalld.service systemctl mask firewalld [...]

查看全文

Linux下修改Ollama大模型文件默认存储路径

qihang01 — Thu, 13 Feb 2025 10:26:22 +0000

Linux下安装的Ollama，下载的大模型文件默认是存储在ollama用户目录下的.ollama/models目录。 #创建用户ollama useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama usermod -a -G ollama $(whoami) 类似上面的方式创建用户后模型默认是在存储在ollama用户目录下.ollama/models目录，这里ollama用户的目录是/usr/share/ollama 所以模型的目录就是在/usr/share/ollama/.ollama/models下 1、修改默认的存储路径 #创建模型存储的目录 mkdir -p /data/server/ollama/models #设置目录所有者为ollama 用户和 ollama 组 chown -R ollama:ollama /data/server/ollama/models -R #设置目录权限 chmod 755 /data/server/ollama/models -R 2、修改启动服务添加这一行：Environment="OLLAMA_MODELS=/data/server/ollama/models" #自定义模型存储的目录 vi /etc/systemd/system/ollama.service [Unit] Description=Ollama Service After=network-online.target [Service] ExecStart=/usr/bin/ollama serve User=ollama Group=ollama Restart=always RestartSec=3 Environment="PATH=$PATH" [...]

查看全文

Ollama+Open WebUI本地化大模型安装部署

qihang01 — Tue, 31 Dec 2024 01:50:33 +0000

1、Ollama简介 ‌Ollama‌是一个开源的框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。它提供了一个简洁且用户友好的命令行界面，使得用户可以轻松地部署和管理各类开源的LLM。官方网站： https://ollama.com/download https://github.com/ollama/ollama 2、‌Open WebUI‌简介 ‌Open WebUI‌是一个开源的用户界面工具，专为运行和管理大型语言模型（LLM）及其他人工智能功能设计。其主要目的是简化人工智能模型的本地部署和操作，使用户能够通过浏览器界面与各种AI模型进行交互‌。官方网站： https://github.com/open-webui/open-webui 一、准备篇操作系统：CentOS-7.x 1、修改默认yum源，截止目前CentOS-7.x官方已经停止维护，yum命令默认已经无法使用。 #配置中科大yum源 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo-backup vi /etc/yum.repos.d/CentOS-Base.repo #编辑源文件 [base] name=CentOS- - Base baseurl=https://mirrors.ustc.edu.cn/centos-vault/centos/7.9.2009/os/$basearch/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 [updates] name=CentOS- - Updates baseurl=https://mirrors.ustc.edu.cn/centos-vault/centos/7.9.2009/updates/$basearch/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 [extras] name=CentOS- - Extras baseurl=https://mirrors.ustc.edu.cn/centos-vault/centos/7.9.2009/extras/$basearch/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 [centosplus] name=CentOS- - Plus baseurl=https://mirrors.ustc.edu.cn/centos-vault/centos/7.9.2009/centosplus/$basearch/ gpgcheck=1 enabled=0 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 :wq! #保存退出 yum clean all [...]

查看全文