系统运维 » Ollama‌

Linux下DeepSeek+Ollama‌+Dify搭建本地知识库

qihang01 — Mon, 17 Feb 2025 10:42:58 +0000

组件简介： 1、DeepSeek：提供强大的文本理解和生成能力。作为语言模型的核心，负责生成高质量的回答。 2、Ollama：作为一个开源框架，管理 DeepSeek 模型的加载和推理。支持多种大模型，提供轻量级的接口。 3、Dify： Dify 是一个开源的项目，旨在为开发者和企业提供一站式的大语言模型（LLM）应用开发解决方案。它可以帮助用户快速构建、定制和部署基于大语言模型的应用程序，而无需深入理解复杂的底层技术细节。系统环境：这里使用Rocky Linux 9.x系统部署 CPU ：4核内存： 16GB 磁盘： 150GB 一、准备篇 1、禁用SELinux rpm -q grubby #确认grubby软件包是否已经安装 grubby --update-kernel ALL --args selinux=0 #添加selinux=0到内核命令行 shutdown -r now #重启系统 getenforce #查看结果为Disabled 2、防火墙设置 Rocky Linux 9.x默认是firewalld防火墙，因为‌Docker需要iptables，我们这里卸载firewall，安装iptables作为防火墙，并清空防火墙规则 2.1关闭firewall systemctl stop firewalld.service systemctl disable firewalld.service systemctl mask firewalld [...]

查看全文

DeepSeek+Ollama‌+RAGFlow搭建本地知识库

qihang01 — Wed, 12 Feb 2025 07:07:06 +0000

组件简介： 1、DeepSeek：提供强大的文本理解和生成能力。作为语言模型的核心，负责生成高质量的回答。 2、Ollama：作为一个开源框架，管理 DeepSeek 模型的加载和推理。支持多种大模型，提供轻量级的接口。 3、RAGFlow：实现检索增强生成（Retrieval-Augmented Generation）。结合向量数据库（如 Elasticsearch 等）进行高效检索。将检索到的相关文档片段与语言模型结合，生成更准确的回答。系统环境：这里使用Rocky Linux 9.x系统部署 CPU ：4核内存： 16GB 磁盘： 150GB 准备篇 1、禁用SELinux rpm -q grubby #确认grubby软件包是否已经安装 grubby --update-kernel ALL --args selinux=0 #添加selinux=0到内核命令行 shutdown -r now #重启系统 getenforce #查看结果为Disabled 2、防火墙设置 Rocky Linux 9.x默认是firewalld防火墙，因为‌Docker需要iptables，我们这里卸载firewall，安装iptables作为防火墙，并清空防火墙规则 2.1关闭firewall systemctl stop firewalld.service systemctl disable firewalld.service [...]

查看全文

Ollama+Open WebUI本地化大模型安装部署

qihang01 — Tue, 31 Dec 2024 01:50:33 +0000

1、Ollama简介 ‌Ollama‌是一个开源的框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。它提供了一个简洁且用户友好的命令行界面，使得用户可以轻松地部署和管理各类开源的LLM。官方网站： https://ollama.com/download https://github.com/ollama/ollama 2、‌Open WebUI‌简介 ‌Open WebUI‌是一个开源的用户界面工具，专为运行和管理大型语言模型（LLM）及其他人工智能功能设计。其主要目的是简化人工智能模型的本地部署和操作，使用户能够通过浏览器界面与各种AI模型进行交互‌。官方网站： https://github.com/open-webui/open-webui 一、准备篇操作系统：CentOS-7.x 1、修改默认yum源，截止目前CentOS-7.x官方已经停止维护，yum命令默认已经无法使用。 #配置中科大yum源 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo-backup vi /etc/yum.repos.d/CentOS-Base.repo #编辑源文件 [base] name=CentOS- - Base baseurl=https://mirrors.ustc.edu.cn/centos-vault/centos/7.9.2009/os/$basearch/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 [updates] name=CentOS- - Updates baseurl=https://mirrors.ustc.edu.cn/centos-vault/centos/7.9.2009/updates/$basearch/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 [extras] name=CentOS- - Extras baseurl=https://mirrors.ustc.edu.cn/centos-vault/centos/7.9.2009/extras/$basearch/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 [centosplus] name=CentOS- - Plus baseurl=https://mirrors.ustc.edu.cn/centos-vault/centos/7.9.2009/centosplus/$basearch/ gpgcheck=1 enabled=0 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 :wq! #保存退出 yum clean all [...]

查看全文