Ubuntu中部署deepseek&AnythingLLM搭建本地知识库
ubuntu中部署Deepseek,安装AnythingLLM搭建本地知识库
·
deepseek-r1:1.5b版本可以在CPU上运行
1.安装ollama
1.1更新系统包
sudo apt update
sudo apt upgrade -y
1.2 安装依赖
sudo apt install -y curl git
1.3 下载并安装 Ollama
Ollama 通常通过脚本安装。你可以使用以下命令下载并运行安装脚本:
curl -fsSL https://ollama.ai/install.sh | sh
1.4 Ollama 服务管理
# 启动
sudo systemctl enable ollama
# 查看状态
sudo systemctl status ollama
# 更新 Ollama
curl -fsSL https://ollama.ai/install.sh | sh
# 卸载 Ollama
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm -rf /usr/local/bin/ollama
sudo rm -rf /etc/systemd/system/ollama.service
2安装deepseek
登陆官网 https://ollama.com,选择Model菜单,选择deepseek-r1,复制命令,如7b模型命令如下
ollama run deepseek-r1:7b
把以上代码在命令终端运行,就会下载deepseek 7b模型,下载完成之后就会执行运行起来,你就可以直接与大模型对话了。
输入以下命令退出运行
Ctrl + d
或者
/bye
3.再次启动
只需要运行如下命令
ollama run deepseek-r1:7b

4.AnythingLLM 搭建本地知识库
4.1 安装AnythingLLM
参考地址:https://docs.anythingllm.com/installation-desktop/linux#install-using-the-installer-script
curl -fsSL https://cdn.anythingllm.com/latest/installer.sh | sh
4.2 配置沙箱运行权限
运行以下命令,修改沙箱执行权限。注意:需要把[用户名]修改为你登陆的用户名
# 更改所有者和所属组
sudo chown root:root /home/用户名/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
#4:文件将以文件所有者的权限运行 7:所有的权限 读+写+执行 5:所属组的权限 读+执行 5:其他用户权限 读+执行
sudo chmod 4755 /home/用户名/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
4.3 运行AnythingLLM
./AnythingLLMDesktop/start
- 运行成功会打开欢迎使用界面,点击开始

- 选择Ollama使用本地模型,并选择Ollama中已经下载的LLM

- 创一个工作区,工作区是文件、文档、图像、PDF 和其他文件的存储桶,这些文件将被转换为 LLM 可以理解和在对话中使用的内容

- 点击工作区中的default就可以直接开始聊天了。

- 点击设置按钮,可以重新配置LLM、向量模型等参数

4.4 搭建本地知识库
- 点击上传按钮

- 可以上传文本文件、csv文件,上传之后点击移到工作区。

- 点击保存并向量化,成功之后,在聊天界面大模型就可以应用本地知识库了!

4.5 卸载AnythingLLM
- 删除配置文件,需替换{user}
rm -r /home/{user}/.config/anythingllm-desktop
- 删除AnythingLLM
找到安装目录,全部删除
rm -r /home/{user}/AnythingLLMDesktop
更多推荐




所有评论(0)