deepseek-r1:1.5b版本可以在CPU上运行

1.安装ollama

1.1更新系统包

sudo apt update
sudo apt upgrade -y

1.2 安装依赖

sudo apt install -y curl git

1.3 下载并安装 Ollama

Ollama 通常通过脚本安装。你可以使用以下命令下载并运行安装脚本:

curl -fsSL https://ollama.ai/install.sh | sh

1.4 Ollama 服务管理

# 启动
sudo systemctl enable ollama
# 查看状态
sudo systemctl status ollama
# 更新 Ollama
curl -fsSL https://ollama.ai/install.sh | sh
# 卸载 Ollama
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm -rf /usr/local/bin/ollama
sudo rm -rf /etc/systemd/system/ollama.service

2安装deepseek

登陆官网 https://ollama.com,选择Model菜单,选择deepseek-r1,复制命令,如7b模型命令如下

ollama run deepseek-r1:7b

把以上代码在命令终端运行,就会下载deepseek 7b模型,下载完成之后就会执行运行起来,你就可以直接与大模型对话了。

输入以下命令退出运行

Ctrl + d
或者
/bye

3.再次启动

只需要运行如下命令

ollama run deepseek-r1:7b

在这里插入图片描述

4.AnythingLLM 搭建本地知识库

4.1 安装AnythingLLM

参考地址:https://docs.anythingllm.com/installation-desktop/linux#install-using-the-installer-script

curl -fsSL https://cdn.anythingllm.com/latest/installer.sh | sh

4.2 配置沙箱运行权限

运行以下命令,修改沙箱执行权限。注意:需要把[用户名]修改为你登陆的用户名

# 更改所有者和所属组
sudo chown root:root /home/用户名/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
#4:文件将以文件所有者的权限运行 7:所有的权限 读+写+执行  5:所属组的权限 读+执行 5:其他用户权限 读+执行
sudo chmod 4755 /home/用户名/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox

4.3 运行AnythingLLM

./AnythingLLMDesktop/start
  • 运行成功会打开欢迎使用界面,点击开始
    在这里插入图片描述
  • 选择Ollama使用本地模型,并选择Ollama中已经下载的LLM
    在这里插入图片描述
  • 创一个工作区,工作区是文件、文档、图像、PDF 和其他文件的存储桶,这些文件将被转换为 LLM 可以理解和在对话中使用的内容
    在这里插入图片描述
  • 点击工作区中的default就可以直接开始聊天了。
    在这里插入图片描述
  • 点击设置按钮,可以重新配置LLM、向量模型等参数
    在这里插入图片描述

4.4 搭建本地知识库

  • 点击上传按钮
    在这里插入图片描述
  • 可以上传文本文件、csv文件,上传之后点击移到工作区。
    在这里插入图片描述
  • 点击保存并向量化,成功之后,在聊天界面大模型就可以应用本地知识库了!
    在这里插入图片描述

4.5 卸载AnythingLLM

  • 删除配置文件,需替换{user}
rm -r /home/{user}/.config/anythingllm-desktop
  • 删除AnythingLLM
    找到安装目录,全部删除
rm -r /home/{user}/AnythingLLMDesktop
Logo

一站式 AI 云服务平台

更多推荐