上一篇博客中分享了一个在win11环境下搭建的本地个人大模型知识库，但受限于本人笔记本的配置，跑起来太吃内存资源，毕竟在window下部署，由于要启用wsl来虚拟linux环境，这个都需要开销很大一部分资源，正好有台闲置服务器，于是想到在linux下部署，来提升使用体验。

一、安装linux系统

安装Ubuntu desktop版，自带的可视化界面对linux小白在后面的安装过程中能提供不少便利

二、安装ollama

执行如下命令

curl -fsSL https://ollama.com/install.sh | sh

安装过程可能需要科学上网，可以使用局域网代理方式

安装完ollama后还需要在系统环境变量中添加OLLAMA_HOST和OLLAMA_MODELS两个参数，保证系统重启后ollama服务能自动启动

关闭ollama服务

service ollama stop

修改配置文件

vim  /etc/systemd/system/ollama.service

加入如下两行内容

添加 Environment="OLLAMA_MODELS=/path/ollama_cache" 改为你的存放ollama模型的位置

添加 Environment="OLLAMA_HOST=0.0.0.0:11434" 配置ollama 服务监听所有IP和端口11434

重新加载配置

systemctl daemon-reload

重新启动ollama服务

systemctl start ollama

三、安装docker desktop

本人安装的Ubuntu系统，安装前检查系统版本是否支持：22.04LTS、24.04LTS或24.10

我们要安装的时desktop版，这需要虚拟机支持，所以要先部署KVM

1、记载KVM

手动加载模块

modprobe kvm

根据主机的处理器，必须加载相应的模块

modprobe kvm_intel  # Intel processors

modprobe kvm_amd    # AMD processors

如果上述命令失败，您可以通过运行以下命令来查看诊断信息：

kvm-ok

要检查 KVM 模块是否已启用，请运行：

lsmod | grep kvm
kvm_amd               167936  0
ccp                   126976  1 kvm_amd
kvm                  1089536  1 kvm_amd
irqbypass              16384  1 kvm

设置 KVM 设备用户权限

s要检查 的所有权，请运行 ：/dev/kvm

ls -al /dev/kvm

将您的用户添加到 kvm 组以访问 kvm 设备：

sudo usermod -aG kvm $USER

注销并重新登录

2、安装docker desktop

设置安装apt仓库

# Add Docker's official GPG key:
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

安装最新版本

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

验证是否安装成功

sudo docker run hello-world

注：这里也可以配置完仓库后，使用deb软件包安装

sudo apt-get update
sudo apt-get install ./docker-desktop-amd64.deb

如果安装不成功，可以再ubuntu系统的桌面环境中直接点击deb包来实现安装

3、配置docker的国内镜像源

这样当使用docker部署ragflow环境是可以提高镜像的拉取速度

方法一：运行 sudo vim /etc/docker/daemon.json 来创建daemon.json文件，然后将以下内容复制到daemon.json文件中

{
    "registry-mirrors": [
    "https://docker.1ms.run",
    "https://docker.xuanyuan.me"
  ]
}

方法二：如果你安装了桌面环境，可以直接打开docker的图形界面，把以上配置代码块加入配置文件中

如果以上都顺利完成，可以再桌面环境中打开docker界面

四、安装ragFlow，配置本地知识库

安装方法同windows环境，如果不清楚，可以查看我的上一篇文章