浏览器访问 http://localhost:11434

终端修改ollama 模型地址的命令:

Linux
1、创建一个新的文件夹来存放Ollama模型,将/path/to/ollama/models替换为你希望存放模型的实际路径。
将目标路径的所属用户和组改为root,将其文件权限更换为777:

sudo mkdir /path/to/ollama/models
sudo chown -R root:root /path/to/ollama/models
sudo chmod -R 777 /path/to/ollama/models

2、用vim编辑器打开ollama.service文件

sudo vim /etc/systemd/system/ollama.service

在[Service]下面加入一行新的Environment,设置新的模型路径:

Environment="OLLAMA_MODELS=/path/to/ollama/models" # 记得替换路径!!!

刷新systemd配置

sudo systemctl daemon-reload

重启Ollama服务

sudo systemctl restart ollama.service

查看Ollama服务状态

sudo systemctl status ollama

检查模型路径是否设置成功:

ollama list

Win

SET OLLAMA_MODELS=D:\ollama\models
部署大模型
ollama run <model name>

如果是使用docker部署了ragflow,那么在部署ollama时需要在下面的网址添加模型http://localhost/knowledge
注意:如果ragflow安装在wsl上的ubuntu上,每次进入网址之前需要启动Ubuntu,进入ragflow目录,上述网址才有效

可视化管理Ollama模型----Open WebUI

docker安装命令

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果Ollama不在本机运行,则需在命令中添加-e OLLAMA_BASE_URL = http://example.com:11434设置Ollama运行的地址哦!

之后即可访问localhost:3000进入Open WebUI界面啦!

关于模型的选择

Llama 3.2:参数3B,大小2.0GB
Llama 3.2 Vision:参数11B,大小7.9GB
Llama 3.2 Vision:参数90B,大小55GB
Llama 3.1:参数8B,大小4.7GB
Phi 3 Mini:参数3.8B,大小2.3GB
Phi 3 Medium:参数14B,大小7.9GB
Gemma 2:参数2B,大小1.6GB
Gemma 2:参数9B,大小5.5GB
Gemma 2:参数27B,大小16GB
Mistral:参数7B,大小4.1GB
Moondream 2:参数1.4B,大小829MB
Neural Chat:参数7B,大小4.1GB
Starling:参数7B,大小4.1GB
Code Llama:参数7B,大小3.8GB
Llama 2 Uncensored:参数7B,大小3.8GB
LLaVA:参数7B,大小4.5GB
Solar:参数10.7B,大小6.1GB

文档导航

Ollama中文文档—大语言模型文档

Logo

一站式 AI 云服务平台

更多推荐