Ollama
浏览器访问http://localhost:11434。
浏览器访问 http://localhost:11434
终端修改ollama 模型地址的命令:
Linux
1、创建一个新的文件夹来存放Ollama模型,将/path/to/ollama/models替换为你希望存放模型的实际路径。
将目标路径的所属用户和组改为root,将其文件权限更换为777:
sudo mkdir /path/to/ollama/models
sudo chown -R root:root /path/to/ollama/models
sudo chmod -R 777 /path/to/ollama/models
2、用vim编辑器打开ollama.service文件
sudo vim /etc/systemd/system/ollama.service
在[Service]下面加入一行新的Environment,设置新的模型路径:
Environment="OLLAMA_MODELS=/path/to/ollama/models" # 记得替换路径!!!
刷新systemd配置
sudo systemctl daemon-reload
重启Ollama服务
sudo systemctl restart ollama.service
查看Ollama服务状态
sudo systemctl status ollama
检查模型路径是否设置成功:
ollama list
Win
SET OLLAMA_MODELS=D:\ollama\models
部署大模型
ollama run <model name>
如果是使用docker部署了ragflow,那么在部署ollama时需要在下面的网址添加模型http://localhost/knowledge
注意:如果ragflow安装在wsl上的ubuntu上,每次进入网址之前需要启动Ubuntu,进入ragflow目录,上述网址才有效
可视化管理Ollama模型----Open WebUI
docker安装命令
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
如果Ollama不在本机运行,则需在命令中添加-e OLLAMA_BASE_URL = http://example.com:11434设置Ollama运行的地址哦!
之后即可访问localhost:3000进入Open WebUI界面啦!
关于模型的选择
Llama 3.2:参数3B,大小2.0GB
Llama 3.2 Vision:参数11B,大小7.9GB
Llama 3.2 Vision:参数90B,大小55GB
Llama 3.1:参数8B,大小4.7GB
Phi 3 Mini:参数3.8B,大小2.3GB
Phi 3 Medium:参数14B,大小7.9GB
Gemma 2:参数2B,大小1.6GB
Gemma 2:参数9B,大小5.5GB
Gemma 2:参数27B,大小16GB
Mistral:参数7B,大小4.1GB
Moondream 2:参数1.4B,大小829MB
Neural Chat:参数7B,大小4.1GB
Starling:参数7B,大小4.1GB
Code Llama:参数7B,大小3.8GB
Llama 2 Uncensored:参数7B,大小3.8GB
LLaVA:参数7B,大小4.5GB
Solar:参数10.7B,大小6.1GB
文档导航
更多推荐




所有评论(0)