一、部署模型

1. 下载ai模型部署工具ollama

  • 访问 ollama 官网下载对应的安装包:ollama官网下载地址

  • 根据自己的系统下载对应的安装包
    在这里插入图片描述

  • 安装包下载成功之后,点击安装,window会自动安装到c盘下,不可修改;若想修改安装路径,不能直接点击安装,需要通过doc窗口执行安装:

    • 在安装包所在文件夹输入cmd,进入doc窗口
      在这里插入图片描述
    • 然后执行:.\OllamaSetup.exe /DIR=D:\softward\ai\ollama 然后点击回车这样就会安装到制定路径
      在这里插入图片描述
  • 然后等待安装成功,使用 win + r 输入 cmd 打开 doc 窗口
    在这里插入图片描述

  • 然后通过键盘输入:ollama -v,如果输出对应的版本信息,则说明安装成功
    在这里插入图片描述

  • ollama api 默认只能在本机使用,如果我们想在局域网中使用我们模型的api,则需要在环境变量中添加以下两个配置:

    OLLAMA_HOST   0.0.0.0
    OLLAMA_ORIGINS   *
    

2. 部署模型

  • 访问 ollama 官网模型地址,选择 deepseek-r1, 如下图所示:
    在这里插入图片描述

  • 根据自己电脑配置选择对应的tag,本文档安装的是7b(7 十亿参数量级):主流规模,平衡性能与资源
    在这里插入图片描述

    • 如果电脑性能好,可以选择高一些数量级的tag,如14b;
    • 选择对应的tag之后,复制右侧的命令,然后使用快捷键 win + r 打开快捷窗口,输入 cmd 回车,进入命令提示符窗口。然后粘贴前面复制的 ollama 命令回车即可;
      在这里插入图片描述
  • 安装成功之后,便可进入对应的命令行模式,可使用 /? 查看相关的指令:
    在这里插入图片描述

  • 可以通过键盘输入对应问题,便可以和对应的模型互动;
    在这里插入图片描述

二、部署AI客户端工具

1. 安装chatbox

  • 访问 chatbox 官网下载安装包:Chatbox AI官网
  • 下载成功之后点击安装工具,根据提示安装即可(注意根据需求修改安装路径);

2. chatbox新增本地模型

  • 上面通过ollama部署的deepseek-r1模型,通过命令行交互不方便,所以通过chatbox应用程序,交互会更有好些;

  • 双击打开chatbox,本机电脑使用,配置 127.0.0.1 即可;在chatbox中点击设置,模型提供方选择OLLAMA API
    在这里插入图片描述

  • api域名设置为:http://127.0.0.1:11434 ;模型选择自己的下载的版本即可;然后点击保存即可
    在这里插入图片描述

  • 然后就可以进行沟通交流
    在这里插入图片描述

希望本篇博客能帮上忙,如存在问题欢迎留言沟通~

Logo

一站式 AI 云服务平台

更多推荐