用Rag技术搭建一个本地的个人助手,使用的是AnythingLLM+DeepSeek的组合。体验下来,这个只能作为POC或体验之类的,很难真正实现一个工程性需求。

第一步,下载开源的AI应用程序AnythingLLM

去官网Download AnythingLLM for Desktop下载并安装即可。

第二步,下载Ollama并获取DeepSeek LLM

因为AnythingLLM自带的只有qwen2.5 7b这个模型,为了使用DeepSeek我们需要先下载Ollama并获取DeepSeek。

img

1、打开 Ollama 的官网http://ollama.com,在官网找到 “Download”,点击下载并安装。

image-20250205142636037

2、安装完成后cmd运行下面的命令看是否安装正确。

ollama list

image-20250205143013217

3、cmd命令行输入如下命令下载DeepSeek大模型并运行。

ollama run deepseek-r1:7b

image-20250205143046570

需要等待一些时间(耗时长短和你机器的配置有关)。

安装完成后,如下所示

image-20250205153928990

可以直接问问题。

image-20250205170409951

第三步,配置新工作区

1、接下来就可以创建新工作区,我这里想搭建一个自己的数字化助手。

创建完之后,将LLM提供者改为刚下载的deepseek-r1:7b。

image-20250205154044344

2、上传各种知识。

image-20250205154459536

image-20250205154331946

3、选中需要的文档,然后点击Move to Workspace,在右边区域点击Save and Embed进行向量化处理。

image-20250205170505644

4、点击New Thread开始对话。

实际体验下来,对于本地文档的解析和检索确实有点差强人意,参考官网的说明调整了下参数,好像也不太见成效。

image-20250205170806679

Logo

一站式 AI 云服务平台

更多推荐