使用Deepseek本地部署并搭建知识库后使用效果不理想的
deepseek、本地部署、知识库
·
目前网上有很多deepseek本地部署的教程,最低配置要求普通笔记本都可以满足,但在实际操作后发现,知识库的使用效果并不理想,以下为几个原因及相关解决办法:
一、系统配置
交互界面一般都是AnythingLLM,若作为知识库来使用需要注意以下几点:
1、在工作区的设置中将聊天设置的聊天模式修改为查询

2、将工作区的文档库中右侧将图钉点上

3、LLM温度调低

二、模型选择32b或70b以上,32b以下的确实不好用
三、投喂文档最理想还是转成markdown,然后确保每个小块都包含了必要的meta信息,简单来说比如一本书的一页如果是一个基本存储单位,那么除了内容,其实还应该包括上一页的末尾,下一页的开头,所述的书、章节、作者等等诸多信息,才能尽量保证命中对吧。而且单一的向量化近似匹配也不够,还应该叠加一下精准搜索。
更多推荐




所有评论(0)