MaxKB 使用本地重排模型并对知识库进行重排

本文介绍了如何部署和使用重排模型与MaxKB系统对接。主要包括三个步骤：1）从Hugging Face下载重排模型并上传至服务器，创建指定目录并修改docker-compose.yaml配置文件；2）将模型文件放入指定位置，后续新增模型只需放入同一目录；3）在MaxKB系统中配置本地向量模型，包括设置模型参数和应用编排。操作流程涵盖了从模型部署到系统集成的完整过程。

m0_59880555

634人浏览 · 2025-08-01 16:00:48

m0_59880555 · 2025-08-01 16:00:48 发布

一、下载重排模型

在对接向量模型之前，先去下载好对应的模型：https://huggingface.co/

二、上传模型到服务器

下载好模型之后，上传到部署MaxKB的服务器上。

1. 创建 model 文件夹

## 创建 model 文件夹

mkdir /opt/maxkb/model

2. 修改docker-compose.yaml，添加volume挂载点

## 修改docker-compose.yaml，添加volume挂载点

version: "2.1"

services:

maxkb:

container_name: maxkb

hostname: maxkb

restart: always

image: ${MAXKB_IMAGE_REPOSITORY}/maxkb-pro:${MAXKB_VERSION}

ports:

- "${MAXKB_PORT}:8080"

healthcheck:

test: ["CMD", "curl", "-f", "localhost:8080"]

interval: 10s

timeout: 10s

retries: 120

volumes:

- /tmp:/tmp

- ${MAXKB_BASE}/maxkb/logs:/opt/maxkb/app/data/logs

- mk-model-data:/opt/maxkb/model

env_file:

- ${MAXKB_BASE}/maxkb/conf/maxkb.env

depends_on:

pgsql:

condition: service_healthy

networks:

- maxkb-network

entrypoint: ["docker-entrypoint.sh"]

command: "python /opt/maxkb/app/main.py start"

networks:

maxkb-network:

driver: bridge

ipam:

driver: default

volumes:

mk-model-data:

driver_opts:

type: none

device: ${MAXKB_BASE}/maxkb/model

o: bind

## 添加完之后重新启动

docker-compose -f docker-compose.yml -f docker-compose-pgsql.yml up -d

## 等一会查看一下状态

docker ps

3. 检查mode文件夹是否有MaxKB的默认模型

4. 把下载好的重排模型放到model文件夹下

## 创建 reranker 目录

cd /opt/maxkb/model/

mkdir reranker

## 把下载的模型放到model当中

mv bge-reranker-v2-m3 /opt/maxkb/model/reranker/

注意：后续下载新的模型只需要放到model文件夹下面即可。

三、配置本地向量模型

1. 添加模型

系统管理->模型设置->本地模型→添加模型

1.1. 参数详情：

模型名字：自定义模型名字（填写自己模型名字就好）

模型类型：选择“重排模型”

基础模型：此处需要注意，要手动填写对应的模型地址。

/opt/maxkb/model/reranker/bge-reranker-v2-m3

模型目录：默认跟「基础模型」路径一致

添加好之后如图：

2. 应用编排中加入多路召回节点

进入应用编排页面，点击【添加组件】可以添加多路召回节点。
节点说明：如果用户需要使用重排模型对多个知识库检索的检索结果进行重新排序，则需要在应用的工作流中，在多个知识库检索节点的后面添加多路召回节点，选择多个前置知识库检索节点的检索结果的分段列表（注意，这里选择的是列表，若选择检索结果则会被当成一个字符串进行重新排序）、设置检索参数、选择检索的问题。