Dify知识库分段策略详解：通用分段 vs 父子分段

文本分段是构建高效知识库的核心环节。Dify提供两种分段策略：通用分段（扁平式）和父子分段（层级式），本文将深入解析其差异与选型指南。

一、核心工作逻辑对比

二、技术参数配置

1. 通用分段（通用文本分块模式）

• 分段标识符：\n\n（空行）
• 分段最大长度：500 tokens（约300汉字）
• 分段重叠长度：50 tokens
• 工作流程：
  1. 遇到两个连续换行符时触发分段
  2. 检查当前分段是否≤500 tokens
  3. 若超过500 tokens：
     • 截取前500 tokens作为独立分段
     • 下一分段头部重复前段末尾50 tokens
  4. 循环直到文本处理完毕
     

2. 父子分段（层级检索模式）

父块配置（上下文容器）：

子块配置（检索单元）：

• 标识符：\n（换行符）
• 最大长度：200 tokens（约120汉字）

工作流程：

1. 子块拆分：按换行符切割文本，每块≤200 tokens
2. 父块拆分：
   • 段落模式：按空行分隔，每块≤500 tokens
   • 全文模式：整文档作为父块（超10k tokens自动截断）
3. 检索时：
   • 通过子块匹配问题 → 定位关联父块 → 返回父块全文
     

三、四大维度选型指南

四、实战选型建议

优先通用分段的场景：

• 处理社交媒体内容、用户评论等碎片化文本
• 文档无显著章节结构（如随笔、短篇新闻）
• 需求为简单关键词匹配

必用父子分段的场景：

• 构建技术文档/产品手册/法律条款等结构化内容
• 需回答“XX章节中关于YY的说明”类问题
• 长文档检索需减少噪声干扰

💡 经验法则：

• 带章节编号的文档 → 父子分段（段落模式）
• 用户生成内容/短文本 → 通用分段

五、关键注意事项

1. 父子分段性能限制：

   • 全文模式父块超过10,000 tokens会自动截断
   • 复杂手册建议使用段落模式避免截断风险

2. 重叠机制的双面性：

   • 通用分段的50 tokens重叠可缓解截断问题
   • 可能引入重复内容，需根据文本特征调整长度