RAG文档分块
801 字
4 分钟
RAG文档分块
一、RAG文本分块作用
RAG技术中文本分块的作用
1-1 RAG中为什么需要文档分割
文档分割是RAG流程中“索引(Indexing)”阶段的关键环节。 它将预处理后的长文本转换为更小的片段,直接决定了:检索的准确性(召回率)、生成的质量(信噪比)。
“把厚书变成知识卡片”
如果不分割,大模型就像被整本课本淹没,读不过来且找不到重点。
二、文本分块的方式
多力度索引与递归字符分割
2-1 文档级切分
作用:快速粗筛定位 逻辑:判断是《规格文档》还是《技术说明》 场景:宏观方向把控,确定检索范围
2-2 段落级切分
作用:中筛缩小范围 逻辑:定位到问题对应的具体段落 场景:缩小检索上下文,提升精度
2-3 句子级切分
作用:精筛并提取核心 逻辑:提取包含答案的句子 价值:企业知识库场景召回率提升22%
三、高级分割策略
语义分割算法与表格处理
3-1 递归字符分割:语义完整性优先
3-1-1 分割流程
- 1、结构化识别:优先按段落(\n)切分,保持文档结构完整。
- 2、语义停顿:其次按句子标点(。;)切分,遵循语言习惯。
- 3、动态阈值:根据内容类型调整chunk大小,平衡上下文与精度。
3-1-2 实际应用示例
- 汽车维修手册:按部件章节分割,每个chunk包含完整故障诊断流程。
- 软件说明书:按功能模块分割,确保每个功能说明完整可用。
3-2 语义分割
切分策略:TextRank算法来识别核心语义单元。TextRank是通过比较每对句子之间的相似性,构建句子间的相速度阵。
⭐高级切分策略
利用Embedding模型计算前后句相似度,在话题突变处切分,保持语义完整性。
自动识别话题边界,将相关内容聚合在一起。
3-3 添加元数据
元数据:文件名、页面、创建时间、类型、年份信息
添加元数据的作用:
- 1、降低幻觉,信息锚定。
- 企业场景下幻觉率由12%降低到4%。
- 2、权限合规,安全围栏。
- 权限标签,检索时自动过滤,防止敏感信息泄露。
- 3、可追溯性,引用溯源。
- 法律合规场景中,支持点击答案跳转至原始法条位置。
四、总结
元数据注入与商业防幻觉策略
4-1 技术总结
拒绝静态切分,转向动态、语义化、多粒度的分块策略。 根据业务场景灵活选择分割方式,最大化RAG系统的检索准确性和生成质量。
4-2 业务价值
- 1、准确率提升:多粒度索引带来20%+的召回提升。
- 2、体验优化:结构化处理解决表格与PDF的“黑盒”问题。
- 3、安全保障:元数据注入确保企业级权限管控与低幻觉。
好的预处理,是RAG成功的80%。
支持与分享
如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!












