视频加载失败

RAG文档分块

801 字
4 分钟
RAG文档分块

一、RAG文本分块作用#

RAG技术中文本分块的作用

1-1 RAG中为什么需要文档分割#

文档分割是RAG流程中“索引(Indexing)”阶段的关键环节。 它将预处理后的长文本转换为更小的片段,直接决定了:检索的准确性(召回率)、生成的质量(信噪比)。

“把厚书变成知识卡片”

如果不分割,大模型就像被整本课本淹没,读不过来且找不到重点。

二、文本分块的方式#

多力度索引与递归字符分割

2-1 文档级切分#

作用:快速粗筛定位 逻辑:判断是《规格文档》还是《技术说明》 场景:宏观方向把控,确定检索范围

2-2 段落级切分#

作用:中筛缩小范围 逻辑:定位到问题对应的具体段落 场景:缩小检索上下文,提升精度

2-3 句子级切分#

作用:精筛并提取核心 逻辑:提取包含答案的句子 价值:企业知识库场景召回率提升22%

三、高级分割策略#

语义分割算法与表格处理

3-1 递归字符分割:语义完整性优先#

3-1-1 分割流程#

  • 1、结构化识别:优先按段落(\n)切分,保持文档结构完整。
  • 2、语义停顿:其次按句子标点(。;)切分,遵循语言习惯。
  • 3、动态阈值:根据内容类型调整chunk大小,平衡上下文与精度。

3-1-2 实际应用示例#

  • 汽车维修手册:按部件章节分割,每个chunk包含完整故障诊断流程。
  • 软件说明书:按功能模块分割,确保每个功能说明完整可用。

3-2 语义分割#

切分策略:TextRank算法来识别核心语义单元。TextRank是通过比较每对句子之间的相似性,构建句子间的相速度阵。

⭐高级切分策略

利用Embedding模型计算前后句相似度,在话题突变处切分,保持语义完整性。

自动识别话题边界,将相关内容聚合在一起。

3-3 添加元数据#

元数据:文件名、页面、创建时间、类型、年份信息

添加元数据的作用:

  • 1、降低幻觉,信息锚定。
    • 企业场景下幻觉率由12%降低到4%。
  • 2、权限合规,安全围栏。
    • 权限标签,检索时自动过滤,防止敏感信息泄露。
  • 3、可追溯性,引用溯源。
    • 法律合规场景中,支持点击答案跳转至原始法条位置。

四、总结#

元数据注入与商业防幻觉策略

4-1 技术总结#

拒绝静态切分,转向动态、语义化、多粒度的分块策略。 根据业务场景灵活选择分割方式,最大化RAG系统的检索准确性和生成质量。

4-2 业务价值#

  • 1、准确率提升:多粒度索引带来20%+的召回提升。
  • 2、体验优化:结构化处理解决表格与PDF的“黑盒”问题。
  • 3、安全保障:元数据注入确保企业级权限管控与低幻觉。

好的预处理,是RAG成功的80%。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!

打赏
RAG文档分块
https://gaodaxiu-blog.netlify.app/posts/guide/6rag文档分块/
作者
MuZhao
发布于
2026-10-20
许可协议
CC BY-NC-SA 4.0
Profile Image of the Author
MuZhao
Hello, I'm GaoDaXiu.
公告
欢迎来到我的博客!
分类
标签
最新动态
站点统计
文章
124
分类
25
标签
147
总字数
180,592
运行时长
0 天
最后活动
0 天前
站点信息
构建平台
Netlify CI
博客版本
Firefly v6.16.8
文章许可
CC BY-NC-SA 4.0
文章目录