RAG索引的构建
596 字
3 分钟
RAG索引的构建
- 1RAG初识
- 2RAG索引的构建本文
- 3RAG检索重排
- 4RAG文档分块
- 5RAG文本向量化
- 6GraphRAG原理
一、RAG是什么?如何工作的?
RAG的定义与用途
1-1 RAG检索增强生成的全流程
当用户提问时,为防止大模型自由发挥生成编造的虚假内容,先根据用户问题查找相关资料,然后基于这些资料给出精准回答。
建立索引 → 检索生成
二、如何构建企业知识库
RAG技术中索引的原理
2-1 什么是索引
索引就是把杂乱无章的海量原始数据,转化成计算机易于检索和理解的“知识库”的过程。
2-2 构建数据库
第一步 数据收集:从内部知识库(产品文档、技术手册)公开网络资源中获取原始数据。
第二步 数据清洗:通过去重、纠正拼写错误、处理缺失值以及过滤无效数据,提升数据质量。
2-3 索引流程-分块
大模型一次能接收的信息有限。需要将长文档切分成合适大小的语义单元。
2-3-1 操作方法
不按字数死切,而是按语义完整性切分,保持语义连贯性。
- 按段落边界切分
- 按章节标题切分
2-4 索引流程-向量化
计算机不识字,只识数。需要将文字转换为数学表示。
技术做法:使用嵌入模型,将文字转化为高位空间坐标(通常512-1024维)。
2-5 索引流程-向量存储
让检索像查字典一样快,需要专门的向量数据库支持。
向量数据库:Azure Cache for Redis、PostgreSQL、MongoDB、Azure Cosmos等。
选择向量数据库,需具备:
- 亿级数据,支持海量向量存储
- 毫秒级响应,近实时检索体验
三、如何理解文档向量化
通过嵌入模型将文本片段转化为向量并存储
流程:切块数据 → 向量化(计算向量) → 存储(向量数据库)
四、总结
总结RAG技术总结
- 存的好找的全:混合检索(关键词+语义)宁滥勿缺,确保不遗漏任何可能相关的信息。
- 排得准答得稳:重排以“计算换智能”解决迷失问题,Prompt强约束杜绝幻觉。
解析与切片(文档预料 → 文档解析 → 文档切片) → 向量存储(切片向量化 → 存储)。
支持与分享
如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!












