视频加载失败

RAG索引的构建

596 字
3 分钟
RAG索引的构建

一、RAG是什么?如何工作的?#

RAG的定义与用途

1-1 RAG检索增强生成的全流程#

当用户提问时,为防止大模型自由发挥生成编造的虚假内容,先根据用户问题查找相关资料,然后基于这些资料给出精准回答。

建立索引 → 检索生成

二、如何构建企业知识库#

RAG技术中索引的原理

2-1 什么是索引#

索引就是把杂乱无章的海量原始数据,转化成计算机易于检索和理解的“知识库”的过程。

2-2 构建数据库#

第一步 数据收集:从内部知识库(产品文档、技术手册)公开网络资源中获取原始数据。

第二步 数据清洗:通过去重、纠正拼写错误、处理缺失值以及过滤无效数据,提升数据质量。

2-3 索引流程-分块#

大模型一次能接收的信息有限。需要将长文档切分成合适大小的语义单元。

2-3-1 操作方法#

不按字数死切,而是按语义完整性切分,保持语义连贯性。

  • 按段落边界切分
  • 按章节标题切分

2-4 索引流程-向量化#

计算机不识字,只识数。需要将文字转换为数学表示。

技术做法:使用嵌入模型,将文字转化为高位空间坐标(通常512-1024维)。

2-5 索引流程-向量存储#

让检索像查字典一样快,需要专门的向量数据库支持。

向量数据库:Azure Cache for Redis、PostgreSQL、MongoDB、Azure Cosmos等。

选择向量数据库,需具备:

  1. 亿级数据,支持海量向量存储
  2. 毫秒级响应,近实时检索体验

三、如何理解文档向量化#

通过嵌入模型将文本片段转化为向量并存储

流程:切块数据 → 向量化(计算向量) → 存储(向量数据库)

四、总结#

总结RAG技术总结

  • 存的好找的全:混合检索(关键词+语义)宁滥勿缺,确保不遗漏任何可能相关的信息。
  • 排得准答得稳:重排以“计算换智能”解决迷失问题,Prompt强约束杜绝幻觉。

解析与切片(文档预料 → 文档解析 → 文档切片) → 向量存储(切片向量化 → 存储)。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!

打赏
RAG索引的构建
https://gaodaxiu-blog.netlify.app/posts/guide/6rag索引的构建/
作者
MuZhao
发布于
2026-10-20
许可协议
CC BY-NC-SA 4.0
Profile Image of the Author
MuZhao
Hello, I'm GaoDaXiu.
公告
欢迎来到我的博客!
分类
标签
最新动态
站点统计
文章
124
分类
25
标签
147
总字数
180,592
运行时长
0 天
最后活动
0 天前
站点信息
构建平台
Netlify CI
博客版本
Firefly v6.16.8
文章许可
CC BY-NC-SA 4.0
文章目录