视频加载失败

Mini-Rag项目构建-10向量化检索

268 字
1 分钟
Mini-Rag项目构建-10向量化检索

项目Github地址: https://github.com/gaodaxiu0406/Mini-Rag

⭐ 如果这个项目对你有帮助,欢迎Github点一个 Star——你的一个星,是对独立开发者最直接的鼓励;发现问题或有想法,也欢迎提 Issue。

TF-IDF向量与检索#

检索函数#

放到rag.py文件下面

def retrieve(query, top_k=RETRIEVAL_TOP_K):
"""将查询转为TF-IDF向量,与所有chunk的向量计算余弦相似度,返回最相似的top_k个chunk"""
all_chunks = storage.get_all_chunks()
if not all_chunks: return []
vec = get_vectorizer()
query_vec = vec.transform([query])
chunk_vecs = np.array([c["embedding"] for c in all_chunks])
# 余弦相似度(TF-IDF向量已经是L2归一化的,所以直接点积即可)
sims = cosine_similarity(query_vec, chunk_vecs)[0]
ranked = sorted(
zip(all_chunks, sims),
key=lambda x: x[1],
reverse=True
)
# 取前几个
top = ranked[:top_k]
# 内容
retrieved_chunks = []
# 分数
retrieved_scores = []
for chunk, score in top:
# 内容
retrieved_chunks.append(chunk)
# 分数转为浮点数
retrieved_scores.append(float(score))
return retrieved_chunks, retrieved_scores

运行效果#

打开终端运行

python
import rag
import storage
// 虚拟入库一个文档
rag.index_document("测试1.txt", "Python是一种解释型编程语言...")
// 检索
chunks, scores = rag.retrieve("Python Web 框架")
for c, s in zip(chunks, scores):
print(f"[{s:.4f}] {c['text'][:50]}")

向量化检索
向量化检索

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!

打赏
Mini-Rag项目构建-10向量化检索
https://gaodaxiu-blog.netlify.app/posts/guide/7项目构建-10向量化检索/
作者
MuZhao
发布于
2026-11-02
许可协议
CC BY-NC-SA 4.0
Profile Image of the Author
MuZhao
Hello, I'm GaoDaXiu.
公告
欢迎来到我的博客!
分类
标签
最新动态
站点统计
文章
124
分类
25
标签
147
总字数
180,592
运行时长
0 天
最后活动
0 天前
站点信息
构建平台
Netlify CI
博客版本
Firefly v6.16.8
文章许可
CC BY-NC-SA 4.0
文章目录