Mini-Rag项目构建-10向量化检索
268 字
1 分钟
Mini-Rag项目构建-10向量化检索
项目Github地址: https://github.com/gaodaxiu0406/Mini-Rag
⭐ 如果这个项目对你有帮助,欢迎Github点一个 Star——你的一个星,是对独立开发者最直接的鼓励;发现问题或有想法,也欢迎提 Issue。
TF-IDF向量与检索
检索函数
放到rag.py文件下面
def retrieve(query, top_k=RETRIEVAL_TOP_K): """将查询转为TF-IDF向量,与所有chunk的向量计算余弦相似度,返回最相似的top_k个chunk""" all_chunks = storage.get_all_chunks() if not all_chunks: return []
vec = get_vectorizer() query_vec = vec.transform([query]) chunk_vecs = np.array([c["embedding"] for c in all_chunks])
# 余弦相似度(TF-IDF向量已经是L2归一化的,所以直接点积即可) sims = cosine_similarity(query_vec, chunk_vecs)[0]
ranked = sorted( zip(all_chunks, sims), key=lambda x: x[1], reverse=True ) # 取前几个 top = ranked[:top_k] # 内容 retrieved_chunks = [] # 分数 retrieved_scores = []
for chunk, score in top: # 内容 retrieved_chunks.append(chunk) # 分数转为浮点数 retrieved_scores.append(float(score)) return retrieved_chunks, retrieved_scores运行效果
打开终端运行
pythonimport ragimport storage
// 虚拟入库一个文档rag.index_document("测试1.txt", "Python是一种解释型编程语言...")// 检索chunks, scores = rag.retrieve("Python Web 框架")
for c, s in zip(chunks, scores): print(f"[{s:.4f}] {c['text'][:50]}")
支持与分享
如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!
Mini-Rag项目构建-10向量化检索
https://gaodaxiu-blog.netlify.app/posts/guide/7项目构建-10向量化检索/相关文章智能推荐
1
Mini-Rag项目构建-11对话接入rag
Mini-Rag项目构建对话接入检索
2
Mini-Rag项目构建-7前端会话管理
Mini-Rag项目构建新会话按钮功能、上传文档按钮功能、发送按钮功能
3
Mini-Rag项目构建-3接入DeepSeek
Mini-Rag项目构建接入DeepSeek
4
Mini-Rag项目构建-1创建项目与基础配置
Mini-Rag项目构建创建项目与基础配置
5
Mini-Rag项目构建-4会话存储、查询、删除
Mini-Rag项目构建实现`storage.py`(会话部分):每个对话对应一个JSON文件,支持新建、读取、列表、删除。用JSON文件做持久化,不用任何数据库。
随机文章随机推荐












