杠精派
派聪明
0/512

热门评论

未来可期 2026年03月12日 22:53
引用原文:关键词检索部分用的是 BM25
@派聪明,向量检索和关键词检索是同时进行的吗?topK是什么时候用到的
点赞
回复5 取消回复
派聪明 2026年03月12日 22:55
向量检索和关键词检索不是同时进行的,而是采用"混合检索"的两阶段策略: 1. **第一阶段(召回)**:先使用向量检索(如KNN)从知识库中召回一个较大的候选集,通常是topK的30倍左右。这一阶段主要看语义相似度,确保不漏掉任何可能相关的文档。 2. **第二阶段(重排)**:对召回的候选集使用BM25进行关键词匹配和重排序。这一阶段确保结果既语义相关又包含用户查询的关键词。 **topK参数的使用时机**: - 在第一阶段,系统会召回比最终topK多得多的候选结果(如topK的30倍) - 在第二阶段,系统会对这些候选结果进行BM25重排序 - 最终,根据向量得分和BM25得分的加权综合得分,选出前topK条结果返回给用户 这种"先召回后重排"的方式结合了向量检索的广度(能找到语义相关但关键词不完全匹配的文档)和关键词检索的精度(确保结果包含用户查询的关键词),提高了检索的准确性和全面性。
点赞
回复 取消回复
展开剩余 4 条回复

115 条评论

bus 2026年11月16日 17:13
引用原文:这种场景下,关键词匹配反而比语义更准。所以我们是先用向量去做初筛,再通过 BM25 的 rescore 对初筛结果再排序,这样能把那些“语义匹配 + 关键词命中”的高质量结果排到前面。
@派聪明 之前不是说rescore是ES的功能吗? 怎么现在又是BM25的了? 那么对于之前的KNN,我们也有rescore吗
点赞
回复1 取消回复
派聪明 2026年11月16日 17:13
这是我从文章中选择的一段文本:"这种场景下,关键词匹配反而比语义更准。所以我们是先用向量去做初筛,再通过 BM25 的 rescore 对初筛结果再排序,这样能把那些“语义匹配 + 关键词命中”的高质量结果排到前面。" 之前不是说rescore是ES的功能! 怎么现在又是BM25的了! 那么对于之前的KNN,我们也有rescore 当前模型还在开发当中,请右上角下拉框切换到其他模型
点赞
回复 取消回复
哈哈 2026年11月04日 16:16
引用原文: Elasticsearch 的 rescore 机制
@派聪明 这个机制是什么样的
点赞
回复1 取消回复
派聪明 2026年11月04日 16:17
这是我从文章中选择的一段文本:" Elasticsearch 的 rescore 机制" 这个机制是什么样的 当前模型还在开发当中,请右上角下拉框切换到其他模型
点赞
回复 取消回复
lagrange 2026年10月13日 15:00
@派聪明 面试官问你,如果用户需要调取一份一个月前的文档,派聪明是怎么做的?
点赞
回复1 取消回复
派聪明 2026年10月13日 15:00
面试官问你,如果用户需要调取一份一个月前的文档,派聪明是怎么做的! 当前模型还在开发当中,请右上角下拉框切换到其他模型
点赞
回复 取消回复
zsxq_01711 2026年08月07日 14:30
引用原文:Elasticsearch 的 rescore 机制
@派聪明 解释一下
点赞
回复1 取消回复
派聪明 2026年08月07日 14:30
小派正在努力回答中, 耐心等待一下吧...
点赞
回复 取消回复
zsxq_01711 2026年08月07日 14:26
引用原文:Elasticsearch 的 rescore 机制
@派聪明 解释一下
点赞
回复1 取消回复
派聪明 2026年08月07日 14:26
小派正在努力回答中, 耐心等待一下吧...
点赞
回复 取消回复
安和 2026年08月05日 20:45
引用原文:索引设计是否合理,比如有没有设置太多字段参与检索?
@派聪明这里的索引设计是指? 和mysql里的不一样吧?具体说一下这里的索引是什么,和怎么参与检索的
点赞
回复1 取消回复
派聪明 2026年08月05日 20:45
小派正在努力回答中, 耐心等待一下吧...
点赞
回复 取消回复
saturn 2026年08月02日 18:34
代码中knn好像没加filter吧,怎么实现权限控制的@派聪明
点赞
回复1 取消回复
派聪明 2026年08月02日 18:34
代码中knn好像没加filter吧,怎么实现权限控制的 当前模型还在开发当中,请右上角下拉框切换到其他模型
点赞
回复 取消回复
Minus one 2026年07月24日 11:53
引用原文:召回率
@派聪明 派聪明采用了什么措施来提升召回率
点赞
回复1 取消回复
派聪明 2026年07月24日 11:53
根据提供的参考资料,派聪明主要通过以下“混合检索”策略来有效提升和保障搜索的召回率: 1. **语义检索(KNN)做大范围初筛** 系统不仅依赖字面匹配,还会将查询转化为向量,通过 KNN算法在向量空间中寻找语义相近的文档。这种方式打破了关键词的限制,即使文档中没有出现用户输入的具体词汇,只要意思相近就能被**召回**。 2. **“召回+重排”的两阶段机制** 为了保证高召回率,系统在第一阶段通过向量检索故意放大召回范围。例如,当最终目标(topK)是返回10条结果时,系统会先放宽限制,召回目标数量的 **30倍**(即300条)作为候选集。这一阶段的核心目标是“求全”,不放过任何潜在的相关结果。 3. **融合 BM25 关键词匹配补充精准度** 在放宽范围获取大量候选集后,系统进入第二阶段,使用 Elasticsearch 的 rescore机制对结果进行 BM25 关键词重排序。这一步“求准”,把语义相关且关键词匹配度高的文档排到最前面。最终再从这批高质量候选集中截取 topK 条返回。
点赞
回复 取消回复
Minus one 2026年07月24日 11:52
@派聪明 派聪明采用了什么措施来提升召回率
点赞
回复1 取消回复
派聪明 2026年07月24日 11:52
派聪明(RAG系统)主要通过**“混合检索”**和**“两阶段排序”**策略来大幅提升检索的召回率,具体措施如下: **1. 采用“语义+关键词”混合检索,弥补单一检索的短板** * **引入向量语义检索(KNN)**:通过将用户的查询和文档内容转化为高维向量,系统不再局限于字面匹配。即使文档中没有出现用户输入的关键词,只要“语义和意思”相近(如搜索“如何成为优秀程序员”能召回“提升代码质量技巧”的文章),也能被精准召回。这解决了传统关键词搜索缺乏语义理解的问题。 * **保留关键词检索(BM25)**:针对向量语义检索对“专有名词、产品型号、精确代码”不够敏感的短板,系统同时融合了BM25关键词匹配。只要字面或专有名词命中,也能确保相关文档被召回。 **2. 采用“召回+重排序”的两阶段策略** * **第一阶段:放宽范围,保证“求全”(提升召回核心)**。在初始向量召回阶段,系统不会只检索最终的 `topK`(如10条)结果,而是将召回范围放大到 `topK` 的30倍(如300条)。这能最大化地覆盖语义相关的内容,避免潜在的高质量结果被过早漏掉。 * **第二阶段:BM25重排序,保证“求准”**。对第一阶段召回的大量候选集,再使用 Elasticsearch 的 rescore机制进行关键词打分。系统会根据综合得分(向量权重0.2 + 关键词权重1.0的加权)进行重新排序,将最符合“语义+关键词”双高匹配的文档排到前面,最后返回 topK 条结果。 通过这种“广撒网(向量初筛)+精捕鱼(关键词重排)”的混合机制,派聪明既保证了极高的召回率,又兼顾了结果的精确度。
点赞
回复 取消回复
etovo 2026年07月21日 20:40
@派聪明 混合检索再进行向量检索和BM25检索之后,是怎么将两个结果融合的
点赞
回复1 取消回复
派聪明 2026年07月21日 20:40
在派聪明的混合检索方案中,向量检索(KNN)和关键词检索(BM25)的结果融合采用的是**两阶段“召回 + 重排序(Recall + Rescore)”策略**,而不是简单地把两个结果集合并。 具体融合流程如下: --- ### 第一阶段:向量召回(求全) 先通过 **KNN 向量检索** 从知识库中捞出一个较大的候选集,大小通常是最终 topK 的 **30 倍**。这个阶段的目标是“不遗漏”——只要语义上相关,无论关键词是否匹配,都先拿进来。 ### 第二阶段:BM25 重排序(求准) 利用 Elasticsearch 内置的 **rescore 机制**,**仅对第一阶段召回的候选集**执行一次 BM25 关键词打分,而不是对整个索引重新跑一遍。这个阶段的目标是“精准”——那些既语义相关、又命中关键词的文档会被提升排名。 ### 最终得分融合公式 系统对每条文档的最终得分是**向量得分 + BM25 得分的加权组合**,权重通过以下参数控制: ```java .queryWeight(0.2d) // KNN 向量检索的分数权重(0.2) .rescoreQueryWeight(1.0d) // BM25 重排序的分数权重(1.0) ``` - **向量权重设为 0.2**:保留语义相关性的贡献,避免语义匹配高但关键词不匹配的优质结果被完全淹没。 - **BM25 权重设为 1.0(相当于向量权重的 5 倍)**:让关键词匹配对最终排序有更强的提升作用,确保精确匹配的结果排得更靠前。 ### 融合的特点总结 | 阶段 | 方式 | 目标 | 范围 | |------|------|------|------| | 召回 | KNN 向量检索 | 求全(语义相关) | topK × 30 | | 重排序 | BM25 关键词打分 | 求准(关键词匹配) | 仅对召回的候选集 | | 融合 | 加权求和 | 语义 + 关键词综合排序 | 最终返回 topK 条 | 这种设计的核心思想是:**先用向量检索保证广度(不遗漏语义相关结果),再用关键词重排保证精度(让精确匹配的结果排前面)**,通过权重调节两者在最终排序中的影响力,实现比单独使用任何一种检索方式都更高质量的搜索结果。
点赞
回复 取消回复

目录