杠精派
派聪明
0/512

热门评论

开普勒的小星星 2026年05月05日 13:36
引用原文:我说:「这个问题我们也想过。后来发现 overlap 在中文场景下效果一般,反而会让相同内容在 ES 里出现两次,召回的时候排在前面的几条都是同一段落的不同切片,相当于浪费 topK 名额。我们的做法是,分片之外维护一个 1MB 的父块,流式读进来防止 OOM,分片只承担向量召回,命中之后回溯到父块给大模型作为上下文。」
命中一个分片之后返回的是整个父块
点赞
回复1 取消回复
无限 2026年05月07日 11:35
这部分的代码在哪,好像没有回溯父块的逻辑,因为压根就没存父块,只在切片读取的时候有父块,向量召回的时候,似乎拿不到父块
点赞
回复 取消回复

3 条评论

开普勒的小星星 2026年05月05日 13:36
引用原文:我说:「这个问题我们也想过。后来发现 overlap 在中文场景下效果一般,反而会让相同内容在 ES 里出现两次,召回的时候排在前面的几条都是同一段落的不同切片,相当于浪费 topK 名额。我们的做法是,分片之外维护一个 1MB 的父块,流式读进来防止 OOM,分片只承担向量召回,命中之后回溯到父块给大模型作为上下文。」
命中一个分片之后返回的是整个父块
点赞
回复1 取消回复
无限 2026年05月07日 11:35
这部分的代码在哪,好像没有回溯父块的逻辑,因为压根就没存父块,只在切片读取的时候有父块,向量召回的时候,似乎拿不到父块
点赞
回复 取消回复
d4d 2026年04月23日 23:38
引用原文:分片大小默认设的是 512 字节,没有用 overlap
@派聪明 之前写的是用了overlap,到底有没有用
1
回复 取消回复

目录