分片結(jié)果合并前先問每個(gè)分片返回的是什么。若它返回同一距離定義下的精確Top-K合并不是近似問題若分片內(nèi)部已經(jīng)漏召回協(xié)調(diào)器排得再認(rèn)真也只能處理手里那批候選。原理示意非真實(shí)系統(tǒng)截圖或性能測(cè)量。精確Top-K為什么夠用固定距離升序、文檔ID升序作為全序。假設(shè)一個(gè)全局前K的點(diǎn)在所屬分片排到K名之后那么該分片至少有K個(gè)點(diǎn)排在它前面。這K個(gè)點(diǎn)在全局也都排在它前面與“全局前K”矛盾。所以每片取精確Top-K再合并足夠得到全局Top-K。成立條件不能省分片覆蓋完整、度量一致、ID與并列順序一致。余弦相似度直接與平方L2混排或者每片使用不同量化標(biāo)尺都不符合前提。內(nèi)圖中的四個(gè)距離是教學(xué)輸入不是一次檢索測(cè)量。from heapq import nsmallest def exact_top(shards, k): if k 0: raise ValueError(negative k) local [nsmallest(k, rows) for rows in shards] return nsmallest(k, (x for rows in local for x in rows)) shards [[(1,A),(4,D)],[(2,B),(3,C)]] assert exact_top(shards, 2) [(1,A),(2,B)] assert exact_top(shards, 0) [] skewed [[(i,str(i)) for i in range(20)],[(100,Z)]] assert exact_top(skewed, 5) nsmallest(5, sum(skewed, [])) print(PASS exact merge, skewed shards and k0)ANN損失要記在哪一層HNSW、CAGRA等近似搜索可能在局部搜索階段就沒走到某個(gè)真正近鄰。超額召回與增大探索深度可以改變這個(gè)概率但不是數(shù)學(xué)上的無損保證。cuVS CAGRA文檔也把它定義為近似圖檢索精確結(jié)果需要精確基線。重打分能糾正“已召回候選”的近似距離無法補(bǔ)出從未進(jìn)入候選集的點(diǎn)。不能把“對(duì)候選精確排序”寫成“全庫精確召回”。缺片是另一類問題。一個(gè)分片不可用從健康分片多拿幾倍候選不會(huì)把故障片上的文檔變出來。此時(shí)應(yīng)返回覆蓋范圍或missing_shards由業(yè)務(wù)決定是否接受不完整結(jié)果。該怎樣驗(yàn)證一個(gè)分布式實(shí)現(xiàn)先用Faiss所述的統(tǒng)一度量建立全庫精確金標(biāo)再分別統(tǒng)計(jì)局部ANN漏召回、量化重排變化、超時(shí)缺片。網(wǎng)絡(luò)字節(jié)、延遲與Recall應(yīng)在相同數(shù)據(jù)和查詢分布下比較。本文Python示例本地通過僅驗(yàn)證精確合并命題的幾個(gè)有限例子。沒有運(yùn)行HNSW集群沒有“召回?fù)p失5%—15%”或“1ms合并百萬候選”的成績。要給“無損”蓋章先看前提不看協(xié)調(diào)器名字里有沒有Merge。本地示例使用Python 3.9.6保存完整Python塊為demo.py后可用python3 demo.py復(fù)現(xiàn)。示例只驗(yàn)證文中限定的邏輯不代表已接入數(shù)據(jù)庫或模型。