程重排到底值不值？memsearch中英雙語(yǔ)檢索質(zhì)量評(píng)估實(shí)驗(yàn)全解讀)
Jev遠(yuǎn)程重排到底值不值memsearch中英雙語(yǔ)檢索質(zhì)量評(píng)估實(shí)驗(yàn)全解讀【免費(fèi)下載鏈接】memsearchA persistent, unified memory layer for all your AI agents (e.g. Claude Code, Codex, DSH), backed by Markdown and Milvus.項(xiàng)目地址: https://gitcode.com/gh_mirrors/mem/memsearchmemsearch是一個(gè)為 Claude Code、Codex 等 AI Agent 提供持久統(tǒng)一記憶層的開(kāi)源項(xiàng)目基于 Markdown Milvus 構(gòu)建語(yǔ)義檢索。其中的Jev 遠(yuǎn)程重排通過(guò) TypeSafe API 對(duì)檢索結(jié)果二次排序是一項(xiàng)可選功能它到底能提升多少檢索質(zhì)量要花多少錢(qián)本文完整解讀 memsearch 官方的中英雙語(yǔ)重排評(píng)估實(shí)驗(yàn)用 4344 條真實(shí)記憶語(yǔ)料的數(shù)據(jù)回答值不值。?太長(zhǎng)不看Jev 讓 Recall5 從 0.7471 提升到 0.79414.70 個(gè)百分點(diǎn)代價(jià)約 $0.171/千次查詢(xún)對(duì)照組 Voyage rerank-3 質(zhì)量更高0.8187且更便宜$0.120/千次。Jev 是免費(fèi)的午餐升級(jí)但不是最優(yōu)解——這正是它保持可選而非默認(rèn)的原因。一、實(shí)驗(yàn)怎么設(shè)計(jì)的固定候選只比重排這次實(shí)驗(yàn)非常嚴(yán)謹(jǐn)?shù)牡胤皆谟诳刂谱兞吭斠?jiàn) evaluation/reranking-evaluation.md要素設(shè)定語(yǔ)料來(lái)自 12 個(gè)真實(shí)項(xiàng)目的 955 條記憶塊中英雙語(yǔ)查詢(xún)集每語(yǔ)言 2172 條955 簡(jiǎn)單 926 復(fù)雜 291 多跳合計(jì)4344 行候選集每個(gè)查詢(xún)固定復(fù)用 BGE-M3 檢索的Top-10 候選三種方法比同一池子對(duì)照方法① 凍結(jié)原始排序基線② Jev 1.13.0 ③ Voyage rerank-3這樣做的意義候選成員完全一致測(cè)的是重排模型把正確答案往上挪的能力而不是端到端搜索系統(tǒng)。Jev 的提示詞適配自官方 reranking cookbook對(duì)每個(gè)候選獨(dú)立判斷它是否包含查詢(xún)所需的具體事實(shí)請(qǐng)求構(gòu)造邏輯在 src/memsearch/jev_reranker.py。二、核心結(jié)果三種方法的完整對(duì)賬方法Recall5MRR10NDCG10千次查詢(xún)成本凍結(jié)原始排序0.74710.63720.6728$0Jev 1.13.00.79410.68840.7114~$0.171Voyage rerank-30.81870.77540.7755~$0.120三個(gè)關(guān)鍵讀數(shù) Recall5Jev 比原始排序4.70 個(gè)百分點(diǎn)Voyage 再 2.46——兩個(gè)重排器都有效重排本身值得做MRR10Jev 與 Voyage 差距最大0.6884 vs 0.7754。Voyage 更擅長(zhǎng)把正確答案推到最前幾位而不只是塞進(jìn) Top-5——對(duì)用戶(hù)只看前 3 條的場(chǎng)景更友好中英均衡Jev 的中文 MRR0.6885和英文0.6883幾乎相同說(shuō)明翻譯后它和 Voyage 的差距并沒(méi)有消失不是語(yǔ)言問(wèn)題。三、分題型拆解Jev 在哪類(lèi)問(wèn)題上最給力題型凍結(jié) R5Jev R5Voyage R5簡(jiǎn)單事實(shí)題0.76750.82720.8398復(fù)雜推理題0.76570.80720.8396多跳題需多個(gè)片段0.62120.64360.6831 規(guī)律清晰越難的問(wèn)題重排收益越明顯。多跳題基線最低0.6212但 Voyage 的提升也最大6.19ppJev 在多跳題上只小幅提升說(shuō)明它更擅長(zhǎng)判斷單個(gè)候選是否命中而非綜合多個(gè)候選排序。完整 40 組細(xì)分?jǐn)?shù)據(jù)在 evaluation/reranking-metrics.csv 中。四、成本賬本每千次查詢(xún)多少錢(qián)語(yǔ)言Jev 1.13.0Voyage rerank-3計(jì)費(fèi) Token1772 萬(wàn)1045 萬(wàn)估算費(fèi)用$0.7443雙語(yǔ)$0.5225雙語(yǔ)平均延遲0.86 ~ 1.23 秒0.60 ~ 0.88 秒注意 Jev 是每個(gè)候選一個(gè)獨(dú)立問(wèn)題的判定式設(shè)計(jì)token 消耗比 Voyage 高約 70%。對(duì)重度使用的 Agent每天上千次記憶召回這筆賬每月約 $5 vs $3.5差距不大但存在。五、結(jié)論Jev 值不值得開(kāi)?值得你的記憶庫(kù)偏中英混合、想要零本地模型部署純 API、不下載模型、不改向量索引、且對(duì)成本不敏感時(shí)Jev 用約 $0.17/千次換來(lái) 4.7pp 的 Recall5是明顯賺的??猶豫如果首條命中率MRR對(duì)你更重要Voyage 質(zhì)量更高還更便宜是更理性的選擇不必日常低頻使用、或記憶內(nèi)容涉及隱私不想發(fā)往第三方 API 的場(chǎng)景保持默認(rèn)關(guān)閉reranker.model 即可——注意開(kāi)啟后查詢(xún)和候選文本會(huì)發(fā)送到 TypeSafe官方建議只配置在可信的全局配置中。所以官方把 Jev 定位為顯式開(kāi)啟的可選提供者而不是改變默認(rèn)配置——評(píng)估數(shù)據(jù)支撐了這個(gè)克制它證明 Jev 有效但沒(méi)證明它是最佳重排器。六、動(dòng)手啟用 Jev 重排與復(fù)現(xiàn)評(píng)估啟用只需兩步配置說(shuō)明export TYPESAFE_API_KEYyour-key memsearch config set reranker.model jev:jev-1.13.0 # 或 jev:jev-latest 跟隨最新穩(wěn)定版想在自己的數(shù)據(jù)集上復(fù)現(xiàn)這套評(píng)估官方提供了完整運(yùn)行器 evaluation/rerank_evaluate.py支持--preflight在不發(fā)起任何 API 調(diào)用的情況下預(yù)估成本聚合結(jié)果存于 evaluation/reranking-results.json更早的 12 款嵌入模型基準(zhǔn)bge-m3 奪冠的那篇見(jiàn) evaluation/README.md程序化接入方式見(jiàn) docs/python-api.md。一句話總結(jié)Jev 遠(yuǎn)程重排在 memsearch 的中英雙語(yǔ)評(píng)估中用 4.7 個(gè)百分點(diǎn)的 Recall5 提升證明了自己值得存在但面對(duì) Voyage 的成本-質(zhì)量組合它更適合作為按需開(kāi)啟的增強(qiáng)項(xiàng)而非默認(rèn)答案?！久赓M(fèi)下載鏈接】memsearchA persistent, unified memory layer for all your AI agents (e.g. Claude Code, Codex, DSH), backed by Markdown and Milvus.項(xiàng)目地址: https://gitcode.com/gh_mirrors/mem/memsearch創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Jev遠(yuǎn)程重排到底值不值？memsearch中英雙語(yǔ)檢索質(zhì)量評(píng)估實(shí)驗(yàn)全解讀
Jev遠(yuǎn)程重排到底值不值memsearch中英雙語(yǔ)檢索質(zhì)量評(píng)估實(shí)驗(yàn)全解讀【免費(fèi)下載鏈接】memsearchA persistent, unified memory layer for all your AI agents (e.g. Claude Code, Codex, DSH), backed by Markdown and Milvus.項(xiàng)目地址: https://gitcode.com/gh_mirrors/mem/memsearchmemsearch是一個(gè)為 Claude Code、Codex 等 AI Agent 提供持久統(tǒng)一記憶層的開(kāi)源項(xiàng)目基于 Markdown Milvus 構(gòu)建語(yǔ)義檢索。其中的Jev 遠(yuǎn)程重排通過(guò) TypeSafe API 對(duì)檢索結(jié)果二次排序是一項(xiàng)可選功能它到底能提升多少檢索質(zhì)量要花多少錢(qián)本文完整解讀 memsearch 官方的中英雙語(yǔ)重排評(píng)估實(shí)驗(yàn)用 4344 條真實(shí)記憶語(yǔ)料的數(shù)據(jù)回答值不值。?太長(zhǎng)不看Jev 讓 Recall5 從 0.7471 提升到 0.79414.70 個(gè)百分點(diǎn)代價(jià)約 $0.171/千次查詢(xún)對(duì)照組 Voyage rerank-3 質(zhì)量更高0.8187且更便宜$0.120/千次。Jev 是免費(fèi)的午餐升級(jí)但不是最優(yōu)解——這正是它保持可選而非默認(rèn)的原因。一、實(shí)驗(yàn)怎么設(shè)計(jì)的固定候選只比重排這次實(shí)驗(yàn)非常嚴(yán)謹(jǐn)?shù)牡胤皆谟诳刂谱兞吭斠?jiàn) evaluation/reranking-evaluation.md要素設(shè)定語(yǔ)料來(lái)自 12 個(gè)真實(shí)項(xiàng)目的 955 條記憶塊中英雙語(yǔ)查詢(xún)集每語(yǔ)言 2172 條955 簡(jiǎn)單 926 復(fù)雜 291 多跳合計(jì)4344 行候選集每個(gè)查詢(xún)固定復(fù)用 BGE-M3 檢索的Top-10 候選三種方法比同一池子對(duì)照方法① 凍結(jié)原始排序基線② Jev 1.13.0 ③ Voyage rerank-3這樣做的意義候選成員完全一致測(cè)的是重排模型把正確答案往上挪的能力而不是端到端搜索系統(tǒng)。Jev 的提示詞適配自官方 reranking cookbook對(duì)每個(gè)候選獨(dú)立判斷它是否包含查詢(xún)所需的具體事實(shí)請(qǐng)求構(gòu)造邏輯在 src/memsearch/jev_reranker.py。二、核心結(jié)果三種方法的完整對(duì)賬方法Recall5MRR10NDCG10千次查詢(xún)成本凍結(jié)原始排序0.74710.63720.6728$0Jev 1.13.00.79410.68840.7114~$0.171Voyage rerank-30.81870.77540.7755~$0.120三個(gè)關(guān)鍵讀數(shù) Recall5Jev 比原始排序4.70 個(gè)百分點(diǎn)Voyage 再 2.46——兩個(gè)重排器都有效重排本身值得做MRR10Jev 與 Voyage 差距最大0.6884 vs 0.7754。Voyage 更擅長(zhǎng)把正確答案推到最前幾位而不只是塞進(jìn) Top-5——對(duì)用戶(hù)只看前 3 條的場(chǎng)景更友好中英均衡Jev 的中文 MRR0.6885和英文0.6883幾乎相同說(shuō)明翻譯后它和 Voyage 的差距并沒(méi)有消失不是語(yǔ)言問(wèn)題。三、分題型拆解Jev 在哪類(lèi)問(wèn)題上最給力題型凍結(jié) R5Jev R5Voyage R5簡(jiǎn)單事實(shí)題0.76750.82720.8398復(fù)雜推理題0.76570.80720.8396多跳題需多個(gè)片段0.62120.64360.6831 規(guī)律清晰越難的問(wèn)題重排收益越明顯。多跳題基線最低0.6212但 Voyage 的提升也最大6.19ppJev 在多跳題上只小幅提升說(shuō)明它更擅長(zhǎng)判斷單個(gè)候選是否命中而非綜合多個(gè)候選排序。完整 40 組細(xì)分?jǐn)?shù)據(jù)在 evaluation/reranking-metrics.csv 中。四、成本賬本每千次查詢(xún)多少錢(qián)語(yǔ)言Jev 1.13.0Voyage rerank-3計(jì)費(fèi) Token1772 萬(wàn)1045 萬(wàn)估算費(fèi)用$0.7443雙語(yǔ)$0.5225雙語(yǔ)平均延遲0.86 ~ 1.23 秒0.60 ~ 0.88 秒注意 Jev 是每個(gè)候選一個(gè)獨(dú)立問(wèn)題的判定式設(shè)計(jì)token 消耗比 Voyage 高約 70%。對(duì)重度使用的 Agent每天上千次記憶召回這筆賬每月約 $5 vs $3.5差距不大但存在。五、結(jié)論Jev 值不值得開(kāi)?值得你的記憶庫(kù)偏中英混合、想要零本地模型部署純 API、不下載模型、不改向量索引、且對(duì)成本不敏感時(shí)Jev 用約 $0.17/千次換來(lái) 4.7pp 的 Recall5是明顯賺的??猶豫如果首條命中率MRR對(duì)你更重要Voyage 質(zhì)量更高還更便宜是更理性的選擇不必日常低頻使用、或記憶內(nèi)容涉及隱私不想發(fā)往第三方 API 的場(chǎng)景保持默認(rèn)關(guān)閉reranker.model 即可——注意開(kāi)啟后查詢(xún)和候選文本會(huì)發(fā)送到 TypeSafe官方建議只配置在可信的全局配置中。所以官方把 Jev 定位為顯式開(kāi)啟的可選提供者而不是改變默認(rèn)配置——評(píng)估數(shù)據(jù)支撐了這個(gè)克制它證明 Jev 有效但沒(méi)證明它是最佳重排器。六、動(dòng)手啟用 Jev 重排與復(fù)現(xiàn)評(píng)估啟用只需兩步配置說(shuō)明export TYPESAFE_API_KEYyour-key memsearch config set reranker.model jev:jev-1.13.0 # 或 jev:jev-latest 跟隨最新穩(wěn)定版想在自己的數(shù)據(jù)集上復(fù)現(xiàn)這套評(píng)估官方提供了完整運(yùn)行器 evaluation/rerank_evaluate.py支持--preflight在不發(fā)起任何 API 調(diào)用的情況下預(yù)估成本聚合結(jié)果存于 evaluation/reranking-results.json更早的 12 款嵌入模型基準(zhǔn)bge-m3 奪冠的那篇見(jiàn) evaluation/README.md程序化接入方式見(jiàn) docs/python-api.md。一句話總結(jié)Jev 遠(yuǎn)程重排在 memsearch 的中英雙語(yǔ)評(píng)估中用 4.7 個(gè)百分點(diǎn)的 Recall5 提升證明了自己值得存在但面對(duì) Voyage 的成本-質(zhì)量組合它更適合作為按需開(kāi)啟的增強(qiáng)項(xiàng)而非默認(rèn)答案?！久赓M(fèi)下載鏈接】memsearchA persistent, unified memory layer for all your AI agents (e.g. Claude Code, Codex, DSH), backed by Markdown and Milvus.項(xiàng)目地址: https://gitcode.com/gh_mirrors/mem/memsearch創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考