端三選一與動(dòng)態(tài)預(yù)算策略)
【免費(fèi)下載鏈接】daily-paper-reader開(kāi)源的每日 arXiv / OpenReview 論文推薦與 AI 閱讀平臺(tái)支持 GitHub Actions 自動(dòng)更新、GitHub Pages 部署與論文問(wèn)答。項(xiàng)目地址https://gitcode.com/gh_mirrors/da/daily-paper-reader點(diǎn)擊查看免費(fèi)下載Daily Paper Reader 是一個(gè)開(kāi)源的每日 arXiv / OpenReview 論文推薦與 AI 閱讀平臺(tái)其每日推薦質(zhì)量的核心之一就是rerank 重排體系召回階段篩出大量候選論文后由 Qwen3-Reranker 模型對(duì)候選池做精排打分再交給 LLM 精煉出最終日?qǐng)?bào)。本文將完整講清重排的本地 / 遠(yuǎn)端三選一部署方式以及動(dòng)態(tài)預(yù)算策略如何決定候選池規(guī)模幫助你快速選對(duì)配置、跑出更準(zhǔn)的論文推薦。重排體系的位置為什么 Step 3 決定推薦質(zhì)量Daily Paper Reader 的每日流水線共 7 步抓取 → BM25 關(guān)鍵詞召回 → 向量語(yǔ)義召回 → RRF 融合 →Rerank 重排Step 3→ LLM 精煉打分Step 4→ 生成日?qǐng)?bào)Step 6。重排的價(jià)值在于BM25 和向量召回擅長(zhǎng)廣撒網(wǎng)但各路分?jǐn)?shù)量綱不同、噪聲也各有側(cè)重。Step 3 會(huì)把所有召回 lane 合并成一個(gè)統(tǒng)一候選池再由 Qwen3-Reranker 逐條判斷這篇論文的標(biāo)題摘要是否滿足你的研究意圖輸出相關(guān)性得分??梢哉f(shuō)Step 4 的 LLM 精分、Step 5 的精讀/速讀分區(qū)全部建立在重排給出的星級(jí)門檻之上。整個(gè)后端鏈路中Rerank 緊跟在 RetrievalBM25/Embedding/RRF之后、LLM Refine 之前重排結(jié)果寫入archive/date/rank/供后續(xù)步驟消費(fèi)。Qwen3-Reranker 三選一本地、公益與 SiliconFlow 部署對(duì)比重排腳本 src/3.rank_papers.py 內(nèi)置了三個(gè) rerank profile預(yù)設(shè)配置同一套代碼只需換一個(gè)名字即可切換部署方式Profile運(yùn)行位置默認(rèn)模型鑒權(quán)特點(diǎn)local-qwen3-0.6b本地 CPU/GPUQwen/Qwen3-Reranker-0.6B無(wú)零調(diào)用成本離線可跑需安裝重依賴public-zwwen-rerank遠(yuǎn)端公益服務(wù)zwwen.onlineQwen/Qwen3-Reranker-0.6B內(nèi)置公益 Key免配置默認(rèn)選項(xiàng)Fork 即用siliconflow-qwen3-0.6bSiliconFlow 遠(yuǎn)端 APIQwen3-Reranker-0.6B/8BSILICONFLOW_API_KEY可選 8B 大模型自帶限速重試與成本統(tǒng)計(jì)選項(xiàng)一local-qwen3-0.6b —— 本地運(yùn)行零調(diào)用成本本地實(shí)現(xiàn)見(jiàn) src/3.rank_papers.py 的LocalQwenReranker。它的打分原理很巧妙不取模型輸出文本而是直接讀 tokenizer 中yes/no兩個(gè) token 的 logits做 softmax 后取P(yes)作為相關(guān)性分?jǐn)?shù)分?jǐn)?shù)越高表示論文越符合你的檢索意圖。需要torchtransformers安裝可選依賴 requirements-local-models.txtCPU 版 torch無(wú) GPU 時(shí)自動(dòng)用 CPU float32 運(yùn)行可用--rerank-device、--rerank-batch-size調(diào)優(yōu)?? 云端模式下DPR_MODELS_REMOTE_ONLY1禁止加載本地模型舊的本地配置會(huì)自動(dòng)改走public-zwwen-rerank。選項(xiàng)二public-zwwen-rerank —— 默認(rèn)公益重排服務(wù)這是工作流的默認(rèn) profile。公益服務(wù)地址與模型名都寫在 src/3.rank_papers.py 的RERANK_PROFILE_CONFIGS中Key 內(nèi)置兜底普通用戶 Fork 倉(cāng)庫(kù)后不配任何環(huán)境變量也能直接跑通重排是五分鐘上線體驗(yàn)的關(guān)鍵。選項(xiàng)三siliconflow-qwen3-0.6b —— SiliconFlow 遠(yuǎn)端 API遠(yuǎn)端客戶端實(shí)現(xiàn)在 src/reranker_api.py專為離線實(shí)驗(yàn)與生產(chǎn)切換設(shè)計(jì)支持 src/reranker_api.py 中的Qwen3-Reranker-0.6B與Qwen3-Reranker-8B兩個(gè)尺寸并可隨請(qǐng)求下發(fā)學(xué)術(shù)論文場(chǎng)景專用的instruction限速自愈遇到 429 / rate limit 自動(dòng)等待 65 秒重試默認(rèn) 2 次還可用SILICONFLOW_RERANK_MIN_INTERVAL_SECONDS設(shè)置請(qǐng)求間隔GitHub Actions 默認(rèn) 8 秒成本透明內(nèi)置 單價(jià)表0.6B 約 $0.01/百萬(wàn) token8B 約 $0.04/百萬(wàn) token運(yùn)行結(jié)束自動(dòng)輸出 API 調(diào)用次數(shù)、延遲 P95 與估算費(fèi)用遠(yuǎn)端每次最多 64 篇RERANK_MAX_DOCUMENTS_PER_REQUEST腳本會(huì)自動(dòng)把本地 100 的 batch 壓縮到遠(yuǎn)端上限。重排模式選擇指南環(huán)境變量、命令行與面板三種配置方式選定 profile 后有三種方式告訴系統(tǒng)使用它環(huán)境變量設(shè)置RERANK_PROFILE還支持local、zwwen、sf-0.6b等別名自動(dòng)歸一配合RERANK_PROVIDER/RERANK_MODEL/RERANK_API_BASE_URL微調(diào)命令行參數(shù)--rerank-profile、--rerank-provider、--rerank-model見(jiàn) 參數(shù)定義工作流面板在 daily workflow 的 dispatch 輸入中直接選擇reranker_profile見(jiàn) .github/workflows/daily-paper-reader.yml。前端觸發(fā)時(shí)同樣會(huì)讀取你在密鑰配置里選的 reranker profileapp/workflows.runner.js如果選的是本地模式但當(dāng)前運(yùn)行在云端會(huì)自動(dòng)回落到public-zwwen-rerank避免 Actions 環(huán)境下載模型失敗。# 例一次性用 SiliconFlow 8B 跑一次本地實(shí)驗(yàn) export RERANK_PROFILEsiliconflow-qwen3-0.6b export RERANK_MODELQwen/Qwen3-Reranker-8B export SILICONFLOW_API_KEYsk-xxxx python src/3.rank_papers.py --input archive/20260306/filtered/arxiv_papers_20260306.json動(dòng)態(tài)預(yù)算策略候選池規(guī)模如何自動(dòng)計(jì)算重排不是把所有論文都打分——調(diào)用量必須受控。resolve_global_pool_budget 會(huì)根據(jù)論文總量與意圖查詢intent query數(shù)量動(dòng)態(tài)計(jì)算三個(gè)預(yù)算參數(shù)計(jì)算規(guī)則含義lane_top_kmin(30 10 × ?(總數(shù)?1)/1000?, 120)每條召回 lane 最多帶多少候選進(jìn)池guaranteed_per_lanelane_top_k 的 25%限制在 [5, 20]每條 lane保底進(jìn)池的候選數(shù)global_pool_limitlane_top_k × 意圖查詢數(shù)限制在 [60, 300]全局 RRF 融合后的候選池上限以 4 個(gè)意圖查詢?yōu)槔龜?shù)值來(lái)自 tests/test_rank_global_pool.py 的斷言論文總量lane_top_k保底/lane全局池上限1,000 篇3081203,000 篇501220010,000 篇120封頂20封頂300封頂組池邏輯見(jiàn) build_global_candidate_ids每條 lane 的保底論文固定保留防止冷門方向被擠掉其余名額由全局 RRF1/(60rank)排序補(bǔ)齊去重后交給 reranker。 注意預(yù)算只按intent query 數(shù)量放大而關(guān)鍵詞召回keyword lane不參與打分。也就是說(shuō)你在訂閱面板里寫的意圖 Query用于意圖召回與最終打分越多候選池越大、推薦越貼合語(yǔ)義但調(diào)用量也越高如果預(yù)算不夠用或想壓縮成本可用環(huán)境變量手動(dòng)覆蓋DPR_RERANK_GLOBAL_POOL_LIMIT如 80 加速、DPR_RERANK_GUARANTEED_PER_LANE如 1 提速、DPR_RERANK_LANE_TOP_K。GitHub Actions 工作流當(dāng)前固定為120 / 2workflow 配置。從重排星級(jí)到日?qǐng)?bào)分?jǐn)?shù)如何串聯(lián)下游重排得分會(huì)先做 min-max 歸一化再按閾值映射成星級(jí)score_to_stars歸一化得分星級(jí)后續(xù)去向≥ 0.9?????Step 4 重點(diǎn)精分高分可進(jìn)精讀區(qū)≥ 0.5????進(jìn)入 Step 4 LLM 精煉4★ 是默認(rèn)門檻≥ 0.1???直接過(guò)濾 0.11-2★直接過(guò)濾也就是說(shuō)4★ 門檻就是重排與 LLM 之間的過(guò)濾器——重排預(yù)算給得越準(zhǔn)進(jìn)入 DeepSeek 精分的候選越少越精Token 成本和日?qǐng)?bào)質(zhì)量同時(shí)受益。最終你在日?qǐng)?bào)里看到的每篇論文星級(jí)正是這條鏈路的產(chǎn)物離線實(shí)驗(yàn)工具驗(yàn)證你的重排預(yù)算與模型尺寸項(xiàng)目?jī)?nèi)置了兩套裁判式離線實(shí)驗(yàn)工具都用Step 4 DeepSeek 精分結(jié)果作為評(píng)判標(biāo)準(zhǔn)而不是看重排本身的分?jǐn)?shù)并按top20_score_sum、score_ge_8等指標(biāo)自動(dòng)給出recommended推薦項(xiàng)src/rerank_budget_experiment.py動(dòng)態(tài)預(yù)算策略對(duì)比。內(nèi)置tiny40:1、fast80:1、balanced120:2三檔 profile對(duì)比不同候選池規(guī)模下的重排耗時(shí)、LLM 耗時(shí)與最終質(zhì)量src/rerank_model_size_experiment.py模型尺寸對(duì)比。默認(rèn)橫評(píng) SiliconFlow 的 0.6B 與 8B額外輸出兩模型 Top20 重合度top20_overlap與 API 成本估算回答大模型值不值。兩者都固定隨機(jī)種子--seed 20260503保證分批順序一致、可復(fù)現(xiàn)支持--skip-existing斷點(diǎn)續(xù)跑。重排體系速查清單如何三選一?默認(rèn)/云端運(yùn)行保持public-zwwen-rerank不動(dòng)零配置Fork 即用?想完全離線或長(zhǎng)期大量跑裝 requirements-local-models.txt選local-qwen3-0.6bCPU 也能跑?追求極致排序質(zhì)量、可接受小額費(fèi)用選siliconflow-qwen3-0.6b并把RERANK_MODEL切到 8B先跑一輪rerank_model_size_experiment.py驗(yàn)證收益再上線?覺(jué)得日?qǐng)?bào)候選不夠/太多先調(diào)DPR_RERANK_GLOBAL_POOL_LIMIT60–300與DPR_RERANK_GUARANTEED_PER_LANE而不是改代碼?改完配置跑一次預(yù)算實(shí)驗(yàn)用 DeepSeek 精分結(jié)果對(duì)比top20_score_sum數(shù)據(jù)說(shuō)話。重排體系是 Daily Paper Reader 推薦鏈路中投入產(chǎn)出比最高的調(diào)節(jié)旋鈕選對(duì)部署方式省心調(diào)好動(dòng)態(tài)預(yù)算省錢理解星級(jí)門檻才能理解每一篇推薦論文為什么出現(xiàn)在你的日?qǐng)?bào)里。贊分享【免費(fèi)下載鏈接】daily-paper-reader開(kāi)源的每日 arXiv / OpenReview 論文推薦與 AI 閱讀平臺(tái)支持 GitHub Actions 自動(dòng)更新、GitHub Pages 部署與論文問(wèn)答。項(xiàng)目地址https://gitcode.com/gh_mirrors/da/daily-paper-reader點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Millennium性能優(yōu)化技巧讓你的Steam客戶端運(yùn)行更流暢Millennium性能優(yōu)化技巧讓你的Steam客戶端運(yùn)行更流暢 Millennium是一款開(kāi)源低代碼 modding 框架專為桌面版 Steam 客戶端打NeuralRecon代碼實(shí)現(xiàn)原理從理論到實(shí)踐的全鏈路分析NeuralRecon代碼實(shí)現(xiàn)原理從理論到實(shí)踐的全鏈路分析 NeuralRecon是一個(gè)基于深度學(xué)習(xí)的實(shí)時(shí)單目視頻三維重建系統(tǒng)能夠從普通視頻序列中高效構(gòu)建連計(jì)算機(jī)視覺(jué)深度學(xué)習(xí)人工智能科研EmojiPackage表情包主題深度解析程序員篇 - 120個(gè)經(jīng)典表情包帶你走進(jìn)程序員的內(nèi)心世界EmojiPackage表情包主題深度解析程序員篇 120個(gè)經(jīng)典表情包帶你走進(jìn)程序員的內(nèi)心世界 EmojiPackage表情包資源合集是程序員日常溝通的神器即時(shí)通訊上一篇EasyCV性能優(yōu)化終極指南10個(gè)技巧讓你的模型快如閃電下一篇Finb/Bark項(xiàng)目解析iOS設(shè)備輕量級(jí)消息推送方案創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考