據(jù)集：Lite 270任務(wù)、Full 600任務(wù)與Mini-Interact下載完整指南)
【免費下載鏈接】BIRD-Interact[ICLR 2026 Oral] BIRD-INTERACT: Re-imagines Text-to-SQL evaluation via lens of dynamic interactions.項目地址https://gitcode.com/gh_mirrors/bi/BIRD-Interact點擊查看免費下載BIRD-Interact 是 ICLR 2026 Oral 論文提出的交互式 Text-to-SQL 評測基準本文將帶你完整獲取它的三份數(shù)據(jù)集Lite 270 任務(wù)、Full 600 任務(wù)與 Mini-Interact 300 任務(wù)并搞定 PostgreSQL / SQLite 數(shù)據(jù)庫和 Ground Truth 的合并方法。一、先認識BIRD-Interact動態(tài)交互的Text-to-SQL基準BIRD-Interact 重新定義了 Text-to-SQL 的評測方式不再只看單輪問答而是讓用戶模擬器User Simulator與模型進行多輪對話逐步消解用戶查詢中的歧義Ambiguity最終驗證模型寫出的 SQL 是否能真實執(zhí)行并通過測試用例。整個基準由三大部件組成這也是下載數(shù)據(jù)集時需要一并準備的內(nèi)容組成部件說明? 數(shù)據(jù)庫Lite/Full 為 PostgreSQL18/22 個庫Mini-Interact 為 SQLite 任務(wù)數(shù)據(jù)含歧義注入查詢、追問、外部知識等字段? Ground Truth標準答案 SQL 與可執(zhí)行測試用例需單獨申請該基準提供兩種評測模式下載時可根據(jù)研究目標選擇c-Interact對話式交互被動模式流程固定——澄清歧義 → 提交 SQL → 追問對應(yīng) bird_interact_conv/ 模塊a-Interact智能體式交互主動模式Agent 自主決定何時查知識庫、何時問用戶、何時執(zhí)行 SQL對應(yīng) bird_interact_agent/ 模塊研究還發(fā)現(xiàn)隨著用戶耐心值交互輪數(shù)預(yù)算增加部分模型的成功率持續(xù)上升展現(xiàn)出 Interaction-Time Scaling交互時擴展現(xiàn)象二、三大版本怎么選Lite 270 / Full 600 / Mini-Interact版本任務(wù)數(shù)數(shù)據(jù)庫特點適用場景bird-interact-lite270PostgreSQL18 庫 / 175 表高質(zhì)量真實業(yè)務(wù)任務(wù)快速實驗、上手首選bird-interact-full600PostgreSQL22 庫 / 244 表覆蓋 BI、CRUD 全操作當前最強模型成功率僅約 16%嚴肅研究、刷榜mini-interact300SQLite僅 SELECT歧義消解與追問解耦可本地輕量運行無 Docker 環(huán)境、個人快速驗證 新手建議先用Lite 270跑通流程再用Mini-Interact做本地調(diào)試最后上Full 600。三、第一步克隆倉庫獲取評測代碼所有數(shù)據(jù)集的評測腳本、用戶模擬器與合并工具都在倉庫中先克隆這是唯一需要 clone 的步驟git clone https://gitcode.com/gh_mirrors/bi/BIRD-Interact倉庫中你后續(xù)會用到的關(guān)鍵文件README.md總覽、環(huán)境搭建與數(shù)據(jù)集字段說明combine_public_with_gt.py公開數(shù)據(jù)與 Ground Truth 的合并腳本evaluation/PostgreSQL 四種數(shù)據(jù)庫類型的評測源碼mini_interact/README.mdMini-Interact 數(shù)據(jù)集說明四、下載Lite 270與Full 600數(shù)據(jù)集PostgreSQL版1. 獲取公開數(shù)據(jù)Lite 與 Full 數(shù)據(jù)集托管在 HuggingFace 上在 HuggingFace 搜索框中分別查找數(shù)據(jù)集卡片Litebirdsql/bird-interact-lite270 任務(wù)Fullbirdsql/bird-interact-full600 任務(wù)下載后將數(shù)據(jù)集放入對應(yīng)模塊的data/目錄例如 bird_interact_conv/ 或 bird_interact_agent/ 下。?? 注意為防止數(shù)據(jù)泄露公開數(shù)據(jù)不含sol_sql標準答案和test_cases測試用例字段需要單獨申請見下節(jié)。2. 申請Ground Truth與Test Cases官方郵件會自動發(fā)送完整字段文件只需按格式發(fā)送郵件到bird.bench25gmail.com標題必須帶指定標簽數(shù)據(jù)集郵件標題標簽bird-interact-lite[bird-interact-lite GTTest Cases]bird-interact-full[bird-interact-full GTTest Cases]3. 合并公開數(shù)據(jù)與Ground Truth收到 GT 文件后用倉庫根目錄的 combine_public_with_gt.py 按instance_id自動合并。以 Full 為例# (1) 生成合并后的完整數(shù)據(jù)文件 python combine_public_with_gt.py \ /path/to/bird-interact-full/bird_interact_data.jsonl \ /path/to/bird_interact_full_gt_kg_testcases_08022.jsonl \ /path/to/bird_interact_data.jsonl # (2) 用合并結(jié)果替換原公開數(shù)據(jù) cp /path/to/bird_interact_data.jsonl /path/to/bird-interact-full/bird_interact_data.jsonlLite 與 Mini 版本操作相同只需替換對應(yīng)的公開數(shù)據(jù)與 GT 路徑。每條任務(wù)數(shù)據(jù)的核心字段詳見 README.md 的 Dataset Details 一節(jié)amb_user_query注入歧義的用戶查詢sol_sqlGround Truth SQLtest_cases驗證預(yù)測 SQL 的可執(zhí)行測試用例preprocess_sql/clean_up_sql執(zhí)行前后對數(shù)據(jù)庫的預(yù)處理與還原follow_up/external_knowledge追問標注與外部知識4. 加載PostgreSQL數(shù)據(jù)庫Lite 與 Full 的數(shù)據(jù)庫有兩種獲取方式方式 ADocker 預(yù)構(gòu)建鏡像推薦無需手動下載數(shù)據(jù)庫轉(zhuǎn)儲文件cd env docker compose pull docker compose up -d這會啟動三個容器bird_interact_postgresqlLite 數(shù)據(jù)庫、bird_interact_postgresql_fullFull 數(shù)據(jù)庫和bird_interact_eval評測環(huán)境。只跑 Lite 可注釋掉postgresql_full服務(wù)以加快初始化。方式 B手動導(dǎo)入自行下載 Lite / Full 的數(shù)據(jù)庫轉(zhuǎn)儲文件Google Drive 鏈接見 README.md Environment Setup 一節(jié)解壓后分別重命名為env/postgre_table_dumps與env/postgre_table_dumps_full再使用docker-compose.build.yml構(gòu)建鏡像。啟動后務(wù)必檢查數(shù)據(jù)庫是否加載成功在評測容器內(nèi)執(zhí)行docker compose exec bird_interact_eval bash cd /app/env python check_db_metadata.py --host bird_interact_postgresql # Lite python check_db_metadata.py --host bird_interact_postgresql_full # Full預(yù)期結(jié)果Lite 為18 庫 / 175 表 / 2286 列Full 為22 庫 / 244 表 / 2011 列。若日志出現(xiàn)Errors occurred during import:說明數(shù)據(jù)庫未正確加載評測分數(shù)會異常偏低官方公告特別強調(diào)了這一點。五、下載Mini-InteractSQLite本地輕量版Mini-Interact 是便攜版300 個 SQLite 任務(wù)歧義消解與追問解耦無需 Docker 即可本地評測。詳細說明見 mini_interact/README.md。獲取步驟在 HuggingFace 中查找數(shù)據(jù)集卡片birdsql/mini-interact下載其中的 SQLite 數(shù)據(jù)庫文件與mini_interact.jsonl數(shù)據(jù)文件將 SQLite 數(shù)據(jù)庫放入 mini_interact/knowledge_based/mini_interact_conv/data/ 目錄數(shù)據(jù)文件放為data/mini_interact.jsonl配置模型 API Key 后通過 mini_interact/knowledge_based/mini_interact_conv/pipeline/run_Mini_Interact.sh 即可運行對話式評測當前已發(fā)布的版本為知識型歧義Knowledge-Based版本僅支持 SELECT 查詢個性化歧義Personalized與 CRUD 操作在路線圖中可關(guān)注 mini_interact/README.md 的 Roadmap 表格。六、進階使用BIRD-Interact-ADK并行評測如果你的研究需要替換 Agent 框架或并行跑實驗可以改用官方 ADK 實現(xiàn) BIRD-Interact-ADK/。它把系統(tǒng)拆成三個獨立微服務(wù)system_agent6000 端口、user_simulator6001 端口、db_environment6002 端口支持任意 LiteLLM 兼容的模型并通過每任務(wù)獨立數(shù)據(jù)庫副本實現(xiàn)無鎖并發(fā)其數(shù)據(jù)集加載邏輯與上文完全一致Lite 18 庫 / Full 22 庫詳細步驟見 BIRD-Interact-ADK/README.md。七、常見問題速查問題解決方法評測分數(shù)異常低檢查 Docker 日志確認數(shù)據(jù)庫全部加載成功不要跳過元數(shù)據(jù)校驗數(shù)據(jù)缺sol_sql/test_cases正?，F(xiàn)象公開數(shù)據(jù)刻意剔除需郵件申請后用 combine_public_with_gt.py 合并跑 Full 時連錯數(shù)據(jù)庫將 evaluation/ 中postgresql_utils.py的 host 從bird_interact_postgresql改為bird_interact_postgresql_full用戶模擬器解析 SQL 報錯在bird_interact_eval環(huán)境執(zhí)行pip install sqlglot26.16.4或重建容器到這里L(fēng)ite 270、Full 600 與 Mini-Interact 三份數(shù)據(jù)集、PostgreSQL / SQLite 數(shù)據(jù)庫以及 Ground Truth 的完整獲取鏈路就跑通了。接下來按 bird_interact_conv/README.md、bird_interact_agent/README.md 的 Quick Start 跑通第一組實驗即可祝你在 BIRD-Interact 排行榜上取得好成績 贊分享【免費下載鏈接】BIRD-Interact[ICLR 2026 Oral] BIRD-INTERACT: Re-imagines Text-to-SQL evaluation via lens of dynamic interactions.項目地址https://gitcode.com/gh_mirrors/bi/BIRD-Interact點擊查看免費下載相關(guān)推薦Notepad-- 目錄查找替換十分鐘三行命令刷掉整個目錄的舊版本號Notepad 目錄查找替換十分鐘三行命令刷掉整個目錄的舊版本號 同一個配置值散在四十個文件里挨個打開逐個改改到第二十遍就開始懷疑人生。Notepad 是APScheduler任務(wù)結(jié)果處理完全指南如何獲取和分析任務(wù)執(zhí)行結(jié)果APScheduler任務(wù)結(jié)果處理完全指南如何獲取和分析任務(wù)執(zhí)行結(jié)果 APScheduler是一個功能強大的Python任務(wù)調(diào)度庫能夠幫助開發(fā)者輕松管理定時任務(wù)調(diào)度后端learn2learn任務(wù)轉(zhuǎn)換教程如何從任何PyTorch數(shù)據(jù)集創(chuàng)建小樣本任務(wù)learn2learn任務(wù)轉(zhuǎn)換教程如何從任何PyTorch數(shù)據(jù)集創(chuàng)建小樣本任務(wù) 小樣本學(xué)習(xí)是元學(xué)習(xí)中的核心挑戰(zhàn)而learn2learn庫提供了強大的任務(wù)轉(zhuǎn)換上一篇aiohttp 客戶端中間件實戰(zhàn)指南重試、日志、Token 刷新與 SSRF 防護下一篇Gatsby 中借助 gatsby-remark-prismjs 與 Emotion 實現(xiàn) Markdown 代碼高亮using-emotion-prismjs 實戰(zhàn)解析創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何獲取BIRD-Interact數(shù)據(jù)集：Lite 270任務(wù)、Full 600任務(wù)與Mini-Interact下載完整指南
【免費下載鏈接】BIRD-Interact[ICLR 2026 Oral] BIRD-INTERACT: Re-imagines Text-to-SQL evaluation via lens of dynamic interactions.項目地址https://gitcode.com/gh_mirrors/bi/BIRD-Interact點擊查看免費下載BIRD-Interact 是 ICLR 2026 Oral 論文提出的交互式 Text-to-SQL 評測基準本文將帶你完整獲取它的三份數(shù)據(jù)集Lite 270 任務(wù)、Full 600 任務(wù)與 Mini-Interact 300 任務(wù)并搞定 PostgreSQL / SQLite 數(shù)據(jù)庫和 Ground Truth 的合并方法。一、先認識BIRD-Interact動態(tài)交互的Text-to-SQL基準BIRD-Interact 重新定義了 Text-to-SQL 的評測方式不再只看單輪問答而是讓用戶模擬器User Simulator與模型進行多輪對話逐步消解用戶查詢中的歧義Ambiguity最終驗證模型寫出的 SQL 是否能真實執(zhí)行并通過測試用例。整個基準由三大部件組成這也是下載數(shù)據(jù)集時需要一并準備的內(nèi)容組成部件說明? 數(shù)據(jù)庫Lite/Full 為 PostgreSQL18/22 個庫Mini-Interact 為 SQLite 任務(wù)數(shù)據(jù)含歧義注入查詢、追問、外部知識等字段? Ground Truth標準答案 SQL 與可執(zhí)行測試用例需單獨申請該基準提供兩種評測模式下載時可根據(jù)研究目標選擇c-Interact對話式交互被動模式流程固定——澄清歧義 → 提交 SQL → 追問對應(yīng) bird_interact_conv/ 模塊a-Interact智能體式交互主動模式Agent 自主決定何時查知識庫、何時問用戶、何時執(zhí)行 SQL對應(yīng) bird_interact_agent/ 模塊研究還發(fā)現(xiàn)隨著用戶耐心值交互輪數(shù)預(yù)算增加部分模型的成功率持續(xù)上升展現(xiàn)出 Interaction-Time Scaling交互時擴展現(xiàn)象二、三大版本怎么選Lite 270 / Full 600 / Mini-Interact版本任務(wù)數(shù)數(shù)據(jù)庫特點適用場景bird-interact-lite270PostgreSQL18 庫 / 175 表高質(zhì)量真實業(yè)務(wù)任務(wù)快速實驗、上手首選bird-interact-full600PostgreSQL22 庫 / 244 表覆蓋 BI、CRUD 全操作當前最強模型成功率僅約 16%嚴肅研究、刷榜mini-interact300SQLite僅 SELECT歧義消解與追問解耦可本地輕量運行無 Docker 環(huán)境、個人快速驗證 新手建議先用Lite 270跑通流程再用Mini-Interact做本地調(diào)試最后上Full 600。三、第一步克隆倉庫獲取評測代碼所有數(shù)據(jù)集的評測腳本、用戶模擬器與合并工具都在倉庫中先克隆這是唯一需要 clone 的步驟git clone https://gitcode.com/gh_mirrors/bi/BIRD-Interact倉庫中你后續(xù)會用到的關(guān)鍵文件README.md總覽、環(huán)境搭建與數(shù)據(jù)集字段說明combine_public_with_gt.py公開數(shù)據(jù)與 Ground Truth 的合并腳本evaluation/PostgreSQL 四種數(shù)據(jù)庫類型的評測源碼mini_interact/README.mdMini-Interact 數(shù)據(jù)集說明四、下載Lite 270與Full 600數(shù)據(jù)集PostgreSQL版1. 獲取公開數(shù)據(jù)Lite 與 Full 數(shù)據(jù)集托管在 HuggingFace 上在 HuggingFace 搜索框中分別查找數(shù)據(jù)集卡片Litebirdsql/bird-interact-lite270 任務(wù)Fullbirdsql/bird-interact-full600 任務(wù)下載后將數(shù)據(jù)集放入對應(yīng)模塊的data/目錄例如 bird_interact_conv/ 或 bird_interact_agent/ 下。?? 注意為防止數(shù)據(jù)泄露公開數(shù)據(jù)不含sol_sql標準答案和test_cases測試用例字段需要單獨申請見下節(jié)。2. 申請Ground Truth與Test Cases官方郵件會自動發(fā)送完整字段文件只需按格式發(fā)送郵件到bird.bench25gmail.com標題必須帶指定標簽數(shù)據(jù)集郵件標題標簽bird-interact-lite[bird-interact-lite GTTest Cases]bird-interact-full[bird-interact-full GTTest Cases]3. 合并公開數(shù)據(jù)與Ground Truth收到 GT 文件后用倉庫根目錄的 combine_public_with_gt.py 按instance_id自動合并。以 Full 為例# (1) 生成合并后的完整數(shù)據(jù)文件 python combine_public_with_gt.py \ /path/to/bird-interact-full/bird_interact_data.jsonl \ /path/to/bird_interact_full_gt_kg_testcases_08022.jsonl \ /path/to/bird_interact_data.jsonl # (2) 用合并結(jié)果替換原公開數(shù)據(jù) cp /path/to/bird_interact_data.jsonl /path/to/bird-interact-full/bird_interact_data.jsonlLite 與 Mini 版本操作相同只需替換對應(yīng)的公開數(shù)據(jù)與 GT 路徑。每條任務(wù)數(shù)據(jù)的核心字段詳見 README.md 的 Dataset Details 一節(jié)amb_user_query注入歧義的用戶查詢sol_sqlGround Truth SQLtest_cases驗證預(yù)測 SQL 的可執(zhí)行測試用例preprocess_sql/clean_up_sql執(zhí)行前后對數(shù)據(jù)庫的預(yù)處理與還原follow_up/external_knowledge追問標注與外部知識4. 加載PostgreSQL數(shù)據(jù)庫Lite 與 Full 的數(shù)據(jù)庫有兩種獲取方式方式 ADocker 預(yù)構(gòu)建鏡像推薦無需手動下載數(shù)據(jù)庫轉(zhuǎn)儲文件cd env docker compose pull docker compose up -d這會啟動三個容器bird_interact_postgresqlLite 數(shù)據(jù)庫、bird_interact_postgresql_fullFull 數(shù)據(jù)庫和bird_interact_eval評測環(huán)境。只跑 Lite 可注釋掉postgresql_full服務(wù)以加快初始化。方式 B手動導(dǎo)入自行下載 Lite / Full 的數(shù)據(jù)庫轉(zhuǎn)儲文件Google Drive 鏈接見 README.md Environment Setup 一節(jié)解壓后分別重命名為env/postgre_table_dumps與env/postgre_table_dumps_full再使用docker-compose.build.yml構(gòu)建鏡像。啟動后務(wù)必檢查數(shù)據(jù)庫是否加載成功在評測容器內(nèi)執(zhí)行docker compose exec bird_interact_eval bash cd /app/env python check_db_metadata.py --host bird_interact_postgresql # Lite python check_db_metadata.py --host bird_interact_postgresql_full # Full預(yù)期結(jié)果Lite 為18 庫 / 175 表 / 2286 列Full 為22 庫 / 244 表 / 2011 列。若日志出現(xiàn)Errors occurred during import:說明數(shù)據(jù)庫未正確加載評測分數(shù)會異常偏低官方公告特別強調(diào)了這一點。五、下載Mini-InteractSQLite本地輕量版Mini-Interact 是便攜版300 個 SQLite 任務(wù)歧義消解與追問解耦無需 Docker 即可本地評測。詳細說明見 mini_interact/README.md。獲取步驟在 HuggingFace 中查找數(shù)據(jù)集卡片birdsql/mini-interact下載其中的 SQLite 數(shù)據(jù)庫文件與mini_interact.jsonl數(shù)據(jù)文件將 SQLite 數(shù)據(jù)庫放入 mini_interact/knowledge_based/mini_interact_conv/data/ 目錄數(shù)據(jù)文件放為data/mini_interact.jsonl配置模型 API Key 后通過 mini_interact/knowledge_based/mini_interact_conv/pipeline/run_Mini_Interact.sh 即可運行對話式評測當前已發(fā)布的版本為知識型歧義Knowledge-Based版本僅支持 SELECT 查詢個性化歧義Personalized與 CRUD 操作在路線圖中可關(guān)注 mini_interact/README.md 的 Roadmap 表格。六、進階使用BIRD-Interact-ADK并行評測如果你的研究需要替換 Agent 框架或并行跑實驗可以改用官方 ADK 實現(xiàn) BIRD-Interact-ADK/。它把系統(tǒng)拆成三個獨立微服務(wù)system_agent6000 端口、user_simulator6001 端口、db_environment6002 端口支持任意 LiteLLM 兼容的模型并通過每任務(wù)獨立數(shù)據(jù)庫副本實現(xiàn)無鎖并發(fā)其數(shù)據(jù)集加載邏輯與上文完全一致Lite 18 庫 / Full 22 庫詳細步驟見 BIRD-Interact-ADK/README.md。七、常見問題速查問題解決方法評測分數(shù)異常低檢查 Docker 日志確認數(shù)據(jù)庫全部加載成功不要跳過元數(shù)據(jù)校驗數(shù)據(jù)缺sol_sql/test_cases正?，F(xiàn)象公開數(shù)據(jù)刻意剔除需郵件申請后用 combine_public_with_gt.py 合并跑 Full 時連錯數(shù)據(jù)庫將 evaluation/ 中postgresql_utils.py的 host 從bird_interact_postgresql改為bird_interact_postgresql_full用戶模擬器解析 SQL 報錯在bird_interact_eval環(huán)境執(zhí)行pip install sqlglot26.16.4或重建容器到這里L(fēng)ite 270、Full 600 與 Mini-Interact 三份數(shù)據(jù)集、PostgreSQL / SQLite 數(shù)據(jù)庫以及 Ground Truth 的完整獲取鏈路就跑通了。接下來按 bird_interact_conv/README.md、bird_interact_agent/README.md 的 Quick Start 跑通第一組實驗即可祝你在 BIRD-Interact 排行榜上取得好成績 贊分享【免費下載鏈接】BIRD-Interact[ICLR 2026 Oral] BIRD-INTERACT: Re-imagines Text-to-SQL evaluation via lens of dynamic interactions.項目地址https://gitcode.com/gh_mirrors/bi/BIRD-Interact點擊查看免費下載相關(guān)推薦Notepad-- 目錄查找替換十分鐘三行命令刷掉整個目錄的舊版本號Notepad 目錄查找替換十分鐘三行命令刷掉整個目錄的舊版本號 同一個配置值散在四十個文件里挨個打開逐個改改到第二十遍就開始懷疑人生。Notepad 是APScheduler任務(wù)結(jié)果處理完全指南如何獲取和分析任務(wù)執(zhí)行結(jié)果APScheduler任務(wù)結(jié)果處理完全指南如何獲取和分析任務(wù)執(zhí)行結(jié)果 APScheduler是一個功能強大的Python任務(wù)調(diào)度庫能夠幫助開發(fā)者輕松管理定時任務(wù)調(diào)度后端learn2learn任務(wù)轉(zhuǎn)換教程如何從任何PyTorch數(shù)據(jù)集創(chuàng)建小樣本任務(wù)learn2learn任務(wù)轉(zhuǎn)換教程如何從任何PyTorch數(shù)據(jù)集創(chuàng)建小樣本任務(wù) 小樣本學(xué)習(xí)是元學(xué)習(xí)中的核心挑戰(zhàn)而learn2learn庫提供了強大的任務(wù)轉(zhuǎn)換上一篇aiohttp 客戶端中間件實戰(zhàn)指南重試、日志、Token 刷新與 SSRF 防護下一篇Gatsby 中借助 gatsby-remark-prismjs 與 Emotion 實現(xiàn) Markdown 代碼高亮using-emotion-prismjs 實戰(zhàn)解析創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考