源 CUA 大戰(zhàn)本周開(kāi)打：OpenCUA、UI-TARS-1.5 前后腳開(kāi)源，27k 星的 trycua/cua 如何守擂)
開(kāi)源 CUA 大戰(zhàn)本周開(kāi)打OpenCUA、UI-TARS-1.5 前后腳開(kāi)源27k 星的 trycua/cua 如何守擂【免費(fèi)下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/cua/cua本周計(jì)算機(jī)使用智能體Computer-Use Agent下稱 CUA賽道迎來(lái)罕見(jiàn)的雙模型撞車(chē)字節(jié) Seed 把 UI-TARS-1.5 的權(quán)重開(kāi)源并亮出多項(xiàng) SOTA 戰(zhàn)績(jī)港大與 Kimi 團(tuán)隊(duì)前后腳放出 OpenCUA主打人人可造專屬電腦智能體。當(dāng)模型派開(kāi)始成建制地開(kāi)源那個(gè)長(zhǎng)期盤(pán)踞 GitHub 趨勢(shì)榜、被社區(qū)稱為Cua的 27k 星倉(cāng)庫(kù) trycua/cua 反而顯得安靜——它沒(méi)有新權(quán)重可發(fā)。但把倉(cāng)庫(kù)拆開(kāi)看會(huì)發(fā)現(xiàn)它的護(hù)城河從來(lái)不在模型權(quán)重而在模型之下的電腦層跨三操作系統(tǒng)的驅(qū)動(dòng)Cua Driver、沙箱與本地虛擬機(jī)運(yùn)行時(shí)SDK/CLI Lume、評(píng)測(cè)與數(shù)據(jù)工廠Cua Bench以及一套把 OpenCUA、UI-TARS 直接吃掉當(dāng)自家組件的模型無(wú)關(guān)適配層。本文基于倉(cāng)庫(kù)源碼逐行核對(duì)回答一個(gè)問(wèn)題模型陣營(yíng)集體開(kāi)源的這幾天trycua/cua 是被圍剿還是恰好被抬到了更高的生態(tài)位。一、兩位挑戰(zhàn)者SOTA 戰(zhàn)績(jī)與人人可造的敘事先給模型派記分。UI-TARS-1.5ByteDance SeedUI-TARS 系列的第二代開(kāi)源權(quán)重。trycua/cua 倉(cāng)庫(kù)自己的博客在對(duì)比各模型能力時(shí)引用了它的基準(zhǔn)數(shù)據(jù)這張表也是目前社區(qū)引用率最高的OS 操作能力坐標(biāo)系之一BenchmarkUI-TARS-1.5OpenAI CuaClaude 3.7此前 SOTAHumanOSWorld100 步42.536.428.038.1200 步72.4Windows Agent Arena50 步42.1——29.8—WebVoyager84.887.084.187.0—Online-Mind2Web75.871.062.971.0—AndroidWorld64.2——59.5—上表出自 Cua 團(tuán)隊(duì)維護(hù)的模型能力對(duì)照blog/build-your-own-operator-on-macos-2.md這張表透露的信息比分?jǐn)?shù)本身更重要UI-TARS-1.5 的強(qiáng)項(xiàng)集中在OS/桌面級(jí)任務(wù)OSWorld、Windows Agent Arena 雙雙刷新 SOTA瀏覽器場(chǎng)景 OpenAI Cua 仍保留 2 個(gè)百分點(diǎn)優(yōu)勢(shì)。Cua 團(tuán)隊(duì)的選型結(jié)論也因此寫(xiě)得很直白需要更強(qiáng) OS/桌面能力和低延遲自動(dòng)化時(shí)選 UI-TARS Loop。對(duì)一個(gè)開(kāi)源模型而言在最難打的原生桌面場(chǎng)景上超過(guò)閉源 API就是它能快速出圈的原因。OpenCUA港大 Kimi走的是另一條敘事——人人可造專屬電腦智能體。與 UI-TARS 主打綜合智能體不同OpenCUA 是典型的 grounding界面定位模型給一張截圖和一句點(diǎn)這里它輸出click(x..., y...)。7B 級(jí)權(quán)重開(kāi)源意味著開(kāi)發(fā)者可以在本地起一個(gè) OpenAI 兼容端點(diǎn)自己組裝智能體循環(huán)不必依賴任何云 API。同期中文社區(qū)出現(xiàn)了一整批截圖 多模態(tài)模型 pyautogui手寫(xiě) CUA 的教程潮阿里的 Qwen-CUA397B MoE等模型也在此前后發(fā)布——人人可造不是口號(hào)而是工程事實(shí)一個(gè)視覺(jué)定位模型 一個(gè)鍵鼠執(zhí)行器最小可用 CUA 就閉環(huán)了而這兩個(gè)部件現(xiàn)在都是開(kāi)源的。模型派這一輪攻勢(shì)本質(zhì)上是把 CUA 棧里最貴的智力層免費(fèi)化了。接下來(lái)看 trycua/cua 手里還攥著什么。二、生態(tài)位賣(mài)電腦不賣(mài)大腦打開(kāi) README.md第一句話是 Give AI agents computers they can use.——注意不是 Give AI agents a brain。倉(cāng)庫(kù)自我定位是四件套Cua Driver跨 macOS/Windows/Linux 的桌面自動(dòng)化驅(qū)動(dòng)通過(guò) CLI、MCP 或類型化 SDK 接入支持后臺(tái)投遞——智能體干活時(shí)不動(dòng)你的指針、不搶焦點(diǎn)Cua SDK CLI一條cua命令和 Rust 核心管本地虛擬機(jī)、gVisor/Docker 容器、云端沙箱沙箱內(nèi)的 cua-spacesd 守護(hù)進(jìn)程在 3211 端口暴露進(jìn)程、文件、截屏與輸入能力Lume基于 Apple Virtualization.Framework 的本地 macOS/Linux 虛擬機(jī)管理M 系列芯片上從 Apple 恢復(fù)鏡像創(chuàng)建 Tahoe 虛擬機(jī)并 SSH 接入Cua Bench建任務(wù)、跑評(píng)測(cè)、導(dǎo)出訓(xùn)練軌跡的基準(zhǔn)與 RL 環(huán)境。倉(cāng)庫(kù)架構(gòu)圖把生態(tài)位畫(huà)得很清楚img/cua-architecture.png整個(gè)棧被切成 Environment / Execution / Intelligence 三層最右一列 Agent Framework 標(biāo)注著100 VLM Options、Pre-built agent loops、Bring Your Own Key。換句話說(shuō)trycua/cua 從設(shè)計(jì)上就把大腦外置為可插拔組件——模型派開(kāi)源的不是威脅而是給它補(bǔ)上了免費(fèi)、可本地化的選項(xiàng)。商業(yè)結(jié)構(gòu)同樣自洽倉(cāng)庫(kù)絕大部分代碼SDK、CLI、Driver、Lume、Bench是 MIT只有 Cua Spaces 應(yīng)用層走 FSL-1.1-MIT源可用、不可提供競(jìng)品托管服務(wù)、每個(gè)版本兩年后轉(zhuǎn) MIT見(jiàn) LICENSING.md 與 COMMERCIAL.md。它賣(mài)的是給你的智能體一臺(tái)電腦的運(yùn)行時(shí)與服務(wù)模型層恰恰是它最不需要獨(dú)占的部分。三、源碼級(jí)證據(jù)OpenCUA 與 UI-TARS 早已是 Cua 的內(nèi)置組件最能說(shuō)明守擂姿勢(shì)的不是 README 措辭而是 libs/python/agent/ 下的 agent loop 目錄。Cua 把每個(gè)模型廠商的怪癖封裝成獨(dú)立的Agent Loop用正則注冊(cè)——模型名一換大腦即換register_agent(modelsr(?i).*OpenCUA.*) # loops/opencua.py register_agent(modelsr(?i).*ui-?tars-?2.*) # loops/uitars2.py逐個(gè)看細(xì)節(jié)才能理解模型無(wú)關(guān)要吞掉多少臟活。OpenCUA Loop 的坐標(biāo)工程libs/python/agent/cua_agent/loops/opencua.pyOpenCUA 端點(diǎn)不理會(huì) provider 側(cè)的像素提示所以 Cua 在發(fā)送前真的重編碼圖片——用qwen_vl_utils.smart_resize按factor28、max_pixels12845056縮放并記住縮放系數(shù)把模型返回的坐標(biāo)反向映射回原始分辨率MIN_PIXELS 3136 MAX_PIXELS 12845056 FACTOR 28 rh, rw smart_resize(orig_h, orig_w, factorFACTOR, min_pixelsMIN_PIXELS, max_pixelsMAX_PIXELS) # ... def _rescale(x: int, y: int) - Tuple[int, int]: if last_orig_w and last_orig_h and last_rw and last_rh: return _rescale_coordinate(x, y, last_orig_w, last_orig_h, last_rw, last_rh) return (x, y)輸出解析同樣為 OpenCUA 定制優(yōu)先匹配其原生的click(x..., y...)extract_coordinates_from_click還兼容舊式pyautogui.click(...)輸出再退到 【免費(fèi)下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/cua/cua創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 開(kāi)源 CUA 大戰(zhàn)本周開(kāi)打：OpenCUA、UI-TARS-1.5 前后腳開(kāi)源，27k 星的 trycua/cua 如何守擂
開(kāi)源 CUA 大戰(zhàn)本周開(kāi)打OpenCUA、UI-TARS-1.5 前后腳開(kāi)源27k 星的 trycua/cua 如何守擂【免費(fèi)下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/cua/cua本周計(jì)算機(jī)使用智能體Computer-Use Agent下稱 CUA賽道迎來(lái)罕見(jiàn)的雙模型撞車(chē)字節(jié) Seed 把 UI-TARS-1.5 的權(quán)重開(kāi)源并亮出多項(xiàng) SOTA 戰(zhàn)績(jī)港大與 Kimi 團(tuán)隊(duì)前后腳放出 OpenCUA主打人人可造專屬電腦智能體。當(dāng)模型派開(kāi)始成建制地開(kāi)源那個(gè)長(zhǎng)期盤(pán)踞 GitHub 趨勢(shì)榜、被社區(qū)稱為Cua的 27k 星倉(cāng)庫(kù) trycua/cua 反而顯得安靜——它沒(méi)有新權(quán)重可發(fā)。但把倉(cāng)庫(kù)拆開(kāi)看會(huì)發(fā)現(xiàn)它的護(hù)城河從來(lái)不在模型權(quán)重而在模型之下的電腦層跨三操作系統(tǒng)的驅(qū)動(dòng)Cua Driver、沙箱與本地虛擬機(jī)運(yùn)行時(shí)SDK/CLI Lume、評(píng)測(cè)與數(shù)據(jù)工廠Cua Bench以及一套把 OpenCUA、UI-TARS 直接吃掉當(dāng)自家組件的模型無(wú)關(guān)適配層。本文基于倉(cāng)庫(kù)源碼逐行核對(duì)回答一個(gè)問(wèn)題模型陣營(yíng)集體開(kāi)源的這幾天trycua/cua 是被圍剿還是恰好被抬到了更高的生態(tài)位。一、兩位挑戰(zhàn)者SOTA 戰(zhàn)績(jī)與人人可造的敘事先給模型派記分。UI-TARS-1.5ByteDance SeedUI-TARS 系列的第二代開(kāi)源權(quán)重。trycua/cua 倉(cāng)庫(kù)自己的博客在對(duì)比各模型能力時(shí)引用了它的基準(zhǔn)數(shù)據(jù)這張表也是目前社區(qū)引用率最高的OS 操作能力坐標(biāo)系之一BenchmarkUI-TARS-1.5OpenAI CuaClaude 3.7此前 SOTAHumanOSWorld100 步42.536.428.038.1200 步72.4Windows Agent Arena50 步42.1——29.8—WebVoyager84.887.084.187.0—Online-Mind2Web75.871.062.971.0—AndroidWorld64.2——59.5—上表出自 Cua 團(tuán)隊(duì)維護(hù)的模型能力對(duì)照blog/build-your-own-operator-on-macos-2.md這張表透露的信息比分?jǐn)?shù)本身更重要UI-TARS-1.5 的強(qiáng)項(xiàng)集中在OS/桌面級(jí)任務(wù)OSWorld、Windows Agent Arena 雙雙刷新 SOTA瀏覽器場(chǎng)景 OpenAI Cua 仍保留 2 個(gè)百分點(diǎn)優(yōu)勢(shì)。Cua 團(tuán)隊(duì)的選型結(jié)論也因此寫(xiě)得很直白需要更強(qiáng) OS/桌面能力和低延遲自動(dòng)化時(shí)選 UI-TARS Loop。對(duì)一個(gè)開(kāi)源模型而言在最難打的原生桌面場(chǎng)景上超過(guò)閉源 API就是它能快速出圈的原因。OpenCUA港大 Kimi走的是另一條敘事——人人可造專屬電腦智能體。與 UI-TARS 主打綜合智能體不同OpenCUA 是典型的 grounding界面定位模型給一張截圖和一句點(diǎn)這里它輸出click(x..., y...)。7B 級(jí)權(quán)重開(kāi)源意味著開(kāi)發(fā)者可以在本地起一個(gè) OpenAI 兼容端點(diǎn)自己組裝智能體循環(huán)不必依賴任何云 API。同期中文社區(qū)出現(xiàn)了一整批截圖 多模態(tài)模型 pyautogui手寫(xiě) CUA 的教程潮阿里的 Qwen-CUA397B MoE等模型也在此前后發(fā)布——人人可造不是口號(hào)而是工程事實(shí)一個(gè)視覺(jué)定位模型 一個(gè)鍵鼠執(zhí)行器最小可用 CUA 就閉環(huán)了而這兩個(gè)部件現(xiàn)在都是開(kāi)源的。模型派這一輪攻勢(shì)本質(zhì)上是把 CUA 棧里最貴的智力層免費(fèi)化了。接下來(lái)看 trycua/cua 手里還攥著什么。二、生態(tài)位賣(mài)電腦不賣(mài)大腦打開(kāi) README.md第一句話是 Give AI agents computers they can use.——注意不是 Give AI agents a brain。倉(cāng)庫(kù)自我定位是四件套Cua Driver跨 macOS/Windows/Linux 的桌面自動(dòng)化驅(qū)動(dòng)通過(guò) CLI、MCP 或類型化 SDK 接入支持后臺(tái)投遞——智能體干活時(shí)不動(dòng)你的指針、不搶焦點(diǎn)Cua SDK CLI一條cua命令和 Rust 核心管本地虛擬機(jī)、gVisor/Docker 容器、云端沙箱沙箱內(nèi)的 cua-spacesd 守護(hù)進(jìn)程在 3211 端口暴露進(jìn)程、文件、截屏與輸入能力Lume基于 Apple Virtualization.Framework 的本地 macOS/Linux 虛擬機(jī)管理M 系列芯片上從 Apple 恢復(fù)鏡像創(chuàng)建 Tahoe 虛擬機(jī)并 SSH 接入Cua Bench建任務(wù)、跑評(píng)測(cè)、導(dǎo)出訓(xùn)練軌跡的基準(zhǔn)與 RL 環(huán)境。倉(cāng)庫(kù)架構(gòu)圖把生態(tài)位畫(huà)得很清楚img/cua-architecture.png整個(gè)棧被切成 Environment / Execution / Intelligence 三層最右一列 Agent Framework 標(biāo)注著100 VLM Options、Pre-built agent loops、Bring Your Own Key。換句話說(shuō)trycua/cua 從設(shè)計(jì)上就把大腦外置為可插拔組件——模型派開(kāi)源的不是威脅而是給它補(bǔ)上了免費(fèi)、可本地化的選項(xiàng)。商業(yè)結(jié)構(gòu)同樣自洽倉(cāng)庫(kù)絕大部分代碼SDK、CLI、Driver、Lume、Bench是 MIT只有 Cua Spaces 應(yīng)用層走 FSL-1.1-MIT源可用、不可提供競(jìng)品托管服務(wù)、每個(gè)版本兩年后轉(zhuǎn) MIT見(jiàn) LICENSING.md 與 COMMERCIAL.md。它賣(mài)的是給你的智能體一臺(tái)電腦的運(yùn)行時(shí)與服務(wù)模型層恰恰是它最不需要獨(dú)占的部分。三、源碼級(jí)證據(jù)OpenCUA 與 UI-TARS 早已是 Cua 的內(nèi)置組件最能說(shuō)明守擂姿勢(shì)的不是 README 措辭而是 libs/python/agent/ 下的 agent loop 目錄。Cua 把每個(gè)模型廠商的怪癖封裝成獨(dú)立的Agent Loop用正則注冊(cè)——模型名一換大腦即換register_agent(modelsr(?i).*OpenCUA.*) # loops/opencua.py register_agent(modelsr(?i).*ui-?tars-?2.*) # loops/uitars2.py逐個(gè)看細(xì)節(jié)才能理解模型無(wú)關(guān)要吞掉多少臟活。OpenCUA Loop 的坐標(biāo)工程libs/python/agent/cua_agent/loops/opencua.pyOpenCUA 端點(diǎn)不理會(huì) provider 側(cè)的像素提示所以 Cua 在發(fā)送前真的重編碼圖片——用qwen_vl_utils.smart_resize按factor28、max_pixels12845056縮放并記住縮放系數(shù)把模型返回的坐標(biāo)反向映射回原始分辨率MIN_PIXELS 3136 MAX_PIXELS 12845056 FACTOR 28 rh, rw smart_resize(orig_h, orig_w, factorFACTOR, min_pixelsMIN_PIXELS, max_pixelsMAX_PIXELS) # ... def _rescale(x: int, y: int) - Tuple[int, int]: if last_orig_w and last_orig_h and last_rw and last_rh: return _rescale_coordinate(x, y, last_orig_w, last_orig_h, last_rw, last_rh) return (x, y)輸出解析同樣為 OpenCUA 定制優(yōu)先匹配其原生的click(x..., y...)extract_coordinates_from_click還兼容舊式pyautogui.click(...)輸出再退到 【免費(fèi)下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/cua/cua創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考