: Survey for Gaming, Embodied AI and Autonomous Driving (arXiv:250)
### 主要內(nèi)容1. **交互式生成視頻(IGV)概述**:IGV是結(jié)合生成能力與交互功能的技術(shù),能生成多樣高質(zhì)量視頻內(nèi)容,并通過控制信號和反饋實(shí)現(xiàn)用戶參與。文章介紹了視頻生成的基礎(chǔ)技術(shù),如VAE、GAN、擴(kuò)散模型、自回歸模型及混合模型等。2. **IGV系統(tǒng)框架**:提出IGV系統(tǒng)的五個核心模塊:生成模塊,負(fù)責(zé)視頻合成,面臨實(shí)時生成、流生成和多模態(tài)生成等挑戰(zhàn);控制模塊,管理用戶與虛擬世界交互,需解決開放域場景下的精確控制問題;記憶模塊,保持生成內(nèi)容的一致性,包括靜態(tài)和動態(tài)記憶;動力學(xué)模塊,模擬虛擬世界物理規(guī)律,涉及物理定律模擬和物理參數(shù)調(diào)整;智能模塊,包含推理和自我進(jìn)化能力,推動IGV向更高智能發(fā)展。3. **IGV的應(yīng)用**- **游戲領(lǐng)域**:生成式游戲引擎(GGE)依賴IGV技術(shù),其發(fā)展經(jīng)歷從模擬到創(chuàng)造的轉(zhuǎn)變,在交互維度和模型架構(gòu)上不斷演進(jìn),未來需優(yōu)化一致性、提升游戲性、增強(qiáng)實(shí)時性能并實(shí)現(xiàn)自我進(jìn)化。- **具身人工智能領(lǐng)域**:IGV為具身AI提供支持,在任務(wù)規(guī)劃、策略學(xué)習(xí)和跨任務(wù)環(huán)境泛化方面發(fā)揮作用,但在實(shí)時復(fù)雜條件下的規(guī)劃、縮小模擬與現(xiàn)實(shí)差距以及多模態(tài)集成等方面面臨挑戰(zhàn)。- **自動駕駛領(lǐng)域**:IGV作為逼真的視頻模擬器和內(nèi)部世界模型,用于大規(guī)模視頻模擬和實(shí)時規(guī)劃控制,但在增強(qiáng)模擬現(xiàn)實(shí)性和泛化能力、實(shí)現(xiàn)實(shí)時交互和系統(tǒng)集成方面有待改進(jìn)。### 創(chuàng)新點(diǎn)1. **全面綜述**:對IGV在游戲、具身AI和自動駕駛領(lǐng)域的應(yīng)用及發(fā)展現(xiàn)狀進(jìn)行全面調(diào)研,涵蓋多種模型和技術(shù)方法。2. **系統(tǒng)框架提出**:提出將IGV系統(tǒng)分解為五個基本模塊的系統(tǒng)框架,為理解和開發(fā)IGV系統(tǒng)提供結(jié)構(gòu)化方法。3. **技術(shù)挑戰(zhàn)分析**:基于框架系統(tǒng)分析實(shí)現(xiàn)理想IGV系統(tǒng)各組件的技術(shù)挑戰(zhàn)和未來研究方