JoyAI-Image-OpenSpatial核心功能全解析從3D目標(biāo)定位到空間關(guān)系推理【免費(fèi)下載鏈接】JoyAI-Image-OpenSpatial項(xiàng)目地址: https://ai.gitcode.com/jd-opensource/JoyAI-Image-OpenSpatialJoyAI-Image-OpenSpatial是基于OpenSpatial構(gòu)建的空間理解數(shù)據(jù)集用于JoyAI-Image項(xiàng)目提供了從3D目標(biāo)定位到空間關(guān)系推理的全面能力。該數(shù)據(jù)集包含約300萬條多輪視覺空間問答樣本覆蓋7個(gè)開源數(shù)據(jù)集和網(wǎng)絡(luò)數(shù)據(jù)已開放約230萬條來自開源數(shù)據(jù)集的QA樣本。核心功能概覽 多維度空間理解能力數(shù)據(jù)集涵蓋多種空間理解任務(wù)包括3D目標(biāo)定位精準(zhǔn)標(biāo)注物體在三維空間中的位置與邊界深度排序判斷不同物體的相對遠(yuǎn)近關(guān)系空間關(guān)系推理分析物體間的方位、距離等空間聯(lián)系距離估計(jì)量化計(jì)算物體間的空間距離這些能力通過多輪對話形式呈現(xiàn)人類提問包含相機(jī)參數(shù)和空間推理問題AI回答則提供結(jié)構(gòu)化空間標(biāo)注如3D邊界框、深度排序、空間關(guān)系等。豐富的數(shù)據(jù)源支持整合了7個(gè)開源數(shù)據(jù)集的空間信息ARKitScenes移動設(shè)備捕捉的真實(shí)世界場景數(shù)據(jù)ScanNet/ScanNet室內(nèi)場景三維重建數(shù)據(jù)集HyperSim高保真合成室內(nèi)環(huán)境Matterport3D大規(guī)模室內(nèi)空間數(shù)據(jù)集WildRGB-D多樣化的RGB-D圖像集合Ego-Exo4D第一人稱與第三人稱視角融合數(shù)據(jù)快速上手指南 ?使用以下代碼即可快速加載數(shù)據(jù)集from datasets import load_dataset ds load_dataset(jdopensource/JoyAI-Image-OpenSpatial, splittrain, streamingTrue) for sample in ds: print(sample[conversations]) break數(shù)據(jù)格式詳解 每個(gè)Parquet文件包含以下核心字段字段類型描述conversationslist[{from, value}]多輪對話對human/gpt包含空間推理問題與結(jié)構(gòu)化標(biāo)注idstring樣本唯一標(biāo)識符data_sourcestring源數(shù)據(jù)集標(biāo)識如arkitscenes、scannet等imageslist[{bytes, path}]嵌入式圖像數(shù)據(jù)PNG格式typestring數(shù)據(jù)類型標(biāo)簽meta_infostring圖像維度JSON信息寬度、高度等應(yīng)用場景與價(jià)值 該數(shù)據(jù)集為以下領(lǐng)域提供強(qiáng)大支持計(jì)算機(jī)視覺模型訓(xùn)練機(jī)器人空間導(dǎo)航增強(qiáng)現(xiàn)實(shí)交互系統(tǒng)三維場景理解研究通過提供大規(guī)模、高質(zhì)量的空間問答數(shù)據(jù)JoyAI-Image-OpenSpatial幫助開發(fā)者構(gòu)建更智能的空間理解AI系統(tǒng)推動計(jì)算機(jī)視覺在三維空間認(rèn)知領(lǐng)域的發(fā)展。未來規(guī)劃 項(xiàng)目團(tuán)隊(duì)計(jì)劃在未來版本中發(fā)布3D提升數(shù)據(jù)進(jìn)一步增強(qiáng)數(shù)據(jù)集的完整性和應(yīng)用價(jià)值。要開始使用這個(gè)強(qiáng)大的空間理解數(shù)據(jù)集請克隆倉庫git clone https://gitcode.com/jd-opensource/JoyAI-Image-OpenSpatial【免費(fèi)下載鏈接】JoyAI-Image-OpenSpatial項(xiàng)目地址: https://ai.gitcode.com/jd-opensource/JoyAI-Image-OpenSpatial創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考