位姿與內(nèi)參：map-anything-apache-fp16 進(jìn)階輸入配置詳解)
【免費(fèi)下載鏈接】map-anything-apache-fp16項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/mlx-community/map-anything-apache-fp16點(diǎn)擊查看免費(fèi)下載map-anything-apache-fp16 是 MapAnythingMeta 與 CMU 的度量級(jí)前饋式 3D 重建模型的 float16 MLX 移植版專為 Apple Silicon 優(yōu)化。它最靈活的地方在于每一張輸入圖像都可以自由搭配相機(jī)內(nèi)參、深度圖與相機(jī)位姿中的任意組合——只給照片、部分標(biāo)定還是全部提供模型一次前向推理就能輸出度量點(diǎn)云、深度圖、相機(jī)位姿、內(nèi)參、置信度與有效像素掩碼讓你用已有的 SfM / 深度估計(jì) / 標(biāo)定結(jié)果大幅增強(qiáng) 3D 重建質(zhì)量。 這個(gè)模型能做什么項(xiàng)目說(shuō)明輸入1 張或多張圖片加任意可選的內(nèi)參、深度圖、相機(jī)位姿每個(gè)視圖可獨(dú)立組合輸出每張視圖的度量點(diǎn)圖、深度、光線方向、相機(jī)位姿、內(nèi)參、置信度、有效掩碼體積權(quán)重僅約 2.65 GB是 float32 原版的一半見 model.safetensors許可Apache License 2.0LICENSE運(yùn)行環(huán)境本倉(cāng)庫(kù)只含權(quán)重與元數(shù)據(jù)推理代碼在mlx-vlm中需包含mapanything模型、0.7.4 之后新增的版本 三種可選輸入逐項(xiàng)詳解1?? 相機(jī)內(nèi)參intrinsics一個(gè) 3×3 的標(biāo)定矩陣K。如果你手頭有現(xiàn)成的標(biāo)定結(jié)果OpenCV 標(biāo)定、相機(jī)廠商參數(shù)等直接傳入即可模型會(huì)利用它約束光線方向而不是靠網(wǎng)絡(luò)猜測(cè)。2?? 深度圖depth_z逐像素的度量深度圖與輸入圖像分辨率一致。來(lái)源可以是單目深度估計(jì)模型、LiDAR 或深度相機(jī)。給模型一個(gè)粗略答案它能在此基礎(chǔ)上精修顯著提升遮擋與弱紋理區(qū)域的深度質(zhì)量。3?? 相機(jī)位姿camera_poses位姿用四元數(shù) 平移向量表示即(quats_xyzw, trans)元組旋轉(zhuǎn) 4 維、平移 3 維對(duì)應(yīng) config.json 中cam_rot_quats_encoder的in_chans: 4與cam_trans_encoder的in_chans: 3。關(guān)鍵參數(shù)is_metric_scale如果你的位姿來(lái)自 COLMAP 等 SfM 流程只能確定到比例尺、沒(méi)有真實(shí)米制單位傳入時(shí)加上is_metric_scale: False模型會(huì)通過(guò)內(nèi)置的scale_encoder自動(dòng)恢復(fù)度量尺度。深度輸入則是 1 通道的稠密編碼器depth_encoderpatch_size: 14與上述編碼器一起構(gòu)成模型的幾何輸入通道。 任意組合每個(gè)視圖自由搭配這正是 map-anything-apache-fp16 的精髓——不同視圖之間互不干擾同一視圖內(nèi)三種輸入也可任意取子集。下面 3 個(gè)視圖分別演示了全量提供、僅內(nèi)參、僅位姿非度量尺度三種典型搭配views processor.preprocess([ {img: image0, intrinsics: K0, depth_z: depth0, camera_poses: pose0}, {img: image1, intrinsics: K1}, {img: image2, camera_poses: (quats_xyzw, trans), is_metric_scale: False}, ]) predictions model.infer(views)典型使用場(chǎng)景對(duì)照組合方式適用場(chǎng)景僅img純照片重建完全無(wú)標(biāo)定信息imgintrinsics有相機(jī)參數(shù)但無(wú)位姿的固定場(chǎng)景imgcamera_posesCOLMAP/SfM 結(jié)果增強(qiáng)注意is_metric_scaleimgdepth_z 全量深度相機(jī) / 激光雷達(dá)采集的高精度場(chǎng)景 預(yù)測(cè)輸出字段說(shuō)明調(diào)用model.infer(views)后每個(gè)視圖返回一個(gè)字典惰性求值用mx.eval觸發(fā)計(jì)算字段形狀含義pts3d(1, H, W, 3)度量世界坐標(biāo)點(diǎn)以第一張視圖的相機(jī)坐標(biāo)系為基準(zhǔn)depth_z(1, H, W, 1)度量深度camera_poses(1, 4, 4)OpenCV 約定的 cam2world 位姿intrinsics(1, 3, 3)預(yù)測(cè)內(nèi)參conf(1, H, W)逐像素置信度mask(1, H, W, 1)有效像素?zé)o歧義掩碼? 命令行一鍵推理不想寫代碼時(shí)可直接用命令行所有輸出會(huì)寫入predictions.npz并額外導(dǎo)出一份彩色點(diǎn)云points.plyMLX_ENABLE_TF320 python -m mlx_vlm.models.mapanything.generate \ --model mlx-community/map-anything-apache-fp16 --images path/to/images --output out? 進(jìn)階小貼士記得設(shè)置MLX_ENABLE_TF320在 M5 及更新 GPU 上MLX 默認(rèn)以 TF32 精度執(zhí)行 float32 矩陣乘會(huì)讓 float32 的預(yù)測(cè)頭成為最大誤差來(lái)源。在首次矩陣乘之前設(shè)置該變量可避免問(wèn)題只多花幾毫秒。分辨率預(yù)處理模型采用固定映射到 518 的分辨率集preprocessor_config.json 中resize_mode: fixed_mapping、resolution_set: 518輸入圖會(huì)被自動(dòng)規(guī)整。精度實(shí)測(cè)在 518×294 的 4 幀室外視頻上與 float32 PyTorch 參考實(shí)現(xiàn)相比深度尺度歸一化后中位相對(duì)誤差約 6.0e-4度量尺度誤差在 1.1e-4 以內(nèi)與參考實(shí)現(xiàn)在 MPS 上的混合精度表現(xiàn)持平。速度參考Apple M5 Max518×294 視圖MLX 本模型 vs PyTorch MPS 混合精度視圖數(shù)1481632MLX 本模型0.06 s0.23 s0.48 s1.10 s2.89 sPyTorch MPS0.13 s0.47 s1.73 s5.27 s11.3 s 倉(cāng)庫(kù)文件資料速查文件作用README.md完整用法、精度與速度實(shí)測(cè)數(shù)據(jù)config.json模型結(jié)構(gòu)配置含幾何輸入編碼器定義geometric_input_configpreprocessor_config.json圖像預(yù)處理配置固定映射到 518 分辨率model.safetensorsfloat16 權(quán)重約 2.65 GB1.13B float16 95M float32 參數(shù)LICENSEApache License 2.0 許可? 一句話總結(jié)把你能拿到的內(nèi)參、深度圖、相機(jī)位姿有多少給多少map-anything-apache-fp16 就能在 Apple Silicon 上以毫秒級(jí)推理給你一套度量級(jí)的 3D 重建結(jié)果。贊分享【免費(fèi)下載鏈接】map-anything-apache-fp16項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/mlx-community/map-anything-apache-fp16點(diǎn)擊查看免費(fèi)下載相關(guān)推薦內(nèi)參、深度、位姿想加就加map-anything-fp16任意輸入組合指南解鎖最強(qiáng)重建精度內(nèi)參、深度、位姿想加就加map anything fp16任意輸入組合指南解鎖最強(qiáng)重建精度 map anything fp16 是運(yùn)行在 Apple Silpts3d、深度、置信度怎么用map-anything-fp16的6大預(yù)測(cè)輸出一篇講透pts3d、深度、置信度怎么用map anything fp16的6大預(yù)測(cè)輸出一篇講透 map anything fp16 是 Meta MapAnythinDepth Anything 3重磅模型DA3-LARGE-1.10.35B參數(shù)如何同時(shí)搞定多視角深度估計(jì)與相機(jī)位姿Depth Anything 3重磅模型DA3 LARGE 1.10.35B參數(shù)如何同時(shí)搞定多視角深度估計(jì)與相機(jī)位姿 DA3 LARGE 1.1 是 Dep上一篇vmPing 多主機(jī)ping監(jiān)控指南下一篇DDrawCompat 使用指南1 個(gè) DLL 修復(fù) DirectX 1-7 老游戲的兼容性問(wèn)題創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 任意組合深度圖、相機(jī)位姿與內(nèi)參：map-anything-apache-fp16 進(jìn)階輸入配置詳解
【免費(fèi)下載鏈接】map-anything-apache-fp16項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/mlx-community/map-anything-apache-fp16點(diǎn)擊查看免費(fèi)下載map-anything-apache-fp16 是 MapAnythingMeta 與 CMU 的度量級(jí)前饋式 3D 重建模型的 float16 MLX 移植版專為 Apple Silicon 優(yōu)化。它最靈活的地方在于每一張輸入圖像都可以自由搭配相機(jī)內(nèi)參、深度圖與相機(jī)位姿中的任意組合——只給照片、部分標(biāo)定還是全部提供模型一次前向推理就能輸出度量點(diǎn)云、深度圖、相機(jī)位姿、內(nèi)參、置信度與有效像素掩碼讓你用已有的 SfM / 深度估計(jì) / 標(biāo)定結(jié)果大幅增強(qiáng) 3D 重建質(zhì)量。 這個(gè)模型能做什么項(xiàng)目說(shuō)明輸入1 張或多張圖片加任意可選的內(nèi)參、深度圖、相機(jī)位姿每個(gè)視圖可獨(dú)立組合輸出每張視圖的度量點(diǎn)圖、深度、光線方向、相機(jī)位姿、內(nèi)參、置信度、有效掩碼體積權(quán)重僅約 2.65 GB是 float32 原版的一半見 model.safetensors許可Apache License 2.0LICENSE運(yùn)行環(huán)境本倉(cāng)庫(kù)只含權(quán)重與元數(shù)據(jù)推理代碼在mlx-vlm中需包含mapanything模型、0.7.4 之后新增的版本 三種可選輸入逐項(xiàng)詳解1?? 相機(jī)內(nèi)參intrinsics一個(gè) 3×3 的標(biāo)定矩陣K。如果你手頭有現(xiàn)成的標(biāo)定結(jié)果OpenCV 標(biāo)定、相機(jī)廠商參數(shù)等直接傳入即可模型會(huì)利用它約束光線方向而不是靠網(wǎng)絡(luò)猜測(cè)。2?? 深度圖depth_z逐像素的度量深度圖與輸入圖像分辨率一致。來(lái)源可以是單目深度估計(jì)模型、LiDAR 或深度相機(jī)。給模型一個(gè)粗略答案它能在此基礎(chǔ)上精修顯著提升遮擋與弱紋理區(qū)域的深度質(zhì)量。3?? 相機(jī)位姿camera_poses位姿用四元數(shù) 平移向量表示即(quats_xyzw, trans)元組旋轉(zhuǎn) 4 維、平移 3 維對(duì)應(yīng) config.json 中cam_rot_quats_encoder的in_chans: 4與cam_trans_encoder的in_chans: 3。關(guān)鍵參數(shù)is_metric_scale如果你的位姿來(lái)自 COLMAP 等 SfM 流程只能確定到比例尺、沒(méi)有真實(shí)米制單位傳入時(shí)加上is_metric_scale: False模型會(huì)通過(guò)內(nèi)置的scale_encoder自動(dòng)恢復(fù)度量尺度。深度輸入則是 1 通道的稠密編碼器depth_encoderpatch_size: 14與上述編碼器一起構(gòu)成模型的幾何輸入通道。 任意組合每個(gè)視圖自由搭配這正是 map-anything-apache-fp16 的精髓——不同視圖之間互不干擾同一視圖內(nèi)三種輸入也可任意取子集。下面 3 個(gè)視圖分別演示了全量提供、僅內(nèi)參、僅位姿非度量尺度三種典型搭配views processor.preprocess([ {img: image0, intrinsics: K0, depth_z: depth0, camera_poses: pose0}, {img: image1, intrinsics: K1}, {img: image2, camera_poses: (quats_xyzw, trans), is_metric_scale: False}, ]) predictions model.infer(views)典型使用場(chǎng)景對(duì)照組合方式適用場(chǎng)景僅img純照片重建完全無(wú)標(biāo)定信息imgintrinsics有相機(jī)參數(shù)但無(wú)位姿的固定場(chǎng)景imgcamera_posesCOLMAP/SfM 結(jié)果增強(qiáng)注意is_metric_scaleimgdepth_z 全量深度相機(jī) / 激光雷達(dá)采集的高精度場(chǎng)景 預(yù)測(cè)輸出字段說(shuō)明調(diào)用model.infer(views)后每個(gè)視圖返回一個(gè)字典惰性求值用mx.eval觸發(fā)計(jì)算字段形狀含義pts3d(1, H, W, 3)度量世界坐標(biāo)點(diǎn)以第一張視圖的相機(jī)坐標(biāo)系為基準(zhǔn)depth_z(1, H, W, 1)度量深度camera_poses(1, 4, 4)OpenCV 約定的 cam2world 位姿intrinsics(1, 3, 3)預(yù)測(cè)內(nèi)參conf(1, H, W)逐像素置信度mask(1, H, W, 1)有效像素?zé)o歧義掩碼? 命令行一鍵推理不想寫代碼時(shí)可直接用命令行所有輸出會(huì)寫入predictions.npz并額外導(dǎo)出一份彩色點(diǎn)云points.plyMLX_ENABLE_TF320 python -m mlx_vlm.models.mapanything.generate \ --model mlx-community/map-anything-apache-fp16 --images path/to/images --output out? 進(jìn)階小貼士記得設(shè)置MLX_ENABLE_TF320在 M5 及更新 GPU 上MLX 默認(rèn)以 TF32 精度執(zhí)行 float32 矩陣乘會(huì)讓 float32 的預(yù)測(cè)頭成為最大誤差來(lái)源。在首次矩陣乘之前設(shè)置該變量可避免問(wèn)題只多花幾毫秒。分辨率預(yù)處理模型采用固定映射到 518 的分辨率集preprocessor_config.json 中resize_mode: fixed_mapping、resolution_set: 518輸入圖會(huì)被自動(dòng)規(guī)整。精度實(shí)測(cè)在 518×294 的 4 幀室外視頻上與 float32 PyTorch 參考實(shí)現(xiàn)相比深度尺度歸一化后中位相對(duì)誤差約 6.0e-4度量尺度誤差在 1.1e-4 以內(nèi)與參考實(shí)現(xiàn)在 MPS 上的混合精度表現(xiàn)持平。速度參考Apple M5 Max518×294 視圖MLX 本模型 vs PyTorch MPS 混合精度視圖數(shù)1481632MLX 本模型0.06 s0.23 s0.48 s1.10 s2.89 sPyTorch MPS0.13 s0.47 s1.73 s5.27 s11.3 s 倉(cāng)庫(kù)文件資料速查文件作用README.md完整用法、精度與速度實(shí)測(cè)數(shù)據(jù)config.json模型結(jié)構(gòu)配置含幾何輸入編碼器定義geometric_input_configpreprocessor_config.json圖像預(yù)處理配置固定映射到 518 分辨率model.safetensorsfloat16 權(quán)重約 2.65 GB1.13B float16 95M float32 參數(shù)LICENSEApache License 2.0 許可? 一句話總結(jié)把你能拿到的內(nèi)參、深度圖、相機(jī)位姿有多少給多少map-anything-apache-fp16 就能在 Apple Silicon 上以毫秒級(jí)推理給你一套度量級(jí)的 3D 重建結(jié)果。贊分享【免費(fèi)下載鏈接】map-anything-apache-fp16項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/mlx-community/map-anything-apache-fp16點(diǎn)擊查看免費(fèi)下載相關(guān)推薦內(nèi)參、深度、位姿想加就加map-anything-fp16任意輸入組合指南解鎖最強(qiáng)重建精度內(nèi)參、深度、位姿想加就加map anything fp16任意輸入組合指南解鎖最強(qiáng)重建精度 map anything fp16 是運(yùn)行在 Apple Silpts3d、深度、置信度怎么用map-anything-fp16的6大預(yù)測(cè)輸出一篇講透pts3d、深度、置信度怎么用map anything fp16的6大預(yù)測(cè)輸出一篇講透 map anything fp16 是 Meta MapAnythinDepth Anything 3重磅模型DA3-LARGE-1.10.35B參數(shù)如何同時(shí)搞定多視角深度估計(jì)與相機(jī)位姿Depth Anything 3重磅模型DA3 LARGE 1.10.35B參數(shù)如何同時(shí)搞定多視角深度估計(jì)與相機(jī)位姿 DA3 LARGE 1.1 是 Dep上一篇vmPing 多主機(jī)ping監(jiān)控指南下一篇DDrawCompat 使用指南1 個(gè) DLL 修復(fù) DirectX 1-7 老游戲的兼容性問(wèn)題創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考