2026-11-16 18:00
导语:让视觉模型主动探索、三角测量并在线构建三维物体地图。SpatialScout是什么 SpatialScout是北京大学与
SpatialScout是什么
SpatialScout是北京大学与天津大学团队开源的三维空间智能基准,包含80个室内场景和3,140个目标物体。SpatialScout要求视觉语言模型操控可自由移动的摄像头,自主探索环境、调用三角测量等工具,逐步建立统一坐标系下的物体中心三维地图。评测同时考察定位精度与目标覆盖率。

SpatialScout的主要功能
- 主动探索:模型自主操控摄像头平移、旋转并拍摄图像,决定下一步观察哪里。
- 跨视角三角测量:用不同视角中的对应像素调用工具,估计物体表面点的三维位置。
- 在线建图与修正:在初始相机定义的固定坐标系下,分批提交和更新物体中心坐标。
- 双维评分:同时以中心误差和与物体尺度相关的三维 IoU 评估定位精度与目标覆盖率。
- 过程分析:保留观察、工具调用与位置更新的完整轨迹,支持分析模型的视角选择与空间修正策略。
SpatialScout的技术原理
- 统一坐标的建图任务定义:评测将空间理解转化为在统一坐标系下构建物体中心地图的任务:智能体从初始视角出发,获得 RGB 图像、目标物体清单、相机内参与位姿以及公开搜索范围,持续把各视角的观察结果落实为三维坐标;真实中心、包围盒与评测分数保留在评测端,探索过程中不向模型返回。
- 工具化的主动感知接口:所有模型通过统一的工具接口与提示词进行交互,可移动相机拍摄新图像,并对跨视角对应像素调用三角测量工具;模型需自行判断哪些视觉特征属于同一物体、表面点如何对应物体几何中心,每个任务限定 100 次模型调用和 100 张图像(含初始图像),一次调用可请求多个工具。
- 尺度相关的 IoU 评分机制:模型只需提交物体中心坐标,无需预测尺寸:评测器将目标的参考包围盒平移到预测中心,与真实包围盒计算三维交并比;全目标平均 IoU 将未提交物体按零分计入以约束覆盖率,已提交目标的平均 IoU 反映定位质量,同类可互换实例采用组内一一匹配以消除编号顺序影响。
- 基于轨迹的失败归因分析:通过对多模型轨迹的定量与定性分析,揭示跨视角特征对应与几何工具的有效使用才是定位质量的关键,几何残差小并不保证找对了对应特征或物体中心。

微信关注回复“开源”,加入AI开源项目交流群
如何使用SpatialScout
- 获取代码:从 GitHub(github.com/JesseZZZZZ/SpatialScout)克隆仓库,按说明配置环境与依赖。
- 接入被评测模型:将待测视觉语言模型接入基准统一的工具接口与提示词,使其具备图像输入与工具调用能力。
- 加载任务:智能体从初始视角出发,接收 RGB 图像、目标物体清单、相机内参和位姿及公开搜索范围。
- 自主探索:模型自主决策,平移或旋转摄像头拍摄新图像,每个任务预算为 100 次模型调用和 100 张图像。
- 几何估计:对不同视角中属于同一物体的对应像素调用三角测量工具,估计其表面点的三维位置。
- 提交与更新地图:将估计的物体中心以初始相机坐标系提交,可分批补充遗漏目标或修改已有估计。
- 自动评分:评测器根据提交的坐标计算中心误差、目标覆盖率和尺度相关三维 IoU,生成最终评测结果。
SpatialScout的核心优势
- 可交互的真实任务设定:把空间理解从”看图像答题”升级为自由移动摄像头、自主获取证据并输出三维坐标的完整任务,更贴近具身智能的真实需求。
- 统一公平的评测协议:所有模型使用统一的工具接口、提示词和交互预算,结果可直接横向比较。
- 精度与覆盖率双重计分:全目标平均 IoU与已提交平均 IoU 相结合,有效识别”只报少数容易物体”的投机行为。
- 免预测物体尺寸:评测器将参考包围盒平移到预测中心计算 IoU,模型只需提交坐标,降低评分对尺寸估计的干扰。
- 防编号作弊的匹配机制:同类可互换实例采用组内一一匹配,消除物体编号顺序对评测结果的影响。
- 过程级可分析性:保留完整的观察、工具调用与位置更新轨迹,支持对视角选择、跨视角对应和失败模式的细粒度归因。
SpatialScout的项目地址
- GitHub仓库:https://github.com/JesseZZZZZ/SpatialScout
- arXiv技术论文:https://arxiv.org/pdf/2610.26659
SpatialScout的同类竞品对比
| 对比维度 |
SpatialScout |
VSI-Bench |
| 任务范式 |
主动探索:模型自主移动摄像头、调用工具建图 |
被动问答:模型回答关于图像/视频的方向、距离、计数问题 |
| 输出形式 |
统一坐标系下的物体三维中心坐标 |
文字形式的选择题/数值答案 |
| 交互能力 |
支持工具调用与多轮自主交互(100 次调用预算) |
无交互,一次性输入图像或视频 |
| 评测指标 |
中心误差、目标覆盖率、尺度相关三维 IoU |
答题准确率 |
| 考查重点 |
主动感知 + 跨视角对应 + 几何估计 + 在线建图 |
静态场景下的空间关系推理 |
| 数据来源 |
80 个物理仿真室内场景、3,140 个目标物体 |
真实场景的第一视角视频与全景图像 |
| 过程分析 |
保留完整轨迹,可分析视角选择与失败归因 |
仅最终结果,无过程级分析 |
| 评测防作弊设计 |
组内一一匹配、未提交计零分 |
选择题形式天然受限答案空间 |
SpatialScout的应用场景
- 具身智能机器人:评测和改进机器人在陌生房间中自主寻找、定位目标物体(如”找到桌上的杯子”)的能力。
- AR/VR 空间感知:检验模型能否精确估计物体三维位置,为虚拟物体的持久化锚定与遮挡渲染提供能力底座。
- 智能家居与服务机器人:支撑扫地机、陪伴机器人建立室内物体地图,实现”帮我拿一下沙发上的遥控器”类指令。
- 仓储与物流盘点:让移动机器人自主巡检货架,输出每件货物的精确三维坐标,辅助库存清点与拣选。
- 自动三维重建与数字孪生:验证主动感知式建图算法,为快速生成精确的室内场景数字孪生体提供评测与训练基准。
来源:AI工具集