中山大学智能工程学院梁小丹教授团队发布两项 GeoThinker 系列研究成果，分别对应空间推理两大痛点，第一项 GeoThinker 实现主动几何集成，解决模型拿到几何信息之后不会筛选、无关特征带来干扰的问题，第二项 GeoThinker‑F 不再依赖外部三维编码器实时运算，大幅砍掉推理阶段的计算开销，整套工作把多模态大模型空间推理从被动融合路线改成主动感知路线，其中首篇论文已经被 ICML 2026 收录，第二项成果联合小鹏汽车、南洋理工大学、MBZUAI 共同完成，在多个主流空间推理基准上刷新成绩，对具身智能、自动驾驶、机器人导航都有实用价值。过去主流方案一般调用 VGGT 这类外部三维编码器，提取深度、点云等几何线索喂给大模型，但是模型不分好坏全盘接收，大量无关几何信号造成语义和几何错位，推理准确率上不去；就算勉强做好识别，每次推理都要跑一遍独立的三维提取分支，带来很高延迟，很难落地到对时延敏感的车载、机器人端。GeoThinker 依靠空间锚定融合与重要性门控，让模型跟着问题自主挑选需要的几何线索，只抓取和当前任务强相关的空间结构；后续迭代出来的 GeoThinker‑F 使用两阶段训练，先向离线三维专家学习，再把外部编码器彻底移除，让大模型自己在内部生成预测式空间表征，不需要实时调用外部几何模型。想要复现、落地这套框架，可以按照固定流程推进，先获取公开代码权重，准备 VSI‑Bench、MMSI‑Bench、MindCube 等空间评测数据集，完成第一阶段蒸馏训练，再进入第二阶段联合优化，最后在自动驾驶、机器人指代等下游任务做验证。整体来看，这两项成果打通一条兼顾精度与速度的空间推理路径，不再为了几何能力强行叠加外部模块，为端侧部署空间智能模型扫清一大障碍。
GeoThinker 两项成果对比表
| 项目 | GeoThinker（首版） | GeoThinker‑F（升级版） |
|---|---|---|
| 核心目标 | 解决几何信息滥用、无关特征干扰 | 消除外部三维编码器，压低推理开销 |
| 外部依赖 | 推理时仍需要 VGGT 等外部几何编码器 | 推理阶段完全去掉外部三维编码器 |
| 核心模块 | 空间锚定融合、重要性门控 | 隐帧预测头、空间时序融合模块 |
| 推理时延 | 基准水平，存在额外编码器耗时 | 从 1.45 s 降到 0.40 s，提速约 3.6 倍 |
| 收录 / 发布 | ICML 2026 | arXiv，联合多机构合作 |
| 优势 | 精准筛选几何线索，提升空间任务得分 | 精度基本持平，适合低延迟端侧场景 |
核心技术要点清单
- 主动感知范式：放弃无差别被动融合，模型根据推理需求主动查询几何证据。
- 空间锚定融合 SGF：在选定的视觉语言层执行跨注意力，保证帧与几何信息一一对应。
- 重要性门控机制：自动压低无效区域权重，聚焦物体结构、位置关系。
- 两阶段蒸馏训练（GeoThinker‑F）：先用离线三维模型做教师，再内化空间表征。
- 下游适配：支持机器人指代任务、自动驾驶空间感知、多视图空间问答。
主流评测基准表现简述
在 VSI‑Bench 上，GeoThinker 取得 72.6 的最高分，同时在 MMSI‑Bench、MindCube、ViewSpatial、CV‑Bench 等多个空间推理基准稳定超越基线模型；升级版本 GeoThinker‑F 在保持这套基准分数基本不变的前提下，砍掉外部分支带来的延迟，适合部署到算力有限、要求低延迟的硬件。
模型训练与落地实操步骤
第一步，拉取项目开源代码，配置多模态大模型主干，准备离线三维专家模型用于蒸馏。
第二步，第一阶段冻结主干，训练隐帧预测头，学习把中间语义状态映射成几何隐表示。
第三步，移除外部三维编码器，开启第二阶段联合优化，使用空间基准损失做微调。
第四步，在 VSI‑Bench 等数据集上批量评测，对比基线确认精度与时延指标。
第五步，迁移到自动驾驶、具身机器人等下游任务，针对真实场景做小范围微调。
【常见问题】
问题 1：中大梁小丹团队两项 GeoThinker 成果，GeoThinker 和 GeoThinker‑F 的差别是什么？
回答 1：中大梁小丹团队两项 GeoThinker 成果里，初代 GeoThinker 主打主动挑选几何线索，推理依旧依赖外部三维编码器；GeoThinker‑F 可以让模型内生几何表征，推理不再调用外部编码器，显著降低时延。
问题 2：中大梁小丹团队 GeoThinker 空间推理成果，推理速度提升幅度是多少？
回答 2：中大梁小丹团队 GeoThinker 系列里的 GeoThinker‑F，把单条空间推理耗时从 1.45 秒压缩到 0.40 秒，推理速度提升大约 3.6 倍，同时保留原有的空间推理性能。
问题 3：中大梁小丹团队推出 GeoThinker，这项研究适合用在哪些场景？
回答 3：中大梁小丹团队推出 GeoThinker，适合自动驾驶空间感知、具身机器人导航与物体指代、多视图空间问答、视频空间理解，尤其 GeoThinker‑F 更适合端侧低延迟部署。
问题 4：中大梁小丹团队 GeoThinker 成果，为什么能改善几何信息用不好的老问题？
回答 4：中大梁小丹团队 GeoThinker 使用主动几何集成框架，搭配重要性门控，模型不会全盘接收所有几何特征，只提取当前问题真正需要的空间线索，减少无关噪声带来的语义几何错位。
【参考资料】
[2026-11-13]（中大梁小丹团队，GeoThinker 两项研究成果，破除空间推理「几何信息用不好、计算开销大」难题）雷锋网
[2026-10-14]（GeoThinker-F: Endogenous Predictive World Representations for Fast Spatial Intelligence）arXiv
[2026-05-01]（Thinking with Geometry: Active Geometry Integration for Spatial Reasoning）OpenReview
[2026-03-02]（中大智能工程学院：梁小丹课题组发布主动几何集成框架 GeoThinker）中山大学新闻网
[2026-02-28]（梁小丹团队 GeoThinker，面向多模态大模型空间推理）中山大学智能工程学院官网
【免责声明】
本文关于中大梁小丹团队 GeoThinker 的时延、评测分数、合作机构、论文收录信息全部来自论文预印本与院校公开新闻；实际推理速度会受主干模型、硬件、输入图像序列长度影响；开源权重、下游迁移效果会持续迭代；最终技术细节以官方论文、开源仓库以及中山大学课题组发布的正式版本为准，本文不构成工程落地保证。