1. COOPER模型多模态大语言模型的空间智能突破在计算机视觉与自然语言处理的交叉领域多模态大语言模型(MLLMs)近年来展现出惊人的能力。然而当我们要求这些模型回答图像中哪个物体离摄像头更近这类涉及空间关系的问题时它们的表现往往不尽如人意。这暴露出现有MLLMs在3D空间感知和推理能力上的根本性缺陷。传统解决方案通常采取两种独立路径要么通过增加深度图、分割图等辅助模态来增强感知能力要么通过强化学习优化推理链条。这种割裂的处理方式难以实现真正的空间智能。COOPER模型的创新之处在于它首次将感知增强与推理增强统一在一个框架内通过深度和分割作为辅助模态使模型能够自主决定何时需要生成这些辅助信息来帮助推理。从技术角度看COOPER的核心突破体现在三个方面它能够生成非RGB的辅助模态如深度图和分割图这是传统MLLMs不具备的能力它实现了感知与推理的自适应交错模型可以动态决定何时生成视觉信息、何时进行文本推理通过两阶段训练策略模型不仅掌握了辅助模态生成还学会了如何有效利用这些模态进行空间推理关键提示COOPER模型的价值不仅体现在性能指标的提升更在于它展示了一种全新的多模态学习范式——让模型自主决定需要什么样的中间表征来辅助决策这比固定模式的感知-推理流程更接近人类的认知方式。2. 技术架构与核心创新2.1 基础模型选择与改进COOPER基于BAGEL框架构建这是一个采用专家混合(MoT)架构的统一多模态模型。BAGEL包含两个核心组件理解专家负责多模态理解使用ViT编码器将像素转换为token生成专家负责多模态生成采用Rectified Flow方法进行图像生成我们对基础模型做了三项关键改进视觉编码器采用SigLIP2-so400m/14初始化支持原生宽高比处理生成部分使用修正流(Rectified Flow)公式在潜在空间进行图像生成引入NaViT技术使模型能够处理不同比例的输入图像深度估计和分割生成的实现面临一个关键挑战BAGEL的生成管道是为RGB图像设计的而深度图和分割图是单通道的。我们的解决方案是对于分割图为不同实例分配独特的RGB颜色将整数掩码转换为RGB标签图像对于深度图通过仿射变换将深度值映射到[-1,1]范围与VAE的数值范围对齐2.2 两阶段训练策略第一阶段辅助模态生成这一阶段的目标是让模型掌握深度估计和分割生成能力。我们使用HyperSim(室内)和Virtual KITTI(室外)作为深度数据集ADE20K作为分割数据集。训练时采用1:1的采样比例学习率设为5e-6。技术实现上有几个关键点深度归一化采用百分位裁剪˜x (x - x₂)/(x₉₈ - x₂ - 0.5) × 2使用特定控制token( 和 )指示生成任务类型保持原始流匹配损失函数不变确保生成质量第二阶段自适应交错推理在模型具备辅助模态生成能力后我们通过监督微调(SFT)和强化学习(RL)两个子阶段来培养其自适应推理能力。数据构建过程非常关键收集SAT VQA(空间推理)和TACO(通用QA)作为种子数据通过两轮采样评估每个问题第一轮仅使用原始输入计算准确率acc_raw第二轮增加深度和分割图计算acc_aux根据增益gain (acc_aux - acc_raw)进行数据筛选和分类SFT阶段使用GPT-4o生成的交错视觉-语言思维链数据仅对文本token进行监督。RL阶段则采用我们设计的协作感知-推理奖励(CPR reward)R_CPR r_a(答案正确性) r_f(格式合规性) r_e(探索引导)其中r_e的设计尤为精妙它通过阈值σ控制视觉辅助的使用强度避免模型过度依赖或完全忽视视觉信息r_e(o_i;g) ⎧ ⎨ ⎩ 0.2, if g1 ∧ u(O)≤σ ∧ o_i1 -0.2, if g-1 ∧ u(O)≥σ ∧ o_i1 0, otherwise3. 实现细节与优化技巧3.1 辅助模态生成的工程实践在实际实现深度和分割生成时我们遇到了几个典型问题及解决方案深度估计的数值稳定性问题原始深度值范围可能很大(如0-80米)直接输入模型会导致训练不稳定。我们的解决方案是对每个深度图单独计算2%和98%百分位数(x₂和x₉₈)使用这些百分位数进行归一化排除极端值影响在推理时对三通道输出取平均提高鲁棒性分割图的颜色分配冲突ADE20K有150个语义类别直接使用官方调色板可能导致相近类别颜色相似难以区分某些颜色与背景太接近影响可视性我们的优化措施包括对调色板进行HSV空间分析确保最小颜色间距对高频类别(如人)分配更醒目的颜色在后处理中应用形态学操作平滑边界多任务学习的平衡策略同时训练深度和分割时我们发现两个任务存在资源竞争。通过以下方法改善动态调整batch组成保持任务比例均衡为不同任务设计专用prompt模板在损失计算时加入任务特定权重3.2 自适应推理的训练技巧SFT数据质量控制使用GPT-4o生成思维链数据时我们发现约30%的样本存在以下问题视觉辅助与问题无关推理链条逻辑不连贯最终答案错误我们的过滤策略只保留GPT-4o验证答案正确的样本人工审核思维链的逻辑合理性确保视觉辅助确实对解题有帮助RL训练的稳定性保障直接应用GRPO算法时策略容易崩溃。我们引入了几项稳定化技术KL散度惩罚(β0.05)防止策略偏离参考模型太远动态调整学习率(初始3e-6根据奖励变化调整)采用reward shaping逐步增加任务难度课程学习设计为了让模型逐步掌握复杂推理我们设计了三个阶段单一模态推理(仅文本或仅视觉)固定模式交替(如先视觉后文本)完全自适应交替4. 性能评估与结果分析4.1 基准测试配置我们构建了全面的评估体系包含三类基准空间推理基准SIBench23种视觉空间推理场景Q-SpatialBench精细化的距离和大小估计任务通用多模态基准MMBench v1.1升级版多模态理解评估MM-Vet测试多技能组合能力对比模型选择理解型MLLMsGPT-5、GPT-4o、Qwen3VL等统一型MLLMsJanus-Pro、Liquid、BAGEL4.2 核心实验结果表1展示了COOPER与各基线的对比结果此处应为表格以文字描述关键发现空间推理能力显著提升相比基础BAGEL模型平均提升6.91%在Q-SpatialBench上超越InternVL3.5-38B接近GPT-4o在SIBench上的表现保持通用能力在MMBench上提升4.33%MM-Vet上提升8.33%证明专项改进不会损害通用性消融实验验证仅辅助模态生成(BAGEL-PE)空间4.68%通用-6.81%仅推理增强(BAGEL-RE)空间0.41%通用1.39%完整COOPER实现双重提升4.3 深度分析模态使用模式通过分析不同任务类型的辅助模态使用频率我们发现相对距离(RD)任务深度图使用率72%情境QA(SQA)任务分割图使用率65%几何推理(GR)任务文本推理占主导(89%)这种自适应选择证明模型确实学会了对症下药。生成质量评估虽然COOPER不是专用生成模型但其辅助模态质量令人惊喜深度估计在NYUv2上AbsRel0.5δ₁93.2%分割生成边界精度比ground truth更高见图4失败案例分析典型错误包括深度估计透明物体(如玻璃)处理不佳分割生成细小物体(如电线)容易遗漏推理决策复杂场景下模态选择不最优5. 应用前景与扩展方向5.1 实际应用场景COOPER的核心价值在于其强大的空间理解能力特别适合智能驾驶系统更准确的距离和大小估计复杂交通场景的空间关系理解自适应多传感器数据融合机器人交互物体抓取的空间规划避障导航的3D推理人机协作的场景理解AR/VR应用虚实融合的空间一致性3D场景的快速解析动态环境的空间推理5.2 未来改进方向基于当前局限我们建议以下几个发展方向多模态扩展加入点云、法线图等更多辅助模态支持视频输入的时序空间推理融合触觉、听觉等多感官信息架构优化更高效的模态切换机制轻量化设计以适应边缘设备改进transformer的3D感知归纳偏置训练策略创新无监督的辅助模态学习基于模型的强化学习跨任务的知识迁移在实际部署COOPER模型时我们总结出几点关键经验对于空间推理任务优先尝试深度图生成复杂场景下适当提高RL奖励中的探索系数监控模态使用频率防止过度依赖单一模态对透明/反光物体需要额外后处理这个项目的成功证实了一个重要观点让模型自主决定需要什么样的中间表征比人为设计固定流程更能实现通用空间智能。这种思路不仅适用于视觉空间推理也可推广到其他需要复杂认知的AI任务中。