复旦、创智联合推出RSAgent：多轮工具调用提升视觉分割准确率，多项测试领先！

智能体时代的视觉分割难题智能体时代视觉分割一直是个“说起来简单但做起来容易失手”的任务。给模型一张图、一句话让它把目标区域的像素圈出来听起来直接但一旦目标含糊、被遮挡或者需要推理才能定位一次性猜出正确的掩码就变得相当困难。RSAgent的推出与原理为此复旦、创智联合推出RSAgent相关工作已入选ICML 2026。RSAgent团队认为现有方法缺少的不是更强的分割头而是“确认和纠错”的过程。他们推出的RSAgent是一个让多模态大模型通过多轮工具调用完成文本引导分割的智能体框架。模型不再一次性输出mask而是先观察图像、进行推理、调用视觉工具、读取反馈再根据历史结果迭代修正最终生成更可靠的准确掩码。实验结果显示RSAgent在ReasonSeg测试集上的gIoU相比Seg - Zero - 7B提升了9.0个百分点在RefCOCOg数据集上取得了81.5%的平均cIoU并生成了5000条以上的多轮推理分割轨迹。开放语义分割的挑战与应对多模态大语言模型MLLM已经能够描述图像、回答问题、理解物体关系但真实视觉系统需要的不只是文字答案。交互式标注、机器人感知、设计编辑、工业质检和科学图像分析都要求模型把语言理解落实到像素区域。也就是说模型必须在“语义理解”和“准确掩码”之间完成可靠转换。开放语义文本引导分割的挑战在于输入指令并不总是简单的类别名用户可能说“图中左侧正在被人拿起的物体”也可能说“找出湍急水流中保障个人安全的装备”。前者需要空间关系后者需要场景常识和用途推理。模型如果只进行一次前向预测就很难验证自己是否选对了目标。此前路线的短板并不是“不能产生mask”而是“缺少确认与纠错过程”。一旦最初定位偏离、点位提示落在背景、候选区域只覆盖局部模型往往没有机会重新观察、缩放视图、读取候选结果并调整策略。RSAgent正是针对这一痛点把分割任务从静态预测变成动态交互。团队表示痛点不是单纯追求更复杂的分割头而是让模型在开放语义任务中具备“先判断、再行动、看反馈、再修正”的能力。RSAgent的解决方法RSAgent的关键不是把MLLM直接改造成一个mask decoder而是让它成为能够调度视觉工具的智能体。模型在每一轮接收原图、文本指令和历史观察输出结构化推理与tool call工具返回局部视图、候选掩码或overlay模型再基于这些反馈决定继续调用工具、调整提示或者提交最终答案。RSAgent通过多轮工具调用持续定位、观察和修正其总体框架包括多轮交互、工具调用、观察反馈、cold - start SFT与agentic RL。具体技术模块及其作用如下在数据层面RSAgent通过自动合成与严格筛选构建训练轨迹。论文中cold - start SFT数据约包含5K条高质量多轮推理轨迹RL阶段使用约2K个RL示例并额外加入8K个RefCOCOg训练样本使模型在交互环境中学习更高回报的工具调用路径。团队表示真正的关键不只是“调了工具”RSAgent把推理、工具、反馈与奖励闭合为一个训练体系。模型既要理解目标也要学会自适应地缩放、提示、分割和停止最终把开放语义理解落实为准确掩码。具体来看RSAgent的一次交互可以理解为四步循环Observation读取图像与历史结果Thought用自然语言分析当前候选区域是否满足指令Action选择工具和像素提示Feedback接收工具输出并写入上下文。这个循环让模型不再依赖单次判断而是具备逐步验证的机制。这种机制尤其适合关系型、属性型和隐含推理型指令例如目标可能很小、被遮挡或需要根据动作、用途和相对位置来判定。RSAgent可以先粗定位再查看局部区域随后依据候选掩码的偏差重新指定点或框。相比一次性预测它多了一个可审查的中间过程。训练策略上cold - start SFT解决“会不会按格式工作”的问题让模型掌握工具调用语法和基本反思流程agentic RL解决“怎样做得更好”的问题通过奖励信号优化多轮路径。二者组合使RSAgent既能稳定输出结构化结果也能在复杂开放语义样本上学习更优决策。实验结果与分析实验使用Qwen2.5 - VL - 7B - Instruct作为基础模型SAM2 - large作为分割工具。团队在RefCOCO系列和ReasonSeg上进行系统评测并与传统视觉语言分割器、单次MLLM分割方法、显式CoT/RL分割方法和多轮工具调用agent等多类方法比较。结果显示RSAgent在RES和ReasonSeg基准上取得领先表现。具体评测结果如下在ReasonSeg test上RSAgent达到66.5% gIoU相比Seg - Zero - 7B的57.5%提升9.0个百分点在RefCOCOg上RSAgent达到约81.5%平均cIoUtest split为81.8。对于依赖开放语义推理的目标分割任务这说明模型不仅能理解描述还能更稳地把理解转化为准确掩码。消融实验显示提升并非来自单一模块。未训练的tool - agent在ReasonSeg test上只有30.1 cIoU加入cold - start SFT后提升至55.4仅RL为54.3完整的cold - start SFT RL达到57.9。这表明先让模型学会规范工具调用再通过强化学习优化长程决策是RSAgent成立的关键。奖励设计同样关键。移除final reward、process reward或format reward都会造成性能下降其中去掉final reward后ReasonSeg test从57.9降至48.3说明最终掩码质量仍是核心目标。process reward则鼓励模型在中间步骤持续改进而不是盲目增加工具调用次数。RSAgent的价值与意义RSAgent的价值不只是刷新指标。更重要的是它展示了一条从“看图问答”走向“视觉行动”的路径模型可以围绕文本目标持续观察、调用工具、接受反馈、修正假设并把最终判断落实到图像像素。这类能力对交互式视觉系统具有通用意义。对于数据标注它有望减少人工反复试错对于机器人感知它让模型在执行前重新确认目标区域对于设计编辑和内容生产它可以把自然语言意图转化为更稳定的可编辑区域对于科学图像分析它提供了可回看、可复核的中间过程。从更大的趋势看RSAgent把开放语义理解、工具调用和像素级执行连接起来。它说明多模态大模型不必停留在“回答图像问题”也可以在视觉空间中主动探索、试错和修正。这个方向将视觉智能体推进到更接近真实任务的形态。一言以蔽之RSAgent证明了多模态大模型可以从“结合文本与图像内容”进一步走向“在像素空间中推理、行动和自我修正”。论文团队介绍最后介绍一下论文团队。作者团队来自复旦大学、上海创智学院、上海交通大学等单位论文共同一作为何星旗、张钰杰。何星旗为复旦大学一年级硕士生研究方向为Vision - Language Model Reasoning、Reinforcement Learning。张钰杰为上海创智学院、复旦大学联合培养博士生主要研究方向为Vision - Language Model Reasoning、Reinforcement Learning与Large Language Models。论文https://arxiv.org/abs/2512.24023 GitHubhttps://github.com/Nicola777 - ai/RSAgent 。