Sim-to-Sim 与 Sim-to-Real：从虚拟走向现实

Sim-to-Sim 与 Sim-to-Real从虚拟走向现实摘要本文全面剖析具身智能与机器人领域两大核心迁移范式——Sim-to-Real仿真到现实迁移与 Sim-to-Sim仿真到仿真迁移。全文从问题起源“现实鸿沟”Reality Gap出发阐释两大范式的定义、动机与核心价值随后按照技术演进逻辑逐一剖析 Domain Randomization域随机化、System Identification系统辨识、Domain Adaptation域自适应等弥合策略的原理、变体与适用场景并详细解读“Real-to-Sim-to-Real”这一闭环范式的完整工作流。文章进一步以最新开源平台和产业实践如 Genie Sim 3.0、RealMirror、GS-Playground、ABB RobotStudio HyperReality 等为锚点全面盘点 2025—2026 年间涌现的工具链生态。最后展望 Sim-to-Sim 与 Sim-to-Real 的融合趋势、世界模型驱动的下一代仿真范式以及通用化、轻量化部署的未来方向。本文旨在为研究者提供一份从原理到工程、从学术到产业的完整技术地图。致谢声明本文在撰写过程中引用了来自 arXiv、IEEE Xplore、知乎专栏、CSDN 博客、量子位、GitHub 等公开平台的学术论文、技术博客和项目文档.一、缘起为什么需要“迁移”1.1 核心动机仿真的诱惑与现实的残酷在真机上直接训练机器人控制策略存在三大核心痛点维度仿真训练优势真实训练痛点安全性碰撞、跌落、失控无物理代价设备损坏、人员受伤风险高成本与效率可万倍加速、千节点并行如 Isaac Gym实机采集慢、算力/人力成本高数据规模无限生成带精确标注的合成数据真实标注成本极高长尾场景稀缺可复现性环境参数精确可控便于消融实验光照/磨损/人为干扰导致结果不可复现正是在这种“仿真天堂”与“现实炼狱”的巨大反差下Sim-to-Real 迁移成为机器人学习领域的核心命题。1.2 Reality Gap仿真与原型的终极鸿沟然而仿真器再先进也无法完全复现物理世界。两者之间的差异——即现实鸿沟Reality Gap——主要体现在以下维度动力学不精确刚体假设忽略柔性形变、摩擦模型过度简化、接触碰撞离散化、电机执行延迟未建模。感知差异渲染光照/材质失真、相机内参畸变、深度/IMU噪声、运动模糊。分布偏移Distribution Shift仿真训练数据分布 \(P_{sim}\) 与真实分布 \(P_{real}\) 不一致导致策略在实机上性能骤降。动态不确定性真实环境存在未建模扰动、人类交互、地面打滑、传感器漂移等。形式化地现实鸿沟可定义为仿真 \(M_s\) 与真实 \(M_r\) 两个部分可观测马尔可夫决策过程POMDP之间的差异主要包括动态差距\(G_{dyn}\) 和感知差距\(G_{perc}\)。Sim-to-Real 迁移的目标是找到最小化性能差距的策略——即便无法完全消除现实鸿沟只要策略对差异具有足够鲁棒性仍可实现成功迁移。经验法则不要追求“完美仿真”而应追求“对扰动鲁棒的策略”。二、Sim-to-Real弥合虚实差距的技术武器库Sim-to-Real Transfer 指在仿真环境中训练机器人控制策略随后将其迁移部署到真实机器人系统的过程。经过数年的发展围绕弥合现实鸿沟已经形成了一套系统性的技术体系。2.1 弥合技术全景2.1.1 域随机化Domain Randomization, DR核心思想在训练时大幅随机化仿真参数——纹理、光照、质量、摩擦、传感器噪声等——迫使策略学习对参数变化不敏感的不变特征从而提升在真实环境中的泛化能力。工作机理DR 通过扩大仿真中的训练分布来覆盖真实环境可能出现的状态空间。当一个策略能在各种极端随机化的条件下都表现良好时它面对真实的“另一组参数”时也更可能成功。关键变体与前沿进展Universal Policy with Embedding System Identification不单使用随机化还将环境参数编码为隐式嵌入使策略能够根据在线观测自适应推断当前环境动态从而克服纯 DR 的过度保守问题。SPiDRSim-to-real via Pessimistic Domain Randomization提出“悲观域随机化”算法将 Sim-to-Real 差距的不确定性融入安全约束中为安全关键场景提供可证明的零样本安全保证。DROPOOffline Domain Randomization通过离线数据集估计域随机化分布无需在线交互即可找到最优随机化范围避免 DR 在实际部署中的效率瓶颈。局限性DR 常依赖启发性参数设定调参不当易导致策略过度保守、性能退化。2.1.2 系统辨识System Identification, Sys-ID核心思想采集少量真实机器人运行数据反过来校准仿真器中的物理参数惯量、阻尼、电机增益、摩擦系数等使仿真行为逼近真实系统。前沿方法SPI-ActiveSampling-based Parameter Identification with Active Exploration针对足式机器人提出两阶段框架——(1) 通过大规模并行采样估计物理参数最小化仿真与真实轨迹间的状态预测误差(2) 引入主动探索策略通过优化输入指令最大化采集数据的 Fisher 信息量。实验表明SPI-Active 在各种 locomotion 任务中比基线方法高出 42–63% 的性能。系统辨识 域随机化混合策略先用系统辨识逼近仿真参数再在辨识基础上叠加适度的域随机化既避免了纯 DR 的保守性又弥补了 Sys-ID 的残差误差。在重型车辆主动悬架控制中该方法使仿真与真实运动轨迹高度重合策略几乎无需真实环境微调即可直接部署。2.1.3 域自适应Domain Adaptation, DA核心思想通过对抗训练、风格迁移如 CycleGAN、特征空间对齐等技术将仿真数据源域和真实数据目标域映射到共享特征空间中缩小 \(P_{sim}\) 与 \(P_{real}\) 的分布差异。DA 尤其适合视觉感知任务目标检测、语义分割、姿态估计因为仿真渲染与真实图像的像素级差异极为显著。结合自监督对比学习等最新技术DA 方法正从二维图像域向三维点云域快速扩展。2.1.4 残差学习Residual Learning核心思想用仿真训练的“基策略”作为先验在真实机器人上叠加一个在线校正层残差网络或自适应 MPC 模块专门补偿未建模动态和扰动。这种策略避免了完全从头在真实环境中学习的样本效率问题也降低了对完美仿真的依赖。2.1.5 大模型 Sim-to-Real随着视觉-语言-动作VLA大模型的兴起一种全新的 Sim-to-Real 范式正在形成利用基础模型强大的语义理解和零样本泛化能力在仿真中完成大规模预训练再直接部署到真实机器人大幅降低对仿真物理精度的依赖。代表性工作Sim2Real-VLA采用可扩展的“双系统”结构高层规划 低层控制通过过滤无关视觉特征、聚焦运动关键动态来实现零样本 Sim-to-Real 迁移。其关键创新——可感知可供性链chain-of-affordances推理机制——将操作任务分解为结构化的、以对象为中心的步骤训练全部在仿真数据上完成在双手倒液、物体交接、长时程装配等多任务中展现出强大的零样本迁移能力。2.2 标准 Sim-to-Real 工作流一通百通的闭环流程如下仿真环境搭建 → 策略/模型训练 → 仿真内消融与差距分析 → 应用 Bridging 技术 (DR/DA/Sys-ID) → 实机部署含安全约束层 → 在线微调/遥操作干预 → 采集 Real 数据 → 更新 Sim → 迭代关键节点说明仿真环境需支持参数化配置材质、光照、动力学、传感器模型。安全层急停逻辑、关节力矩限幅、约束 MPC、虚拟墙。闭环迭代Sim-to-Real 不是一次性过程而是Sim → Real → Data → Sim的持续飞轮。三、Sim-to-Sim仿真之间的桥梁——角色的二重性3.1 定义与核心概念Sim-to-Sim仿真到仿真迁移指在不同仿真器之间迁移已训练好的控制策略。这一概念在机器人学习中具有鲜明的二重角色既是弥合 Sim-to-Real 差距的中间步骤也是评估迁移鲁棒性的诊断工具。与 Sim-to-Real 的根本区别在于Sim-to-Sim 的源域和目标域都是可控的仿真环境但两者在物理引擎如 PhysX vs. MuJoCo vs. Newton、渲染管线、传感器模型、时间步精度等方面的差异同样构成“仿真间的现实鸿沟”。3.2 角色一Sim-to-Real 的中间桥梁在从高保真仿真到真实硬件的漫长迁移链中Sim-to-Sim 承担着过渡验证的关键角色。典型场景保真度递进验证先在高保真仿真器如 Isaac Sim中训练策略再迁移到低保真但速度更快的仿真器如 MuJoCo 用于快速迭代验证策略对物理引擎差异的鲁棒性最后再迁移到真实机器人。跨引擎策略迁移通过潜在空间对齐技术将不同状态和动作空间的机器人操作策略在共同潜在空间中编码和解码实现跨仿真器、甚至跨实体的策略迁移。已有工作在 Sim-to-Sim 和 Sim-to-Real 两个层面同时验证了跨本体操作技能迁移的可行性。Newton 物理引擎的 Sim-to-Sim 工作流Linux 基金会于 2025 年发布的 Newton 开源物理引擎被集成到 Isaac Lab 中支持将策略从 Newton 迁移到 PhysX 等其他仿真器甚至可以进一步部署到真实硬件。这一工作流让开发者先在 Newton 中训练策略再通过 Isaac Lab 的桥接层完成 Sim-to-Sim 迁移验证最后执行 Sim-to-Real 部署。3.3 角色二迁移鲁棒性的评估工具Sim-to-Sim 也为定量评估 Sim-to-Real 差距提供了方法论框架。一项针对小型自动驾驶车辆的研究系统性地对比了不同保真度仿真器之间的迁移准确率其核心洞见在于Sim-to-Sim 差距可以作为 Sim-to-Real 差距的代理指标进行预先评估从而在实际部署前就筛选出鲁棒性不足的策略。此外RAFLResidual Acceleration Field Learning工作在 Sim-to-Sim 实验中演示了残差动力学场在未见形态软机器人上的零样本增益并揭示了一个重要发现在某些情况下系统辨识反而会产生负迁移而残差学习方法能一致性地提升跨仿真器的迁移效果。这为 Sim-to-Sim 作为一种独立的算法评测范式提供了有力支撑。3.4 Sim-to-Sim 与 Sim-to-Real 的关系图谱维度Sim-to-SimSim-to-Real源域仿真器 A仿真器目标域仿真器 B真实世界差距可控性高可精确量化低不可控因素多评估成本极低极高核心用途策略预验证、跨引擎迁移、鲁棒性诊断最终部署、真实场景泛化代表方法潜在空间对齐、RAFL、Newton 跨引擎桥接DR/DA/Sys-ID/残差学习/VLA四、Real-to-Sim-to-Real数据驱动的完整闭环4.1 范式演进为什么需要 Real-to-Sim传统 Sim-to-Real 方法面临一个根本性困境仿真环境往往是手工构建的“理想化世界”无法充分反映真实场景的几何细节、材质属性和物理动态。而Real-to-Sim技术试图从根本上解决这一问题——先对真实世界进行高质量数字化重建再在重建的孪生环境中训练策略最后迁移回真实世界。4.2 主流 Real-to-Sim 重建技术3D 高斯泼溅3DGS重建利用 3D Gaussian Splatting 技术从多视角视频快速重建照片级逼真的 3D 场景并通过神经渲染实现实时交互式模拟。GS-Playground、DISCOVERSE 等平台均基于此技术路线。可微分数值孪生D-REX 利用可微高斯表征构建可微分引擎直接从真实视觉观测和机器人控制信号中自动识别物体质量等物理参数同时训练力感知抓取策略实现高保真物理孪生。物理对齐仿真标定Sim1 提出一种物理对齐的 Real-to-Sim 管道先对场景进行度量一致的孪生数字化再通过弹性建模校准可变形体动力学最后通过基于扩散的轨迹生成扩展行为空间。4.3 代表性 Real-to-Sim-to-Real 项目MIT CSAIL 的 RialTo用户仅需用手机扫描家居环境系统即可自动创建数字孪生机器人可在仿真中反复练习任务再将策略迁移到真实家居场景。在相同数量的演示数据下策略性能比纯模仿学习提高了 67%。清华 X-Sim从单段 RGB-D 人类操作视频重建照片级仿真环境以物体运动轨迹为密集迁移信号训练强化学习策略实现跨本体的 Real-to-Sim-to-Real 技能学习。TwinAligner提出视觉-动态对齐的 Real2Sim2Real 框架在视觉外观和物理动态两个层面同时对齐仿真与真实策略在仿真中训练后即可零样本泛化到真实世界。RL-GSBridge将 3D Gaussian Splatting 嵌入传统强化学习仿真管道实现基于视觉的零样本 Sim-to-Real 操作学习。五、工具链与开源生态2025—2026 年全景盘点5.1 高性能仿真平台5.1.1 NVIDIA Isaac Sim / Isaac Lab 生态NVIDIA 构建了当前最完整的仿真到现实迁移工具链Isaac Sim 5.0基于 OpenUSD 标准化机器人和传感器定义集成 NuRec 神经渲染提升视觉保真度以缩小 Sim-to-Real 视觉差距。Isaac Lab 2.2开源机器人仿真和学习框架支持 GPU 加速大规模并行训练。Omniverse 生成式世界模型如 Marble通过文本或图像提示几小时内生成仿真就绪的 3D 场景将传统数周的人工建模周期压缩至小时级。5.1.2 智元 Genie Sim 3.02026 年 1 月在 CES 发布的全球首个大语言模型驱动的开源仿真平台。基于 NVIDIA Isaac Sim融合三维重建与视觉生成通过自然语言或单张图片即可在分钟内生成万级可交互三维仿真场景。开源了包含真实机器人作业场景的上万小时仿真数据集覆盖 200 任务构建了覆盖 10 万 场景的多维度评估体系。在英伟达 GTC 2026 上该平台展示了在超市上货、物流分拣、电力巡检、产线装配等工商业场景的仿真-现实迁移能力。5.1.3 中兴 RealMirror发表于 ICRA 2026 的端到端具身 VLA 仿真基座平台集“数据采集—模型训练—模仿推理—自动化评测—零样本 Sim2Real 迁移”于一体。核心贡献包括无需真机的完整 VLA 研究 pipeline针对人形机器人的 VLA Benchmark通过 3DGS 生成模型实现无需真实数据微调的零样本 Sim-to-Real 迁移。5.1.4 清华 GS-Playground由清华 AIR DISCOVER Lab 联合多方发布专为视觉中心机器人学习打造的新一代仿真基础设施。首次实现高吞吐并行物理仿真与高保真视觉渲染的深度融合自研高性能并行物理引擎采用混合互补问题MCP建模接触动力学在 27 自由度人形机器人 50 环境并行训练中保持 1015 FPS 吞吐量API 全面兼容 MuJoCo MJCF 格式。该成果已被 RSS 2026 录用。5.1.5 SafeVerse上海人工智能实验室开源的全球首个面向安全可信具身智能的实战平台。核心技术突破在于“视频输入 分钟级输出”的真实场景数字孪生——利用多模态大模型作为视觉理解中枢解析视频物体通过拥有丰富物理规则的 Minecraft 平台赋予交互属性实现“评测—攻防—进化”一体化支持在线 RL 训练。5.2 开源算法与框架EAGERx引擎无关的图式 Sim2Real 学习框架提供统一的真实与仿真管道集成延迟仿真、域随机化和同步算法。支持多种仿真器之间的无缝切换。RLinf v0.2强化学习基础设施框架重点增强真实世界 RL、Sim-to-Real 和协同训练工作流。支持 Real2Sim2Real基于 ManiSkill-GS、Sim-Real Co-Training如 π0.5 模型等前沿训练模式。Wheeled Lab低成本、开源轮式机器人的现代 Sim2Real 框架将教育/研究领域广泛使用的轮式平台与 Isaac Lab 深度集成。mani-skill基于 SAPIEN 的统一机器人仿真与训练框架专注于操作技能v3 版本已进入 beta 测试阶段。5.3 前沿学术项目MolmoSpaces MolmoBotAi2从 23 万 室内场景、13 万 物体模型、4200 万 抓取标注构建的大规模仿真环境配合训练其上的操作模型在 Franka FR3 和 RB-Y1 移动操作臂上实现了无需真实数据微调的零样本 Sim-to-Real 迁移。其核心假设是仿真不够好并非因为它是仿真的而是因为多样性不足——“If a model sees enough variation during training, the real world begins to look like just another environment”。VIRAL视觉 Sim-to-Real 人形机器人运动操作框架全程在仿真中训练通过大规模视觉域随机化光照、材质、相机参数、图像质量、传感器延迟和灵巧手/相机 Real-to-Sim 对齐在宇树 G1 上实现零样本部署。D-REX可微分 Real-to-Sim-to-Real 引擎利用高斯泼溅构建可微分数字孪生自动识别物体质量等物理参数同时训练力感知抓取策略相关代码即将开源。Sim1物理对齐的 Real-to-Sim-to-Real 数据引擎针对布料等可变形体操作。实验表明纯合成数据训练的策略达到与真实数据基线对等的性能1:15 等效比实现 90% 零样本成功率和 50% 泛化提升。RAFL残差加速度场学习框架在基础仿真器上叠加可迁移的单元级校运动态场在 Sim-to-Sim 和 Sim-to-Real 实验中均实现未见形态零样本增益。5.4 产业级商业平台ABB RobotStudio HyperRealityABB 与 NVIDIA 深度合作将 Omniverse 库集成到 RobotStudio 中宣称可实现 99% 精度的 Sim-to-Real 匹配。富士康等全球制造商已于 2026 年开始试点正式版预计 2026 年下半年发布。斗山 Robotics × NVIDIA围绕 Isaac Sim 构建大规模预训练快速迁移的 Sim-to-Real 开发管道聚焦 AI 机器人基础模型战略。MOVENSYS在 NVIDIA GTC 2026 上展示了针对物理 AI 的实时执行技术专注解决机器人基础模型从仿真到现实执行中的低延迟精确控制问题。六、能力矩阵技术方法与适用场景速查迁移范式核心技术最佳适用场景数据需求零样本能力Sim-to-Real域随机化DRLocomotion、视觉抓取无需真实数据⭐⭐⭐Sim-to-Real系统辨识Sys-ID高精度动力学控制少量真实数据⭐⭐⭐⭐Sim-to-Real域自适应DA视觉感知、姿态估计配对数据⭐⭐⭐Sim-to-Real残差学习抗扰动控制、接触任务真实在线交互⭐⭐⭐⭐Sim-to-RealVLA Sim2Real开放场景操作、语言交互大规模仿真数据⭐⭐⭐⭐Sim-to-Sim潜在空间对齐跨仿真器策略迁移无⭐⭐⭐⭐Sim-to-SimRAFL/残差场软体机器人形态优化稀疏标记观测⭐⭐⭐⭐Real-to-Sim-to-Real3DGS/神经渲染重建特定环境的精确操作少量真实视频/扫描⭐⭐⭐⭐⭐Real-to-Sim-to-Real可微分数值孪生D-REX灵巧抓取、力控操作真实视觉观测控制信号⭐⭐⭐⭐七、未来趋势从“弥合差距”到“消除差距”7.1 Sim-to-Sim 与 Sim-to-Real 的深度融合两条技术路线正在加速交汇。Newton 物理引擎的 Sim-to-Sim-to-Real 工作流已展示出清晰的路径先在 Newton 中训练 → 桥接到 PhysX 验证 → 部署到硬件。这种“仿真间迭代验证 实机最终部署”的范式将成为主流。Sim-to-Sim 作为 Sim-to-Real 的训练先行环节正在从辅助工具演变为正式开发流程的必经节点。7.2 世界模型驱动的下一代仿真世界基础模型World Foundation Models正在改变仿真的本质不仅模拟物理过程还能生成新的交互场景和任务变体。NVIDIA Cosmos、World Labs Marble 等生成式世界模型让“用一句话生成一个训练环境”成为现实。这一趋势将大幅降低仿真场景构建的门槛推动 Sim-to-Real 从“专家手工建模”走向“AI 自动生成训练”。7.3 Real-to-Sim-to-Real 的成熟化随着 3DGS 和 NeRF 技术的成熟将任意真实环境快速转化为高保真数字孪生正变得日益高效。SafeVerse 的“视频输入 → 分钟级构建”范式以及 RealMirror 的“零样本 Sim2Real 迁移”实践都预示着未来每个真实机器人部署场景都可能在几分钟内完成仿真重建和策略训练。7.4 工业级精密迁移ABB RobotStudio HyperReality 宣称的 99% Sim-to-Real 匹配精度代表了一个新标杆。通过 Omniverse 级物理渲染 高精度传感器/执行器建模工业机器人正从“仿真辅助设计”走向“仿真即部署”极大幅度降低产线切换和工艺开发的时间与成本。7.5 通用化与轻量化部署未来的仿真迁移基础设施将更强调“通用性”和“易用性”跨本体、跨场景的统一仿真框架让同一套代码适配从轮式底盘到人形机器人的多种形态。模型量化、知识蒸馏等技术将复杂的仿真训练策略压缩到嵌入式平台实现边缘设备上的高效推理和实时控制。7.6 具身智能时代的范式跃迁当大模型、世界模型和强化学习策略在仿真中深度融合我们正在见证一场从“手工调试每个参数”到“AI 在虚拟世界中自主进化”的范式跃迁。Sim-to-Sim 和 Sim-to-Real 作为这场跃迁的技术基石其终极目标不是弥合鸿沟而是消除鸿沟本身——让机器人在物理世界中获得的每一次经验都成为虚拟世界中无限次训练的新起点。八、参考资源索引类别资源名称链接/说明综述论文A Comprehensive Review of Physical AITechRxiv, 2026综述论文Sim-to-Real Transfer in RL: A ReviewScienceDirect, 2026综述论文机器人学中的现实鸿沟arXiv: 2510.20808综述论文具身智能模拟器技术综述CSDN文库, 2026技术博客Sim2Real 详解CSDN, 2026仿真平台NVIDIA Isaac Sim / Isaac Labisaac-sim.github.io仿真平台Genie Sim 3.0智元CES 2026仿真平台RealMirror中兴ICRA 2026仿真平台GS-Playground清华 AIRRSS 2026仿真平台SafeVerse上海 AI Labai45.shlab.org.cn仿真平台EAGERxeagerx.readthedocs.io仿真平台mani-skillSAPIENPyPI, v3 beta开源框架RLinf v0.2GitHub: RLinf/RLinf开源框架Wheeled Labproceedings.mlr.press, 2025物理引擎NewtonLinux 基金会开源物理引擎学术项目MolmoSpaces MolmoBotAi223 万室内场景零样本迁移学术项目VIRAL人形机器人运动操作arXiv, 2025学术项目D-REX可微分引擎ICLR 2026学术项目Sim1物理对齐仿真arXiv, 2026学术项目RAFL残差加速度场arXiv, 2026学术项目Sim2Real-VLAICLR 2026 投稿学术项目X-Sim跨本体 Real-to-SimarXiv, 2025学术项目RialToMIT CSAILMIT, 2024产业平台ABB RobotStudio HyperReality99% Sim-to-Real 精度产业平台斗山 Robotics × NVIDIAIsaac Sim 预训练管道产业平台MOVENSYSNVIDIA GTC 2026生成式工具World Labs Marblemarble.worldlabs.ai