Cosmos核心功能全揭秘三大世界基础模型与高效视频处理管道【免费下载链接】CosmosCosmos is a world model development platform that consists of world foundation models, tokenizers and video processing pipeline to accelerate the development of Physical AI at Robotics AV labs. Cosmos is purpose built for physical AI. The Cosmos repository will enable end users to run the Cosmos models, run inference scripts and generate videos.项目地址: https://gitcode.com/gh_mirrors/cosmos7/CosmosCosmos是一个专为物理AI开发者打造的世界模型开发平台包含预训练的世界基础模型、视频分词器和视频处理管道旨在加速机器人学和自动驾驶实验室的物理AI系统开发。这个完整的平台让开发者能够快速构建和部署先进的视觉生成系统。 三大世界基础模型满足不同场景需求Cosmos提供了两大类世界基础模型基于扩散的模型和基于自回归的模型每种模型都有不同的参数规模和功能特点。1. 扩散模型Diffusion-based Models扩散模型是Cosmos平台的核心组件之一提供了文本到世界Text2World和视频到世界Video2World两种生成模式。模型规格Text2World模型7B和14B参数版本支持从文本提示生成视觉世界Video2World模型7B和14B参数版本支持从图像/视频输入和文本提示生成视觉世界关键特性支持单视频和批量视频生成内置提示增强器Prompt Upsampler可自动扩展简短提示为详细描述灵活的GPU内存管理策略支持多种卸载配置支持多种宽高比1:1、4:3、16:9等2. 自回归模型Autoregressive-based Models自回归模型提供另一种生成方法特别适合视频扩展任务可以从单个图像或9帧视频输入扩展到33帧视频。模型规格基础模型4B和12B参数版本仅支持视觉输入Video2World模型5B和13B参数版本支持视觉和文本双输入性能表现根据100个物理AI主题测试视频的评估不同配置的失败率如下模型图像输入失败率视频输入失败率9帧Cosmos-1.0-Autoregressive-4B15%1%Cosmos-1.0-Autoregressive-5B-Video2World7%2%Cosmos-1.0-Autoregressive-12B2%1%Cosmos-1.0-Autoregressive-13B-Video2World3%0% 高效视频分词器压缩与重建的完美平衡Cosmos的视频分词器是平台的关键技术组件能够将视频高效地编码为连续和离散的token表示。技术架构优势Cosmos的分词器采用因果编码/解码架构结合3D Haar小波变换进行多尺度时空分解实现了高质量重建相比其他领先方案Cosmos保持了更好的空间和时间清晰度混合潜在空间同时支持连续和离散表示平衡了细节保留和压缩效率因果处理避免时间建模中的未来帧信息泄漏性能优势明显从性能对比可以看出Cosmos分词器在延迟方面显著优于竞争对手连续视频分词器约10ms vs 竞争对手的400ms40倍加速离散视频分词器约51ms vs 竞争对手的53ms连续图像分词器约75ms vs 竞争对手的250ms离散图像分词器约50ms vs 竞争对手的450ms 快速上手指南三步开始使用Cosmos第一步环境设置首先按照安装指南设置Docker环境# 克隆仓库 git clone https://gitcode.com/gh_mirrors/cosmos7/Cosmos cd Cosmos # 设置Docker环境详细步骤参考INSTALL.md第二步下载模型权重使用Hugging Face令牌下载预训练模型# 登录Hugging Face huggingface-cli login # 下载扩散模型 PYTHONPATH$(pwd) python cosmos1/scripts/download_diffusion.py \ --model_sizes 7B 14B \ --model_types Text2World Video2World # 下载自回归模型 PYTHONPATH$(pwd) python cosmos1/scripts/download_autoregressive.py \ --model_sizes 4B 5B 12B 13B第三步运行示例文本到世界生成示例PROMPT一个未来城市中自动驾驶汽车在多层立体道路上行驶... # 使用7B Text2World模型 PYTHONPATH$(pwd) python cosmos1/models/diffusion/inference/text2world.py \ --checkpoint_dir checkpoints \ --diffusion_transformer_dir Cosmos-1.0-Diffusion-7B-Text2World \ --prompt $PROMPT \ --offload_prompt_upsampler \ --video_save_name 我的第一个Cosmos视频视频到世界生成示例# 使用7B Video2World模型 PYTHONPATH$(pwd) python cosmos1/models/diffusion/inference/video2world.py \ --checkpoint_dir checkpoints \ --diffusion_transformer_dir Cosmos-1.0-Diffusion-7B-Video2World \ --input_image_or_video_path 输入视频.mp4 \ --num_input_frames 9 \ --video_save_name 视频扩展结果️ 安全防护系统负责任AI的保障Cosmos内置了完整的安全防护系统包括AEGIS系统预防护机制防止不安全内容生成面部模糊过滤器自动检测和模糊生成的人脸视频内容安全过滤器确保生成内容符合安全标准阻止列表系统防止生成特定类型的不当内容这些安全功能是强制性的无法禁用确保了平台生成的视频内容符合伦理和安全标准。⚡ GPU内存优化策略对于不同规格的GPUCosmos提供了灵活的模型卸载策略扩散模型内存使用示例卸载策略7B Text2World14B Text2World仅卸载提示增强器74.0 GB 80.0 GB卸载提示增强器防护系统57.1 GB70.5 GB完全卸载所有组件24.4 GB39.0 GB自回归模型内存使用示例卸载策略4B模型12B模型无卸载31.3 GB47.5 GB仅卸载防护系统28.9 GB45.2 GB完全卸载所有组件18.7 GB27.4 GB 批量处理能力Cosmos支持高效的批量视频生成通过JSONL文件格式输入Text2World批量输入格式{prompt: 第一个场景描述...} {prompt: 第二个场景描述...}Video2World批量输入格式{visual_input: 视频1.mp4} {visual_input: 视频2.mp4} 最佳实践提示描述单一场景专注于单一场景避免模型生成不必要的镜头切换详细描述提供丰富详细的提示120词左右的提示通常效果最佳避免相机控制指令当前版本对相机控制指令的支持仍在开发中使用提示增强器默认启用可自动扩展简短提示为详细描述分辨率要求自回归模型仅支持1024x640分辨率输入会自动调整 性能基准扩散模型推理时间7B模型约380秒14B模型约590秒H100 GPU自回归模型推理时间4B模型约62秒12B模型约119秒H100 GPU视频长度当前版本支持生成121帧视频帧率可调范围12-40fps 下一步探索Cosmos平台提供了丰富的功能和灵活的配置选项开发者可以根据具体需求探索不同模型规模从7B到14B参数平衡质量与速度尝试混合输入模式结合文本和视觉输入获得最佳效果优化GPU配置根据硬件选择合适的内存卸载策略定制训练使用后训练脚本针对特定应用场景微调模型通过Cosmos物理AI开发者可以快速构建高质量的视觉生成系统加速机器人感知、自动驾驶模拟等应用的开发进程。【免费下载链接】CosmosCosmos is a world model development platform that consists of world foundation models, tokenizers and video processing pipeline to accelerate the development of Physical AI at Robotics AV labs. Cosmos is purpose built for physical AI. The Cosmos repository will enable end users to run the Cosmos models, run inference scripts and generate videos.项目地址: https://gitcode.com/gh_mirrors/cosmos7/Cosmos创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考