Matrix-Game 2.0

Matrix-Game 2.0 – 昆仑万维推出的自研世界模型

Matrix-Game 2.0 是昆仑万维 SkyWork AI 推出的自研世界模型，是业内首个开源的通用场景实时长序列交互式生成模型。它采用视觉驱动的交互方案，具备低延迟、高帧率的长序列交互性能，能以 25 FPS 的速度生成连续视频内容，并支持分钟级生成时长，适用于游戏开发、虚拟现实和影视制作等领域。

Matrix-Game 2.0 产品介绍

Matrix-Game 2.0，由昆仑万维 SkyWork AI 倾力打造，是一款性的自研世界模型，旨在为交互式生成领域注入全新活力。作为业界首个全面开源的通用场景实时长序列交互式生成模型，它不仅代表了技术的突破，也预示着交互式世界模型发展的新纪元。

核心功能

• 流畅的实时视频生成：Matrix-Game 2.0 能够以每秒 25 帧（25 FPS）的速度，在各种复杂场景中稳定输出连续视频内容，并且生成时长可扩展至分钟级别，为用户带来更流畅、更逼真的视觉体验。
• 直观的交互控制：用户可以通过简单的指令，如键盘方向键或鼠标操作，探索和操控虚拟环境，实现与虚拟世界的无缝互动，精准响应用户的操作意图。
• 视觉驱动的建模方式：模型采用以视觉为核心的交互世界建模方案，侧重于通过视觉感知和物理规律学习来构建虚拟世界，摆脱了对语言提示的依赖，从而更真实、更准确地模拟现实世界。
• 广泛的场景适应性：Matrix-Game 2.0 具备出色的跨领域适应能力，能够模拟多种风格和环境，包括城市、野外等不同空间类型，以及真实、油画等多种视觉风格。
• 增强的物理模拟：模型能够使角色在面对台阶、障碍物等复杂地形时，展现出符合物理规律的行为，从而增强沉浸感和可控性。

产品官网

• 官方网站：https://matrix-game-v2.github.io/

应用领域

• 游戏开发：Matrix-Game 2.0 能够生成逼真且符合物理规律的可交互视频，支持角色动态行为和场景互动，为游戏开发者提供更强大的创作工具，例如在《GTA》和《我的世界》等游戏场景中模拟车辆运作或角色移动。
• 虚拟现实（VR）：该模型可以实时生成高质量的虚拟环境，让用户通过简单指令探索和操控虚拟世界，为 VR 应用提供强大的技术支持。
• 影视制作：Matrix-Game 2.0 能够快速生成高质量的虚拟场景和动态内容，帮助影视制作团队高效地创建复杂的视觉效果和动画场景。
• 具身智能：为具身智能体训练与数据生成提供技术支持，为智能体在虚拟环境中的训练和测试提供了高效的解决方案。
• 虚拟人与智能交互系统：Matrix-Game 2.0 的实时交互能力和对物理规则的理解使其成为虚拟人和智能交互系统的理想解决方案，能生成自然流畅的动作和响应。

常见问题解答

1. Matrix-Game 2.0 的核心技术是什么？

Matrix-Game 2.0 采用了视觉驱动交互世界建模、3D 因果变分自编码器（3D Causal VAE）、多模态扩散 Transformer（DiT）、自回归扩散生成机制、分布匹配蒸馏（DMD）和 KV 缓存机制等多项关键技术。

2. Matrix-Game 2.0 的生成速度如何？

Matrix-Game 2.0 能够以 25 FPS 的速度生成视频内容，并支持分钟级的生成时长。

3. Matrix-Game 2.0 支持哪些交互方式？

用户可以通过键盘方向键、鼠标操作等简单指令与虚拟环境进行交互。

4. Matrix-Game 2.0 的开源程度如何？

Matrix-Game 2.0 是业内首个全面开源的通用场景实时长序列交互式生成模型。