小米汽车发布发布?Xiaomi?Auto?WorldModel?全新框架

盖世汽车获悉 日前，小米汽车正式推出Xiaomi Auto World Model全新框架，将三维重建与视频生成进行深度耦合。与传统“重建+生成”简单串联的路径不同，该框架让两者在结构上互相约束:重建侧提供几何锚点，为生成“打地基”；生成侧补全未观测区域，为重建“扩边界”，共同抑制长时序漂移。

世界模型被视为辅助驾驶的“大脑预演系统”，能够基于历史与当前观测，预测环境下一步演化，帮助车辆应对暴雨、落石、逆行等低概率高危场景。此前行业两条主流路线——重建与生成(能预测但易漂移)——各自存在短板。小米的一体化架构尝试将两者优势融合。

在技术实现上，重建模块WorldRec采用稀疏三维锚点表征，替代传统逐像素稠密高斯方法，通过多视角多时刻特征聚合与可见性加权融合，实现10秒视频重建仅需10秒。生成模块WorldGen经两阶段训练，仅需4步去噪、0.19秒生成一帧，支持最长1分钟视频，可模拟罕见动物闯入、极端天气等长尾场景。

据小米公布，该框架在Waymo、nuScenes等主流基准测试中全面取得SOTA。其中WorldRec在Waymo数据集上PSNR达28.48，超出此前最佳方法；WorldGen在nuScenes上FVD达64.97，单视角生成速度较同类自回归方法快约5.6倍。

目前该框架已在小米汽车三大场景落地:合成数据生成、仿真测试(闭环复现真实事故)、辅助驾驶学堂(已上线全车型实景模拟功能)。