英伟达空间智能实验室开发的Lyra 2.0框架，近日正将“单图生成3D世界”从概念推向实用。
该技术以单张静态图像为输入，可生成跨度约90米、支持主动视角探索的持久化三维环境，并最终重建为可实时渲染的3D高斯泼溅与多边形网格模型。相关代码与模型权重已在GitHub和Hugging Face开源。
Lyra 2.0的核心突破在于解决了生成式3D建模的两大顽疾。其一是“空间遗忘”：当用户视角折返已探索区域时，模型常会重新生成不一致的结构。其二是“时间漂移”：随视角持续延展，几何形变与纹理误差会不断累积。
为此，英伟达引入了基于3D几何信息的空间记忆机制，并让模型在训练中主动暴露于自身生成的瑕疵内容，从而学会识别并纠正误差，而非持续放大。
性能优化同样关键。经知识蒸馏后的轻量模型，将视频生成的去噪步数从35步压缩至4步。在单块GB200 GPU上生成80帧片段，完整模型需约194秒，而轻量模型仅需约15秒，速度提升约13倍。
这项技术的直接落点是机器人仿真。生成的3D场景可导出至NVIDIA Isaac Sim等物理引擎，用于机器人感知、决策与行为训练，让开发者无需采集真实世界数据即可在虚拟环境中完成训练。
当前版本仍以静态环境建模为主，动态物体与实时全场景生成尚存局限，但作为环境资产辅助生成工具，其效率提升已足够可观。