英伟达开源 NitroGen，同一的视觉到行动模型

英伟达研究团队日前正式开源宣布了全新的基本模型NitroGen。官方介绍，NitroGen 是一个同一的视觉到行动模型，可以直接从原始帧中玩游戏。并且能做到将视频游戏帧作为输入，同时输出游戏手柄操作。

NitroGen的出生并非为了打造更强的“游戏AI”，而是旨在摸索一种更普适的具身智能练习范式，即在大年夜范围模仿情况中，进修跨物理规矩的通用活动控制才能。

研究团队发明，最初为机械人场景设计的GR00T N1.5，在几乎不做修改的情况下，即可在机制差别极大年夜的游戏义务中展示出惊人的适配力。

作为一款以“玩游戏”为核心练习目标的模型，NitroGen涵盖了包含《巫师3》、《赛博朋克2077》在内的1000多款不合类型的游戏，横跨RPG、赛车、吃鸡及2D/3D等多种形态。

NitroGen的关键包含一个4万+ 小时、高质量、来自真实世界的公开视频游戏数据集，一个用于持续活动控制、才能极强的基本模型，以及一个Gym API，可以把任何游戏二进制法度榜样封装起来跑rollout。

个中数据集包含800多款游戏，每款游戏的数据时长均跨越1小时，还有15款游戏的数据时长均跨越1000小时。并且NitroGen是全栈开源，包含预练习权重、完全动作数据集、练习与推理代码，以及一份技巧细节充分的白皮书。

项目主页：https://huggingface.co/nvidia/NitroGen