引用falcor84 · 2024-02
“Here's the article itself - Genie”
贴出 DeepMind 的 Genie 论文原文
从无标签互联网视频无监督训练出 110 亿参数的可交互世界模型
论文提出 Genie,首个从无标签互联网视频以无监督方式训练的生成式交互环境,可以被文本、合成图像、照片甚至草图提示,生成无穷多种可由动作控制的虚拟世界。它有 110 亿参数,可视为基础世界模型,由时空视频分词器、自回归动态模型和简单可扩展的潜在动作模型组成;训练中没有任何真实动作标注,用户仍能逐帧在生成的环境中行动,所学的潜在动作空间还可用于让智能体模仿未见视频中的行为,为训练未来的通用智能体铺路。
HN 上的人把它作为 DeepMind 生成式交互环境(世界模型)的原始论文来引用,并讨论类似 Genie 的模型被用来训练机器人做家务。
“Here's the article itself - Genie”
“No, they actually did use a genie-like model to train robots on household chores.”
“Edit: ah original Genie paper is 2024 [3]”