有关峪(yù)樊(fán)真的还是假的?

　　这就是腾讯近日推出的GameGen-O，一个专门生成开放世界视频游戏的Transformer模型。

　　推测想要做的事儿，是用AI模型替代一些游戏开发环节。比如目前公布的游戏角色创建、游戏环境生成、动作生成、事件生成以及各种交互控制。

　　现在，用GameGen-O就能直接生成各种角色了，西部牛仔、太空人、魔法师、警卫一键生成。

　　游戏必备环节给玩家偶尔上亿点难度，海啸、龙卷风、火灾事件这就安排（doge）。

　　最后，用文本、操作信号和视频提示就能实现交互，向左、向右、走向黎明

　　团队从互联网上收集了32,000个原始视频，这些视频来自数百款开放世界游戏，时长从几分钟到几小时不等，类型包括角色扮演、第一人称射击、赛车、动作益智游戏等。

　　下一步，将筛选后的视频通过场景检测技术切割成片段，并对这些视频片段进行基于美学、光流和语义内容的严格排序和过滤。

　　接下来使用GPT-4o对超过4,000小时的高质量视频片段进行细致的注释，这些片段的分辨率从720p到4k不等。

　　为了实现交互控制性，团队从注释后的数据集中选择最高质量的片段，并进行解耦标签（decoupled labeling）。

　　这是递归自我改进（recursive self-improvement）的一种形式。（人类专家确保了注释的准确性，并通过反馈机制帮助GPT-4o进行自我改进）

　　在基础训练阶段，GameGen-O模型使用了一个2+1D VAE（变分自编码器，如Magvit-v2）来压缩视频片段。

　　这种训练方法，结合OGameData数据集，使得模型能够稳定且高质量地生成开放领域的视频游戏内容，并为后续的交互控制能力奠定了基础。

　　在这之后，预训练的模型被固定，然后使用可训练的InstructNet进行微调，这使得模型能够根据多模态结构指令生成后续帧。

　　在InstructNet分支的调整过程中，当前内容被用作条件，从而在当前片段内容和未来片段内容之间建立了映射关系，这在多模态控制信号下进行。

　　造成的结果是，在推理时，GameGen-O允许用户基于当前片段不断生成和控制下一个生成的片段。