新娱乐在线 - 中国娱乐新闻网站
当前位置: 主页 > 社会新闻 > 互联网新闻 > 微软发布创新大模型:一张图片就能生成游戏,游戏界ChatGPT来了

微软发布创新大模型:一张图片就能生成游戏,游戏界ChatGPT来了

时间:2025-02-23 19:07:14

来源:未知

作者:-1

微软在官网发布了专用于游戏领域的创新大模型——muse。

虽然muse基于transformer架构,但创建游戏场景的方式却非常独特,并不依赖传统的文本提示,而是通过游戏画面和控制器操作的序列化数据作为输入提示,从而生成连贯的游戏场景和玩法,同时更符合游戏机制和物理规则的游戏内容。

例如,仅通过一张游戏截图,muse 就能迅速生成多个可能的后续游戏画面,并通过 xbox 手柄控制角色生成与开发者操作相匹配的后续游戏内容,游戏开发效率非常高。

微软发布创新大模型:一张图片就能生成游戏,游戏界chatgpt来了

游戏开发是一个高度复杂的过程,涉及创意构思、角色设计、场景搭建、玩法策划等多个环节,需要众多专业人员协同合作。

以一个小型独立游戏工作室开发新游戏关卡为例,ceo 提出新角色概念后,角色开发人员需花费数天甚至数周时间绘制概念草图并反复修改,随后3d模型师进行建模,动画师负责角色动画制作,程序员编写角色行为代码,最后由关卡设计师与环境师共同打造适配的关卡。

整个流程繁琐复杂,且需要大量的创意投入和时间成本。现在,通过muse可以轻松完成这些复杂的开发流程。

muse架构简单介绍

muse与chatgpt一样使用了著名的transformer作为核心架构。为了将游戏画面和玩家操作转化为模型能够处理的序列化数据,还引入了vqgan图像编码器。

vqgan的作用是将游戏画面中的每一帧图像编码为一系列离散的tokens,不仅保留了原始图像的关键信息,还能够被transformer模型高效处理。

微软发布创新大模型:一张图片就能生成游戏,游戏界chatgpt来了

每个游戏画面被编码为540个离散tokens,这些标记构成了模型输入的一部分,帮助模型能够在生成过程中灵活地处理图像数据,同时保持对游戏画面细节的高保真度。

玩家的操作也被离散化处理,以适配模型的输入格式。玩家控制器的按钮操作被直接编码为离散值,而摇杆的连续操作则被划分为11个离散区间。

在训练过程中,muse利用了大规模的计算资源和优化策略,例如,1.6b参数的muse模型在训练时使用了高达1×10²²算力,使得模型能够在复杂的3d游戏环境中学习到更精细的动态关系,从而生成更加真实和连贯的游戏玩法序列。

微软发布创新大模型:一张图片就能生成游戏,游戏界chatgpt来了

为了进一步提升模型的性能,微软还在训练过程中采用了adamw优化器,并结合了余弦退火学习率策略,在训练过程中动态调整学习率,从而提高模型的收敛速度和最终性能。模型还采用了批量归一化和权重衰减等技术,以防止过拟合并提高模型的泛化能力。

高质量训练数据

为了提升muse模型的生成性能,微软与ninja theory工作室合作获取了《bleeding edge》的大量真实玩家游戏数据。

为了收集训练数据,微软从游戏中提取了超过50万场玩家的游戏会话,涵盖了各种游戏场景、角色行为和玩家操作。同时对这些数据经过清洗和匿名化处理,以确保玩家隐私和数据安全。

游戏画面的图像帧被提取为300×180像素的分辨率,以确保模型能够捕捉到足够的细节;控制器操作则被离散化处理,包括按钮操作和摇杆的移动方向。这些数据被整合为时间序列,每个序列包含10帧图像和对应的控制器操作,形成了模型的输入和输出对。

最终,从这些数据中提炼出了两个数据集:7maps和 skygarden 数据集。7maps 数据集包含60,986场比赛,约500,000个玩家轨迹,数据总量达到27t,相当于7年多的游戏时间。

经过下采样到10hz后,约有14亿帧数据,并按照80:10:10的比例划分为训练集、验证集和测试集。skygarden 数据集则聚焦于单个地图,包含66,709个玩家轨迹,约3.1亿帧数据,同样进行了80:10:10的划分和10hz下采样处理。

muse测试数据

为了测试muse的性能,微软使用了连贯性、多样性和持续性三种测试基准进行了综合评估。

在连贯性测试中,团队使用了fvd指标来衡量生成游戏画面与真实游戏画面之间的相似度。结果显示,随着模型规模的增大和计算资源的增加,fvd指标显著降低,表明生成的游戏画面与真实画面之间的差异越来越小。

例如,1.6b参数的muse模型在高分辨率图像上的表现尤为出色,能够生成长达2分钟的连贯游戏画面。

微软发布创新大模型:一张图片就能生成游戏,游戏界chatgpt来了

在多样性测试中,团队使用了wasserstein距离来衡量生成动作与真实人类动作之间的分布差异。测试结果表明,muse模型能够生成多种不同的游戏玩法,且生成的动作分布与人类玩家的真实动作分布高度一致。

此外,团队还通过定性分析展示了模型生成的多样化行为,例如,玩家角色可以选择不同的路径、使用不同的技能,甚至在外观上也存在差异。

微软发布创新大模型:一张图片就能生成游戏,游戏界chatgpt来了

持续性测试则通过在游戏画面中插入新的元素,包括游戏角色、道具或地图等元素,来评估模型是否能够将这些修改融入后续生成的画面中。

结果显示,当模型在生成过程中被提示包含这些修改后的画面时,能以超过85%持续生成包含这些元素的画面。这表明muse模型能够有效地支持创意人员的迭代创作过程。

微软游戏研究负责人katjahofmann表示,研发muse的主要原因是2022年11月openai发布了chatgpt。当时意识到基于 transformer 架构的ai模型在大量数据训练下的巨大商业潜力,同时手中也有丰富的游戏数据,于是想利用这些数据训练出更好的游戏模型。

目前,muse模型可以在微软的azure ai foundry上体验。

  • 关键词浏览:
  • 微软
  • Muse
  • 最新更新
  • 第四届哈尔滨文化时尚周启幕
  • 杨幂黑粉登报致歉:往后会谨言慎行,不再随意妄言
  • 芝华仕头层牛皮沙发坐两个月起皮续:厂家承认经销商管理不到位 称是涂层脱落
  • 信号山:新车到手即进修理厂 验车不应成为消费者的必修课
  • 茉莉奶白联名玻璃杯上市当天遭消费者集中反映易碎划手,有网友称手指受伤住院
  • 欧盟多国承诺加快释放4260万桶储油以稳定市场
  • 四年财务造假 佳缘科技公司及高管合计被罚1450万元
  • 多地理想MEGA销售拿“宁德时代”电池促单
  • 纪录片《百年巨匠—柳青》开机 以影像致敬人民作家柳青
  • 2026横店新大众文艺周举办 聚焦沉浸式文旅演绎与影旅融合新路径
  • 综述丨苹果首款折叠屏手机裂屏问题引关注
  • 国航飞机漏油航班延误致境外游泡汤 为1.6万元损失消费者维权一个月讨到说法
  • 河北武安一新娘婚礼前夕手臂被婚纱馆深度烫伤,礼服还遭临时翻倍加价
  • 昆山一新生儿在月子中心工作人员怀中意外滑落 孩子刚从监护病房出来“丽月佳庭”就催缴尾款惹恼家长
  • 全新奥迪A5L提车十几分钟后全景影像黑屏倒车雷达失灵 4S店修了好几遍“接口”又要换冷却液泵
  • 5000多元买的芝华仕沙发坐了俩月起皮了 消费者想看质检报告却发现时间和型号都对不上
  • 粉色飞利浦牙刷坏了商家给换了紫色 紫色又出故障天猫延保却不保了,称“颜色不对”。
  • 新研究为进一步揭示脂肪肝遗传机制提供线索
  • 研究:部分血液蛋白水平与前列腺癌风险相关
  • 曼赤肯宠物处方罐头涉嫌虚标成分表数值 厂家称产品符合国标,将更改包装表述。