JOTO
Contact us
← AI 智库
多模态模型

谷歌 Genie 4 发布,人类正式进入「全民造物主」大时代

2026 年 10 月 29 日

Google DeepMind 于10月27日发布世界模型 Genie 4,支持用户通过自然语言实时生成可交互、可探索的3D虚拟世界,并同步生成环境音、人物对话与物理运动。其单次交互可持续约两分钟,融合 Gemini Omni 与 Gemini 3.8 Flash 实现任务规划与行为理解。目前仍处于研究预览阶段,面向少量受信任测试者开放。

AI 开始现场造世界

Genie 4 最直观的能力,是让用户用自然语言创建一个可以走进去的世界。它会依据环境描述和用户的实时操作,持续生成后续画面。用户通过键盘控制移动和镜头,再用文字指令改变正在发生的事情。

Genie 4 界面示意图:第一人称视角在生成世界中行走并输入文字指令
Genie 4 界面示意图:第一人称视角在生成世界中行走并输入文字指令

例如,你可以在行走过程中要求天空下雨,或者在场景中突然加入一个角色,模型会结合当前环境生成相应变化。对于熟悉 AI 视频生成的用户,这套操作并不难理解。区别在于,一段生成完成的视频,其镜头和事件已经固定;Genie 4 则需要根据下一次按键、下一句指令,决定接下来会出现什么。

而且,这一次连声音也加入了模拟。模型可以伴随画面生成环境声、音乐与人物对话。海浪会发出声音,场景里的人物能够开口说话,并根据用户或周围发生的事件作出回应。

从技术演进来看,Genie 4 的进步建立在 Google 持续推进的世界模型研究上。2025 年 8 月,Genie 3 已经展示了以每秒 24 帧、720p 分辨率生成可交互环境的能力。今年 1 月,Google 又通过 Project Genie 将这项技术带给部分 Google AI Ultra 用户。新一代 Genie 4 进一步强化了视觉真实感、人物动作、物理模拟和实时交互能力。据报道,其单次交互体验可持续约两分钟,比此前 Project Genie 的一分钟体验上限有所延长。

Genie 4 动态演示:用户在生成世界中移动镜头并输入指令,画面实时响应变化
Genie 4 动态演示:用户在生成世界中移动镜头并输入指令,画面实时响应变化

两分钟听起来很短,却意味着模型需要持续处理用户操作、环境变化和画面生成,而非一次性计算完整视频。

走进 AI 生成的世界

Genie 4 究竟能做到什么程度?先来看看 Google DeepMind 公布的几组官方测试。这次 Google 放出了大量演示视频,涵盖场景实时控制、物理碰撞、人物动作、音频生成以及复杂事件模拟。演示中的用户通过键盘控制移动与镜头,并通过文字指令改变运行中的场景。

其中由 Google CEO Sundar Pichai 发布的一组测试很有代表性。画面从一条阳光明媚的海岸公路开始。用户以第一人称视角坐在摩托车上,正停在十字路口的红灯前。随后,系统收到一条非常简单的指令:「traffic light green」(交通灯变绿)。信号灯随之切换,摩托车引擎开始轰鸣,车辆加速驶向前方的海岸公路。在这个过程中,用户始终保持第一人称视角,公路、沙滩和海浪随着摩托车前进持续变化。

Google 通过这段演示展示了 Genie 4 的复杂事件模拟能力。用户只提出一个要求,模型需要结合当前环境,理解交通信号变化与车辆运动之间的关系,再生成后续画面。更重要的是,Google 还通过 Gemini 模型参与事件规划,帮助模拟过程维持合理的动作顺序。

如果说摩托车测试展示了事件之间的联系,另一组湖上萨克斯演奏则更加考验画面和声音的表现。在一片雾气弥漫的湖面上,一名穿着棕色西装的男子站在漂浮平台上吹奏萨克斯。平台上长着树木和野草,旁边还有一颗散发琥珀色光芒的球体。湖面泛起细微波纹,远处是隐约可见的森林。用户可以自由控制镜头,绕着平台观察场景。男子继续吹奏萨克斯,手指随着演奏活动,身体也有轻微摆动。镜头移动时,平台、人物和周围环境的空间关系随之改变。伴随着画面变化,风声、水流声和萨克斯演奏声也同步生成。按照 Google 的介绍,这些声音直接由 Genie 4 产生,并非后期添加的配乐。

原生音频是 Genie 4 的重要升级。它可以根据环境实时生成声音,也能够让虚拟角色参与交互式对话。这意味着,用户在模拟世界里遇到的人物,可以根据输入指令和周围事件作出回应。

Google 还测试了模型对真实物理现象的模拟能力。在一组演示中,一颗西瓜被放在阳光下的石台上,模型需要模拟碰撞及物体变化。另一组展示了枫树种子从树上落下的过程。种子在空中旋转、飘落,整个运动轨迹涉及空气动力学。人物运动也是此次升级的重点。在一个 20 世纪 80 年代的日本乡村车站场景中,站台挤满了等待上车的乘客,一列深红色火车停靠在近处,周围的人群不断移动。模型需要同时处理大量人物、车辆、建筑以及复杂的空间关系。

除了写实场景,Google 还展示了一个完全由彩色玻璃构成的世界。河流、树木、山脉、鲜花和天空都呈现出玻璃材质,用户可以直接进入其中探索。随着镜头移动,模型需要维持整个环境的视觉风格,让不同角度下的物体保持一致的材质特征。这些官方测试覆盖了世界模型最重要的几个方面:实时控制、空间连续性、物理运动、人物表现和音画同步。

看完官方演示,首批测试者已经开始用 Genie 4 玩出各种花样。沃顿商学院教授 Ethan Mollick 输入一句描述:「一座住着机器人和马的新哥特式粗野主义城市。」大约一分钟后,一座可探索的城市便出现在眼前。他又要求加入几条龙和一只友好的水獭 NPC,场景随之发生变化。整个过程无需重新创建世界,用户可以边探索、边修改其中的内容。

Ethan Mollick 使用 Genie 4 生成新哥特式粗野主义城市,含机器人、马、龙与水獭 NPC
Ethan Mollick 使用 Genie 4 生成新哥特式粗野主义城市,含机器人、马、龙与水獭 NPC

a16z 合伙人 Justine Moore 则直接开始制作冒险游戏。她生成了一座水下洞穴,随后不断往里面加入发光的紫色钻石、电鳗群和幽灵海盗。一个简单的探索场景,就这样逐渐变成了带有剧情事件的游戏原型。据 Justine 分享,创建世界通常不到 30 秒,之后可以进行约两分钟的实时交互。

Justine Moore 使用 Genie 4 构建水下洞穴冒险游戏原型,含发光钻石、电鳗与幽灵海盗
Justine Moore 使用 Genie 4 构建水下洞穴冒险游戏原型,含发光钻石、电鳗与幽灵海盗

影视创作也有了新玩法。曾参与 Google AR/3D 产品工作的 Bilawal Sidhu,将 Genie 4 当作虚拟片场,围绕一架神秘的黑色三角形飞行器构建场景,并尝试实时调整镜头、光线和动作。创作者可以直接进入模拟空间,快速验证不同的拍摄构想。

Bilawal Sidhu 使用 Genie 4 构建黑色三角形飞行器虚拟片场,实时调整镜头与光照
Bilawal Sidhu 使用 Genie 4 构建黑色三角形飞行器虚拟片场,实时调整镜头与光照

从随手创造一座城市,到快速搭建游戏原型、预演电影镜头,首批测试者已经探索出了不同的使用方向。这些案例也说明了 Genie 4 最有吸引力的地方:创作者可以直接走进自己的想法,再用自然语言不断修改它。

Gemini 在背后当导演

Genie 4 能够让用户不断追加要求,背后离不开 Gemini 的参与。根据 Google DeepMind 的技术介绍,Genie 4 融合了 Gemini 系列模型的能力。其中,Gemini Omni 帮助模型理解真实世界的外观与行为;Gemini 3.8 Flash 则作为实时引导 Agent,参与模拟过程中的任务规划。

当用户提出一个复杂要求,Gemini 会持续观察生成画面,把目标拆成多个步骤,并根据每一步的结果调整后续计划。比如,用户要求一个角色走到桌子旁,拿起物品,再交给另一个人。系统需要安排人物的移动路线、动作顺序和事件发展,并在环境发生变化时及时调整。

Google 在官方演示中还展示了一段机器人实验。Gemini 4 Argon 将任务拆分成步骤,Genie 4 根据这些步骤,模拟 Apptronik Apollo 人形机器人下跳棋的过程。这项实验展示了语言模型任务规划与世界模型实时模拟相结合的可能性。

如果未来模型能够可靠地模拟物体运动、碰撞和操作结果,开发者就有机会利用这种环境训练机器人和 AI Agent。例如,让机器人在虚拟仓库里练习搬运,让 Agent 在模拟环境里尝试多步骤任务,或者提前观察不同操作会产生什么后果。这也解释了为什么 Google 一直将世界模型视为通向通用人工智能的重要研究方向。

离真正的游戏还有多远?

看完这些演示,很容易产生一个想法:以后做游戏,是不是只需要写几句话?Genie 4 已经展示了生成可探索场景的能力,对游戏概念设计和交互原型制作确实很有价值。Google 也透露,部分受信任的游戏开发者正在尝试利用 Genie 4 快速生成原型,在正式编写游戏引擎代码之前,验证美术风格、材质和交互想法。

不过,如果要让 Genie 4 变成真正的游戏制作工具,还有几个技术问题。首先是时间。目前公开数据显示,Genie 4 的单次交互时长约为两分钟。对于需要长期运行的游戏,这个时间窗口仍然有限。

其次是世界的一致性。Google 在官方限制说明中承认,随着模拟持续运行、镜头移动或者提示词多次修改,场景中的物体外观和位置可能发生漂移。假设用户走进一间房子,看到桌上有一个杯子。离开房间再返回,那个杯子能否始终出现在原来的位置?类似问题直接决定了虚拟环境是否具有可靠的长期状态。

另一个难点是复杂物理交互。Genie 4 已经可以模拟西瓜碰撞、物体运动和人物动作,但这些视觉表现能否准确反映现实中的物理规律,还需要更严格的验证。音频准确性、空间精度和文字渲染,也是 Google 明确列出的待改进方向。

游戏开发还涉及规则、任务、道具、数值和复杂的状态管理。比如玩家捡起一把钥匙后,系统必须记住这把钥匙已经被拾取;玩家用钥匙打开门后,这扇门的状态也应该持续保存。这类需求需要稳定且可验证的逻辑系统。Genie 4 目前展示的重点,是根据实时输入持续生成具有视觉和交互反馈的环境。也正因如此,现阶段它更适合用于游戏原型、交互体验和视觉概念验证。

Google DeepMind 在研究中提到,未来可能探索将代码和语言模型的结构化推理能力,与世界模型的像素级模拟能力进一步结合。这条技术路线值得关注。当一个生成式世界能够拥有更稳定的规则、记忆和物理反馈时,它才可能真正支持更复杂的长期交互体验。

造世界,只是第一步

Genie 4 最容易引起讨论的,是它对游戏和影视行业的影响。创作者能够快速生成场景,调整角色和剧情,甚至走进虚拟环境尝试镜头。它把一部分原本需要大量制作工作才能验证的想法,变成了可以立即体验的模拟。

从 Google 的技术布局来看,世界模型还有更大的用途。语言模型可以理解任务、制定计划,而机器人和 AI Agent 需要进一步理解行动与环境之间的关系。当机器人拿起一个杯子,杯子会如何移动?当机械臂推动物体,周围的环境会发生什么变化?当一个 Agent 连续执行多个操作,前一步的结果会怎样影响下一步?这些问题,需要 AI 具备对物理世界和事件因果关系的理解。

Genie 4 与 Gemini 的协作,正在探索这样一种可能性:模型能够生成环境,AI 在其中执行任务,再根据模拟结果持续调整计划。而在创作领域,同样的技术可以帮助开发者和导演快速验证想法,降低早期探索的成本。

目前 Genie 4 仍处于研究预览阶段,仅向少量受信任的测试者开放。Google 表示,后续计划将其带给 Project Genie 中的 Google AI Ultra 订阅用户,以及 Gemini API 和 Google AI Studio 的早期访问合作伙伴。这也意味着,世界模型正在从研究演示逐渐走向开发者能够使用的工具。

真正值得期待的突破,是让生成出来的世界能够长时间稳定运行,让其中的角色与物体遵循可靠的规则,让 AI 可以在里面不断行动、试错和学习。Genie 4 已经让人类尝到了「全民造物主」的快乐。下一步,就看 AI 能否让自己创造的世界真正运转起来。

谷歌 Genie 4 发布,人类正式进入「全民造物主」大时代 配图 6
谷歌 Genie 4 发布,人类正式进入「全民造物主」大时代 配图 7

JOTO 企业落地观察

  • 世界模型对「智能体工程」意味着:企业需重新评估 Agent 的运行环境依赖——当基础环境本身由生成式模型动态构建,传统基于静态 API 或数据库的 Agent 编排范式将面临状态不可追溯、行为不可复现等挑战。
  • Genie 4 展示的实时音画同步能力,对企业部署 RAG 知识工程提出新要求:若虚拟世界需接入企业私有知识(如设备手册、工艺流程),则知识片段的时空锚定、多模态对齐与增量更新机制必须前置设计,而非仅做文本嵌入。
  • 两分钟交互窗口与场景漂移问题,直指「AI 安全治理」核心矛盾:企业无法对持续演化的生成环境实施传统意义上的输入过滤或输出审核,需转向基于运行时状态快照的轻量级合规校验框架。
  • Genie 4 与 Gemini 的协同架构表明,FDE 驻场共创模式需升级:工程师不再仅调试 prompt 或微调模型,而要深度参与「世界规则层」与「任务规划层」的联合定义,这对跨职能团队的建模语言统一性提出更高要求。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务,帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们
Contact Us

Start your enterprise AI rollout

Tell us your industry, team, and current pain points. We'll get back to you within one business day to help you decide what to tackle first, what data to prepare, and which platform fits.

WeChat
Scan to add us for a 1:1 chat
JOTO WeChat consultation QR code

Tell us what you need

Once we receive your details, we'll be in touch within one business day.