Frameboy:世界模型能沉浸式实时逛了

11 月 5 日,World Labs 放出了一个叫 Frameboy 的研究预览。打开网页,你划一下手指,镜头就往前走;画面不是提前渲好的视频,是云端 GPU 一帧一帧现算,然后推流到你的浏览器里。

官方给的数字是:最高 15 fps。

这个数字扔进游戏圈是不及格的。扔进世界模型这条线,是第一次有人把生成做成了可以一直按着方向键走。

15 帧是个什么概念

先别急着笑。你打游戏要 60 帧才不晕,看 24 帧的电影却觉得挺顺,因为电影是拍好的,但玩游戏你会随时会改主意。15 帧却只属于能动的幻灯片,不过前提是:这 15 帧里没有一帧是现成的,全是模型现场画出来的。

官方原话是streams frames from cloud GPUs to your browser at up to 15 fps as you control the camera。注意那个 up to,是上限,不是保底。实际能跑到多少,看你家网速、看场景复杂度、看那天云端排队的运气。

还有一个数字官方没给:延迟。你推一下摇杆,画面多久才跟上?这个体感指标比帧率更要命。官方博客里没有,我也没法替它编哇。

真正干活的是 Atlas

Frameboy 自己不是模型,它是个壳。里面跑的是 Atlas,World Labs 两个月前(9 月 1 日)发布的自回归世界模型。

官方对 Atlas 的描述是generates frames one at a time with pixel-perfect camera control——一帧一帧地生成,而且镜头控制精确到像素。这句话听着平淡,其实是整件事的前提:如果镜头不受控,你走两步画面就飘了,那就没法叫探索,只能叫看。

Frameboy 用的还不是原版 Atlas,是一个专门为推理速度调过的变体。官方说这个变体在尽可能快、尽可能省的前提下,仍然保住了新视角合成的质量。翻译成人话:把能砍的都砍了,画面别崩就行。

输入可以很轻。一张照片、一句文字描述,或者几段实景的多视角照片,都能作为起点。官方演示里既有凭空生成的房间,也有用多视角照片重建的地标。

上一代是插帧,这一代是从零编

这条线得往前捋一下,不然容易误会。

去年 10 月 World Labs 发过 RTFM,一个轻量的实时帧生成模型。RTFM 快、便宜,但它主要在已有的几个视角之间做插值——你给它几个机位,它在中间补画面。本质上是猜中间。

Atlas 不一样。官方说它比 RTFM 大得多,训练数据多出几个数量级,而且能从零生成场景,只给一张图或一句话就够。RTFM 是补帧,Atlas 是编世界。

这个区别决定了两件事。一是 Atlas 能做出的场景没有上限,你不需要先有一堆照片;二是它更容易跑偏,因为没人告诉它真实世界长这样。所以官方演示里那些看起来理所当然的画面,背后是模型在硬猜。

Viewfinder:先搭好,再说能不能逛

Frameboy 只能逛官方给的一批场景。想自己搭,得用 Viewfinder。

那是个网页应用,你一张一张地往里加画面,每加一帧,Atlas 生成颜色和深度,顺便帮你把三维关系理顺。搭完之后,触发 Frameboy 叠加层,就能以实时串流的方式在里面走了。

现在 Viewfinder 还在封闭测试,要排队。所以自己搭一个世界然后实时逛这条路,普通人暂时走不通。

官方自己好歹说了两句实话

第一句在文末:

Frameboy currently must run on a powerful GPU server in the cloud and is not cheap compared to local rendering methods.

现在必须跑在云端的强 GPU 服务器上,而且跟本地渲染比,不便宜。

这句话信息量很大。它等于承认:这条路线的成本结构跟 Web3D 完全相反。你本地打开一个 three.js 场景,显卡闲着也是闲着,边际成本接近零;Frameboy 每多看一秒,云端就多烧一秒的电和卡时。

第二句紧跟在后:

if history is any indication, what starts slow and expensive becomes fast and cheap as both hardware and software evolve

如果历史可以参照,今天看起来又慢又贵的东西,会随着硬件和软件一起变快变便宜。

这是标准的技术乐观叙事。但老实说,这话在过去二十年里应验的次数确实不少。

Frameboy 的能力与代价:15 fps 上限、云端 GPU 串流、以及官方承认的成本劣势

我们判断

它现在不是渲染管线的替代品,也差得远。Frameboy 吐出来的是像素,没有几何、没有坐标、没有可以绑数据的对象。数字孪生要的是点这个阀门,弹出它的实时压力,这条链路它给不了,连边都摸不到。

但它会改方案汇报这一段。你想想政企项目里最耗时的环节是什么——不是建模,是领导看完说这个角度再往左一点。以前改一版效果图要等半天,现在可能几分钟就能换个机位走一遍。这是效率工具,不是竞争对手。

判断它什么时候真能用,看三个指标就够了:能不能本地跑、延迟能不能压到一百毫秒以内、单小时成本能不能降到跟云游戏一个量级。三个里任何一个没解决,它就还停在研究预览。

最后提醒一句,这条最实用:别拿它的画面去证明这个效果我们能做到。生成式渲染最擅长的就是做出看起来很贵的效果,而交付要的是可交互、可查询、可维护。两件事之间的差距,客户迟早会发现。

顺带说个背景。World Labs 在 9 月 28 日已经宣布加入 AMD,官方博客的标题就叫World Labs is Joining AMD。所以 Frameboy 大概不是一家独立公司的新产品,而是一个已经进了大厂体系的研究团队的阶段性展示。这条线接下来会怎么走,就得看 AMD 那边想拿它做什么啦。


参考来源

  1. World Labs 官方博客《Frameboy: Atlas in Real-time》(2026-11-05):https://worldlabs.ai/blog/atlas-realtime
  2. Frameboy 在线 Demo:https://frameboy.worldlabs.ai
  3. Atlas 发布公告(2026-09-01):https://www.worldlabs.ai/blog/atlas
  4. 上一代 RTFM(2025-10-16):https://www.worldlabs.ai/blog/rtfm
  5. World Labs 加入 AMD(2026-09-28):https://www.worldlabs.ai/blog/amd-announcement