为什么「神经渲染」值得单开一篇，又最容易被写坏

每隔几个月，我的信息流里就会刷到同一种视频：有人扛着手机在一个房间里转了一圈，几分钟后屏幕上出现了一个可以自由穿行、光影还在流动的 3D 空间，弹幕齐刷刷地刷「云游戏的未来来了」。

我每次都认真看完，然后关掉，回去继续调我的码率阶梯表。

不是不兴奋。我兴奋。但兴奋和判断是两件事，尤其当一个技术同时被资本、被媒体、被一堆没写过一行渲染代码的博主同时盯上的时候，它离「你明天能用上」的距离，会被系统性地高估三到五年。这不是谁的错，这是注意力的物理规律——越是视觉冲击强的东西，越容易被当成已经发生的事。

所以得先把口径收窄，不然这篇会写成教科书。我的口径是：凡是把「画面怎么来」从「人手工写规则」改成「让网络从数据里学」的技术，都算神经渲染。按这个口径，你可能没意识到——它已经在你玩的游戏里跑了至少五年了，只是它藏在一个你天天点开的菜单里，名字叫「深度学习超级采样」。

这篇文章想干三件事。

第一，把神经渲染拆成三个完全不同、成熟度差了一整个世代的档位，说清哪一档已经发生、哪一档在路上、哪一档还活在论文和发布会幻灯片里。第二，算清它在云游戏这条链路上到底改变了什么账——是省带宽、省算力，还是只省了美术工时（答案会让你有点失望）。第三，给你一套识别过度宣传的土办法，不高级，但管用，下次再有人转发那种视频到群里，你可以照着念。

顺便说一句，这个系列前面聊过 AI 超分（第 07 篇），也聊过生成式 AI 和云游戏的融合（第 23 篇）。那两篇讲的是「AI 怎么帮现有管线减负」和「AI 怎么往游戏内容里塞东西」。这一篇讲的是更远的一件事：如果画面本身不再由三角形和贴图算出来，而是由网络「想」出来，云游戏这台机器的账本要怎么重算。

第一层：三个档位——增强、重建、替代，别把它们混成一件事

「神经渲染」这四个字最大的问题，是它把三件成熟度差着辈分的事捆在了一起。混着谈，你永远谈不清楚。我把它们分成三档，你可以拿这个当尺子去量任何一条新闻。

档位一：增强式——它已经在跑了，而且跑得比你想象中深

这一档的定位很明确：神经网络不改主渲染管线，只接管管线里最脏、最手工、最不讨好的那一段。超分、降噪、插帧，都属于这类。它们本质上是「后处理插件」，进来的时候管线已经算完了，它们负责把一帧粗糙的、带噪声的、分辨率不够的中间结果，加工成能看的画面。

你可能觉得这算不上「神经渲染」，太保守了。但请看这个案例。

《赛博朋克 2077》的 RT Overdrive 模式（2023 年 4 月上线，PC 独占），是神经渲染迄今规模最大的一次真实落地。它把整个光照系统切成了全路径追踪：每像素每帧只打极少量的光线（业界普遍认为是每像素一两条主光线的量级），画面必然是一片噪点，全靠降噪器撑住。问题在于，传统降噪器是美术和图形程序员手工写的时空滤波器，一堆参数靠人调，遇到「薄几何」就废——栏杆、铁丝网、雨丝、树叶，这些在前后帧里对不上位置的东西，滤波器一压就糊，一放就闪。

DLSS 3.5 的光线重建（Ray Reconstruction）换了个思路：拿一个网络，同时吃漫反射和镜面反射的噪声信号，再加上法线、深度、运动矢量、粗糙度这些辅助信息，直接吐出干净的辐射度。NVIDIA 公开说过，这个网络的参数量是超分网络的五倍。玩家能直接感知到什么？夜之城的霓虹招牌倒在水洼里，反射不再「沸腾」了；远处立交桥的铁丝网不再是一团抖动的马赛克；车灯扫过湿路面时，那道光的边缘是稳的。

但这里藏着神经渲染的第一个根本代价，我必须现在就点出来：当网络猜对的时候，画面比真渲染还干净；当它猜错的时候，它会给你一个根本不存在的反射。社区里到今天还有一批人坚持「Overdrive 不如老的 Psycho 模式清晰」，说的就是这个——网络在低采样区会「发明」细节，而发明的细节不保证是对的。这不是 bug，这是这类方法的物理属性。你让它猜，它就会猜错，只是错得好看。

顺带说云游戏的事：GeForce NOW 的 Ultimate 档能开 Overdrive，因为它服务器上是 4080 级别的卡；Xbox Cloud Gaming 开不了，因为它基于 Xbox Series X 的定制 AMD 硬件，没有对应的张量单元做这套推理。同一个游戏、差不多的订阅价，画面差着一个世代。这就是云游戏在神经渲染时代最要命的结构性劣势：用户没有硬件选择权。本地 PC 玩家三年换张卡就能吃到新档位，云用户只能等平台方整体换代——而平台方换代的动力，是成本模型，不是你的画质诉求。

档位二：重建式——3D 高斯泼溅，它改变的不是渲染，是「资产怎么来」

这一档是本文的重头戏，也是最容易被 demo 视频夸大的一档。

先说人话版原理。你拿手机绕着一个房间拍几百张照片，其实记录的是「每个方向上飞来多少光」。NeRF 和高斯泼溅干的事，就是从这些光里反推出这个空间的三维结构。NeRF 的做法是训练一个网络，你给它一个空间坐标加一个视线方向，它还你一个颜色和透明度——像一本查不完的账本。3D 高斯泼溅（3D Gaussian Splatting）更「硬件友好」：它把场景变成一堆半透明的、有方向性的「棉花球」，渲染的时候把这些球按远近排好队，一个个糊到屏幕上。没有三角形，没有 UV，没有贴图。GPU 最擅长的就是排序、投影、混合，所以它跑得飞快。

给几个我实际测过、也和社区数据对过的量级（不同场景差异极大，别当圣经）：一个 500 平米左右的室内场景，拍 200 到 400 张照片，单卡训练 15 到 40 分钟，产出 200MB 到 1GB 的高斯文件；桌面 4090 跑百万级高斯球能到 100 帧往上，移动端芯片跑到十万级就开始掉帧，百万级直接跪。

现在说玩家能感知到的价值——注意，不是「实时玩上神经场景」，而是内容生产速度。游戏里有大量一次性资产：过场动画里主角待三分钟就炸掉的房间、地图边缘看得见摸不着的远景楼群、剧情里只出现一次的地下室。这些东西用传统流程做，一个场景美术磨两周；用摄影测量加高斯泼溅，拍半天、训一晚，第二天就能用。

真实案例不是游戏，但比游戏更有说服力：Google 地图的沉浸式视图（Immersive View），用神经重建把城市街区做成可以自由飞行浏览的内容，2023 年起在部分城市上线。它不是游戏，但它证明了一件关键的事：「神经重建 + 云端流式播放」这条路在工业规模上是跑得通的。而「云端流式播放」这五个字，就是云游戏的字面意思。这就是我说的「技术契机」——不是云游戏需要神经渲染，是神经渲染天生就长在云上。

但也得把话说难听：目前还没有任何一款 3A 商业游戏把高斯泼溅作为主渲染路径。一个都没有。原因下面第三层会讲。

档位三：替代式——全神经渲染，这条路我劝你别急着下注

最激进的一档：整个画面由一个网络从场景表示里直接生成，没有光栅化，没有三角形，甚至没有传统意义上的「渲染」。听上去很未来，实际上有三道墙挡在前面。

第一道墙是确定性。同一个输入必须出同一个像素，这是游戏画面的底线。因为抗锯齿要用历史帧、录像要能回放、多人对战要保证两边看到的一样、Bug 复现要能复现。而神经网络的输出对精度、对驱动版本、对硬件都极度敏感，同一张卡换个驱动，画面就可能抖一下。

第二道墙是可编辑性。美术要改一个角色的脸，得能拉顶点、能换贴图、能调材质。你没法「改一个神经网络的权重」然后指望它只改了鼻子没改耳朵。游戏美术的核心工作方式是精确控制，而神经网络的天性是模糊泛化——这两件事在根上是打架的。

第三道墙是内存带宽。每个像素跑一次推理，4K 分辨率下就是八百多万次，这个带宽账在可预见的未来算不过来。所以这条路上目前成立的成果，基本都限定在「短片段、固定视角、低分辨率」这三个笼子里。

第二层：算清两笔账——神经渲染到底省了什么，又贵在哪

聊技术愿景最容易飘的地方，就是没人算账。我这人比较俗，我看任何渲染技术先问三句：省带宽吗？省算力吗？省人吗？

先看传统云游戏这台机器是怎么转的：服务器渲染出像素 → 编码器压成 H.264/AV1 → 网络传 → 客户端解码。1080p60 大概 10 到 20 Mbps，4K60 大概 35 到 50 Mbps。这条链上，带宽买的是像素，画质和码率是硬绑定的，这也是这个系列前面几篇一直在算的那笔账。

神经表示改变了什么？服务器存的不再是像素，是场景表示——几千万个高斯球，或者几百万个网络参数。这时候「内容体积」和「呈现质量」解耦了。传统贴图想要更近的细节，就得更大的贴图，体积线性涨；而高斯泼溅天然是连续的，你走近了它就从已有的球里插值出细节。LOD 这件事，在 3DGS 里从「准备几套模型」变成了「筛掉多少球」——这是它最诱人的地方，也是最容易被吹过头的地方。

把这张表读透，你会发现一个不太浪漫的结论：3DGS 对云游戏的真正价值不在传输，而在内容生产和服务器端渲染效率。如果你还是云端渲染完再编码成视频推给用户，那你和今天没区别，带宽一分没省。指望高斯泼溅帮你省码率的，可以洗洗睡了。

再说「省人」。这才是它现在真正的杀手锏。传统流程里，一个场景美术要建模、UV、烘焙、画贴图、调材质、打光、做 LOD 链，一套下来两周起步。而摄影测量加高斯泼溅，一套流程是「拍、训、裁」，一天能出东西。对于独立团队，这是实打实的产能革命——不是画面革命，是产能革命。这个区分很重要，因为产能革命是会悄悄发生的，没有发布会，没有 demo 视频，但两年后你回头一看，大家的场景量级完全不一样了。

最后，「算力」这笔账要反着算。神经渲染是加算力的，不是省算力的。你原本要光栅化，现在还要多跑一次推理。这在本地是负担（所以老卡开不了 DLSS 3 的帧生成），在云端反而是优势——因为云端最不缺的就是算力密度，最缺的是「用户设备够不够好」。这个不对称，是整篇文章的题眼。

第三层：为什么云端是神经渲染的天然宿主——以及那个被误解的延迟问题

我给四个理由，每个都配一句反方意见，免得写成软文。

理由一：显存和存储。高斯泼溅场景动辄几百 MB 到几 GB，手机上放不下，中端 PC 的硬盘也嫌它占地方。云端放得下，而且可以按需加载、按视角流式下发——这正好是云游戏已经练了十几年的基本功。反方意见：这等于把「下载游戏」变成了「永远在线」，用户失去所有权，这个话题在第 19 篇和第 21 篇都聊过，是云游戏的老伤，神经渲染治不了。

理由二：推理硬件。张量单元在服务器 GPU 上是标配，在用户的手机上属于奢侈品。这就是为什么同样的游戏，云端能开神经降噪、手机不能。反方意见：推理硬件在快速平民化，中端手机的 NPU 这几年涨得很凶。五年后这可能不成立——但那正好也是本文最后一层要谈的时间线问题。

理由三：预处理管线。神经重建要训练，训练要卡要时间。云端可以离线批处理（半夜把全公司的新场景跑一遍），用户只吃结果。这个优势本地做不到，尤其对没有工作站的独立团队。反方意见：训练工具链的门槛正在快速下降，开源方案一堆，两三年内这不再是壁垒。

理由四：版本一致性。神经渲染对硬件、驱动、精度极其敏感，同一份内容在不同配置上出来的画面可能不一样。云端你只需要测一套配置，这在工程上是巨大的解脱。这条反方意见最少，我几乎认为它是决定性的——云游戏最被低估的价值从来不是「不用买显卡」，而是「所有人看到的画面是一样的」。这在多人竞技、在赛事直播、在美术验收上，价值大得吓人。

现在说延迟。这里有个特别常见的误解，我必须掰开。

很多人一听「云端跑 AI」，脑子里立刻跳出「AI NPC 要往返云端，延迟 200 毫秒起步，根本没法玩」。这个担心对 AI NPC 是对的（第 23 篇详细算过），但对神经渲染完全错了。因为神经渲染的推理和渲染在同一帧内、同一块卡上完成，不跨网络往返。网络那头拿到的还是编码好的视频帧，和今天的云游戏一模一样。

所以神经渲染给云游戏增加的「延迟税」接近于零——前提是你别把推理拆到另一台机器上。这句话听起来是废话，但工程上真有人这么干：为了省主渲染 GPU 的算力，把超分挪到一台专门的推理机上，结果每帧多了一次网络跳转，端到端延迟直接涨十几毫秒，体验崩了。这类事故我在项目里见过，不稀奇。

这张表值得你截图存着。以后任何一个人跟你聊「AI 加进游戏会不会卡」，你拿这张表去看他把 AI 放在了哪一格。放对了，不卡；放错了，卡死。就这么简单，跟 AI 本身聪不聪明没关系。

第四层：诚实的距离感——三条时间线，和一条「永远不来」的路

这一层是我写这篇文章最想写的一层，因为市面上最缺的不是技术介绍，是诚实的距离感。我给一个分段判断，并且给每一段标上置信度，你可以拿这个来判断我说得对不对。

2025 到 2027，高置信：神经后处理成为标配。超分、降噪、插帧会像今天的抗锯齿一样，所有引擎默认开，没人再单独拿出来讲。云端 GPU 全部带张量单元，不开这些反而是浪费。生成侧，高斯泼溅会成为场景扫描和过场资产的常规工具，进入美术管线，但不进入主渲染路径。这一档没有悬念，已经在发生。

2027 到 2030，中置信：神经内容进入特定品类。动态高斯、神经体积视频会在「不需要精确控制」的品类先落地——赛车回放、体育转播、VR 看房、虚拟演出。游戏里则是远景和静态大世界：你坐飞机俯瞰的那片城市，可能是高斯泼溅；但你要走过去推开的门，一定是传统资产。这个「远看用神经、近看用网格」的混合结构，我认为是未来五年最现实的答案。它不性感，但它能出货。

2030 以后，低置信：混合管线成为主流。光栅化做主干保证可控性，神经层负责细节、光照、材质的「最后一公里」。这个判断听着像和稀泥，但它大概率是对的——因为工程史上几乎所有「A 取代 B」最后都变成了「A 吃掉 B 最脏的那一段」。

永远不来的一条：用神经网络替代整个渲染管线的 3A 游戏。我把这条单独拎出来，是因为它每年都会被重新提一次。理由不是算力不够——算力总会够的。理由是可控性。游戏是一个需要被精确设计的系统，美术要能说「这个红再红两度」「这个角色的嘴角再上扬三像素」，程序要能说「这个碰撞体在这里」。神经网络给不了这种精度。你可以让它在边上帮忙，但你不可能把方向盘交给它。

还有一个所有 demo 都绕不开的坑，我必须点名：动态物体。你在视频里看到的那些高斯泼溅场景，几乎全是空房间、空街道、空建筑。为什么？因为一个会走路的人在 4D 高斯表示下的数据量和算力，是静景的十几倍，而且还在论文阶段。而游戏里最重要的是什么？是会动的人。这一条就决定了 3DGS 短期内只能做背景，做不了主角。你下次看 demo 视频，第一件事就是找画面里有没有活人——这一招百试百灵。

参数化工具：如果你想现在动手，这几个旋钮你调得动

光讲愿景不落地的文章我不爱写。下面这张表是我自己踩过之后整理出来的，专门给想动手试试的独立团队。这些不是行业标准，只是起始值，你别照抄，拿去当调整的起点。

再加一张我自己在用的「过度宣传识别清单」。看到下面这些特征，先别激动，喝口水。

双路径：你是想「现在就用上」，还是想「判断要不要押注」

初级用户速览：三件事，今天就能做

第一，如果你的项目还在用老掉牙的抗锯齿和固定分辨率渲染，先去把超分接上。不是为了画质，是为了把省下来的 GPU 时间花在更有性价比的地方（阴影精度、材质复杂度、粒子密度）。这是神经渲染里唯一一个「投入产出比已经算清楚」的档位，也是你唯一不需要赌的档位。

第二，如果你的项目有大量一次性场景、远景、过场资产，去试一次高斯泼溅的扫描流程。别指望它进主渲染路径，就把它当摄影测量 2.0 用。拍一个你要做两周的房间，训一晚，看看能不能省下这几天。这一试下来，你会对「神经渲染」这四个字有全新的、更祛魅的认识。

第三，别被任何演示视频打断开发节奏。你手上那个手感还没调好的 Boss 战，比这个重要一百倍。

进阶深入：判断要不要押注，看三个指标

第一个指标，看动态物体的进展。所有的静景重建，本质上是「已经解决的老问题换了个算法」。真正决定这个技术能不能进游戏主循环的，是「一个会跑会打滚的角色能不能被实时重建」。这个指标没突破，一切都在外围。

第二个指标，看引擎的官方态度。注意区别「官方出了个插件」和「官方把它写进了渲染器默认路径」。前者是社区服务，后者是战略押注。这两件事的含金量差着十倍，别混为一谈。

第三个指标，看它跟编码器的关系。云游戏这条链上，最终付费的是编码器——你的画面再神经，最后还是要变成 H.264 或者 AV1 的比特流。如果一个新的渲染方法让编码器的压缩效率下降了 20%（噪声多、时间不稳定、高频细节多，都会导致这个结果），那它在云游戏里就是负收益。这个视角，只有做云的人才会有；纯做渲染的人经常忘了自己还有下一站。

争议：三个我不同意、但很有市场的说法

FAQ

Q1：神经渲染会不会把云游戏的延迟搞坏？

不会——只要推理和渲染在同一帧、同一块卡上完成。它增加的是渲染耗时（几毫秒的量级），不是网络往返。真正会搞坏延迟的，是把推理拆到另一台机器上，或者无节制地加后处理预算把编码器挤到排队。判断标准就一条：这个 AI 有没有跨网络跳一次。跳了，就危险；没跳，就还好。

Q2：3D 高斯泼溅能做会动的角色吗？

目前不行，而且短期内我不看好。动态高斯在论文里能跑，但数据量和算力是静景的十几倍，而且一旦角色要做动作混合、要穿装备、要被物理击中变形，高斯这套表示方式就要疯。游戏角色需要的是骨骼、是蒙皮、是可参数化的形变——这套东西和「一堆半透明棉花球」天生八字不合。角色这块，传统管线还能稳坐至少十年。

Q3：我现在去学神经渲染，对找工作有用吗？

分情况。如果你要做的是图形程序，那「会接超分、会调降噪、懂推理耗时预算」现在就是刚需，这类人很缺。如果你要做的是技术美术，那「会用摄影测量和神经重建快速产出场景资产」是立刻能换钱的技能。但如果你是指「研究新的神经表示方法」，那基本是科研岗，跟游戏工业的招聘口径差得比较远。别为了一个热词改行，先看看招聘 JD 里到底写没写。

Q4：云游戏平台为什么不干脆全量升级到最新的 GPU？

因为账算不过来。服务器 GPU 的折旧周期通常是三到五年，而神经硬件两年一代。平台方要在这两个节奏之间找平衡点——升级太快，旧卡的钱没赚回来；升级太慢，画质被本地 PC 越拉越开。所以你看到的现象会是：新卡优先给高价档，中低档慢慢等。这不是技术问题，是财务报表决定的。理解这一点，你就不会对「为什么我付了钱还是开不了最高画质」感到愤怒了——虽然你还是应该愤怒，但至少知道该冲谁愤怒。

Q5：独立开发者现在最值得做的一个实验是什么？

我给你一个具体的：挑你项目里最贵的一个静态场景（做起来最费时的那个），用手机绕着拍一遍，跑一次高斯泼溅重建，然后把它放进引擎当远景或者过场背景用。整个流程一周之内能干完，成本基本为零。干完之后你会获得两样东西：一个可能真的能用的资产，和一个对这项技术祛魅之后的真实判断力。后者比前者值钱得多——因为接下来五年，你会被无数个 demo 视频轰炸，你需要自己的尺子。

最后留个问题给你：如果未来某一天，游戏画面里有一半的像素是网络「猜」出来的，而它猜得比真算的还好看——你会觉得这是进步，还是觉得有什么东西悄悄丢了？我到现在也没想明白，但我觉得这个问题值得每个做画面的人想一想。