Unity LipSync 技术专题全层级8 / 21 已发布

Blend Shape 驱动 LipSync 的完整技术路径——建模、绑定、权重到 Unity 运行时

· 0 分钟阅读
Blend Shape 驱动 LipSync 的完整技术路径——建模、绑定、权重到 Unity 运行时 — Unity LipSync 技术专题

Blend Shape 驱动 LipSync 的完整技术路径——建模、绑定、权重到 Unity 运行时

上一篇我们把 Viseme 那套符号系统拆了一通——嘴到底要摆哪几种形状、中文普通话为什么在标准体系里像个孤儿、最小可辨识集合能砍到几个。但那篇停在「应该有哪些嘴型」这一层。真到了项目里,问题会立刻变成另外四个:这些嘴型谁来做?做在什么模型上?怎么从 Blender 挪进 Unity?挪进去之后每帧写多少、远处的角色还写不写?

Blend Shape 就是目前中小团队做口型最主流的那条路。它有一堆别名:Blender 叫 Shape Key,Maya 叫 Blend Shape,3ds Max 和引擎里叫 Morph Target,说的全是同一件事——在同一个网格上,预先存好每个顶点「偏移到哪里」,运行时按权重把这些偏移混起来。

这套东西的好处非常朴素:它便宜、直观、不占骨骼名额、在手机上跑得动。它的坏处也很朴素:脏活全在你看不见的地方。模型里多一个字节、FBX 导出时少勾一个格子、美术改了个名字、程序换了个 Prefab 变体——屏幕上的表现全都一样:嘴在动,但看着不对劲,而且你说不出来哪儿不对劲。

我带项目的时候有一套固定的验收顺序,从 DCC 一路卡到运行时,一共四层。这篇就按这四层写,每层给机制、给踩坑点、给能直接抄走的参数。先上表,让你知道这不是概念文,是验收手册——你可以拿它去对着自己项目的模型一个一个打勾。

层级核心检查项最常见错误验收标准返工代价
第一层 建模与 Bind Pose中性位是否可加减、拓扑是否锁死、口腔是否有内衬、命名是否合规把 Basis 当成表情位、左右完全镜像、形态键互相打架每个形态键单独拉到满值不破面;任意两个叠加不穿模极高:拓扑一动,全部形态键作废,美术重做
第二层 绑定与导出命名唯一且无空格、法线切线策略、缩放与轴向、导入后索引稳定改了顶点顺序、Blend Shape Normals 选错、重名被吞Unity 里形态键数量与 DCC 完全一致;逐个拉满光照不闪中高:需重新导出并重新绑 Prefab 引用
第三层 权重与平滑索引缓存、写入频率、attack/release 非对称、超和压缩每帧全量写、直接喂原始分析数据、多通道相加溢出一倍静音时嘴不动;快速说话不抽搐;笑+说话不穿模中:调参可救,但要重做一轮手感
第四层 LOD 与运行时各级 LOD 形态键同名保留、更新频率分档、切换接力过渡索引跨 LOD 失效、切换瞬间嘴瞬移、远景还在满帧算从近到远推镜头,看不出切换点;帧率不掉低到中:多为配置问题,改表即可

这张表你存下来。下面我们一层一层往下走。

它的本质是一张位移表

先把机制说透,后面的坑才讲得清。一个带形态键的模型,在内存里其实是两份数据:一份是基础网格(base mesh),一份是每个形态键对应的一堆顶点位移量。运行时你给某个形态键写 0.6,引擎干的事就是把那份位移乘 0.6,加到基础网格的每个顶点上,再拿去做蒙皮和渲染。

这里有三个硬约束,是后面所有麻烦的根:

一,所有形态键必须共享同一套顶点。顶点数、顶点顺序、拓扑连接关系,一个都不能变。这不是 Unity 的脾气,是所有引擎的脾气——位移表是按顶点下标存的,第 3721 号顶点的偏移量只对第 3721 号顶点有效。

二,形态键之间的关系是线性的。把它理解成一堆积木:你可以让「张嘴」加 0.7、「微笑」加 0.5,引擎老老实实把两份位移各乘 0.7 和 0.5 加一起。它不知道「张嘴加微笑」在解剖学上意味着什么,更不知道嘴角该不该往上提。所以真实的脸需要额外做「修正形态键」,这个后面细说。

三,中位(Bind Pose)决定了你往上加和下减的余量。这一条是新人最容易翻车的。

中位不是「面无表情」,是「能加减的中间态」

我见过太多模型是这样做的:美术把角色做成一张标准的死鱼脸——嘴唇严丝合缝地闭着、嘴角完全平、下颌咬得很紧——然后管这个叫 Basis,所有表情都从这个位置往外推。

结果呢?所有形态键都只能往「张」的方向加,因为往下减会穿模。张嘴要拉到 80 以上才看得出在说话,再往上拉嘴角开始撕裂;想做一个「抿嘴」的情绪,只能靠反向调负值,脸当场炸掉。

行业里成熟的做法是:中位要选一个所有表情的平均位置,而不是表情的边界。具体说,嘴唇留一丝自然分离、下颌松一点、嘴角微微抬起两三度、眼睑正常睁开。这样「笑」是往上推、「怒」是往下拉,两边都有余量。

这个道理跟做动画的「关键姿势要留中位」是一回事,只是搬到形态键上很多人就忘了。我给你一个判定方法:随便挑三个你打算做的极端表情,如果它们都能从中位正向推到满值而不破面,中位选对了;如果你需要反向调负值才能做出其中任何一个,回去改中位。

口腔内部:不做这个,张嘴就是一个黑洞

这是成本极低、收益极高的一项。很多独立项目的角色张嘴说话时,嘴巴里是纯黑的——因为压根没建内口腔。玩家的潜意识会立刻接收到「这是个假人」的信号,虽然他说不出为什么。

最低成本的解法:内唇做一到两圈过渡顶点,口腔里塞一块深色内衬(不用做舌头,或者做一个假的、只在张嘴超过 60% 时略微露出的静态舌头)。这套东西加起来可能就几百个顶点,但它能把「黑窟窿」变成「有纵深的口腔」,观感差一个档。

有条件的话再加两条:上齿和下齿各一排简化牙,以及一个能跟着下颌形态键一起动的舌头。牙齿不需要做全,正面一排就够,反正玩家只能看见正面。

对称性是口型的第一杀手

Blender 的 X 轴镜像、Maya 的镜像权重,用起来太顺手了,顺手到很多人整套口型都是左右完全对称的。然后你会发现这个角色说话像提线木偶——因为现实中人说话,左右嘴角的幅度天然有 5% 到 15% 的差异,一侧先动、一侧稍迟。

我的做法很土但有效:形态键镜像做完之后,手工挑几个高频通道(微笑、嘴角下拉、撇嘴),把左右各加一点点不对称扰动——比如左边推到 0.95、右边推到 1.05,或者把一侧的位移方向偏两三度。工作量半小时,观感差别肉眼可见。

顺便说个反过来的坑:如果你的角色只有半张脸是正常建模、另一半靠镜像,那形态键也必须镜像,否则一做表情就穿帮。这种「半脸建模」在独立项目里挺常见,省时间,但要提前想清楚哪些通道允许不对称。

命名规范:这不是审美问题,是工程问题

我说句实话,命名规范是这一类文章里最像「老生常谈」的部分,但也是我见过最多项目栽跟头的地方。原因很简单:程序要靠名字找通道。名字一乱,就得靠人工对表,人工对表迟早出错,出错的时候往往是上线前一周。

硬性要求,不多,就五条:

全小写或者驼峰二选一,别混用;只用字母数字和下划线;不要有空格(空格在不同系统上转义行为不一致);不要用中文(不是不能,是踩过太多次编码坑);左右用统一后缀(_l / _r 或者前缀 l_,全项目统一)。

还有个更隐蔽的:不要让两个通道只靠大小写区分。有些系统在比较名字时会忽略大小写,或者在某些文件系统上导出的资源会把 mouth_open 和 Mouth_Open 当成同一个。我遇到过一次,两个通道合并成一个,美术在 DCC 里明明有两个,Unity 里只有一个,查了一下午。

再加一层「控制器」,别把形态键直接暴露给程序

这是我从 Valve 那套面部系统里学到的最值钱的一招。

《半条命:爱莉克斯》用的 Source 2 引擎有一套公开文档化的面部系统。它的结构很有意思:分成两层,上面一层叫「控制器」(controller),下面一层才是真正的形态键。控制器数量很少,二十来个,每个控制器按一套预设规则去驱动下面若干个形态键。程序只需要写控制器,完全不用管底下到底挂了几个形态键、叫什么名字。

这个设计的好处在工程上非常明显:美术可以随时在底下加形态键、改形态键,只要控制器的接口不变,程序一行都不用改;反过来,程序想做 LOD 的时候,只需要保证远距离模型上那二十来个控制器还在,底下的形态键可以随便砍——因为规则是数据,不是代码。

这套思路对独立团队同样成立,只是规模小一点。我一般会这么分层:底层是原始形态键(可能五六十个),中间一层是「语义控制器」(大概十几个:张嘴、圆唇、扁唇、微笑、皱眉、眨眼、左右嘴角),程序只跟语义层打交道。这一层薄薄的抽象,能省掉后期无数次「美术又改名字了」的沟通。

至于 Viseme 到语义控制器的具体映射表,第 02 篇已经拆得很细了,包括中文普通话那几个标准体系里没有的音该怎么兜底,这里不重复。

形态键在文件里长什么样

在 DCC 里,形态键是「一组顶点偏移」;一旦导出成 FBX,它变成了另一副样子——每个形态键对应一条动画通道,通道上挂着一个关键帧,值是某个百分比。引擎导入的时候,先把这些通道一条条读出来、按名字排好、再反算出每个形态键的顶点位移。

理解这个转换很关键,因为它解释了后面所有的坑:凡是「名字」和「顶点顺序」出问题的地方,都是在这个转换过程里丢的信息。

顶点顺序:一旦动了,全盘皆输

这一条我要单独拎出来说,因为它是形态键最致命的失败模式。

假设模型做完形态键了,美术觉得嘴唇那一圈不够圆,加了一圈边、或者删了两个顶点、或者重新做了一次三角化。在 DCC 里看,一切正常——形态键还在,拉一下还能动。导出到 Unity,你会发现嘴巴做动作的时候,模型直接炸开,顶点像被扔进搅拌机一样乱飞。

原因就是前面说的:位移表按顶点下标存。你在中间插了两个顶点,第 3721 号顶点就换人了,它拿到的偏移量是给别人的,于是飞到不知道哪里去。

所以项目里必须定一条规矩:形态键做完之后,主网格的拓扑锁死。要改形状可以移动顶点、可以改 UV,但不能增删顶点、不能重新拓扑。真要重新拓扑,那就要接受「全部形态键重做」这个事实,别指望有什么自动工具能救——能救的工具也存在,但它对齐的结果通常需要人工一张张检查,不比重做快。

排查顺序很简单:出现「顶点乱飞」,先看最近有没有人动过网格拓扑,然后再看导出设置。九成的概率是前者。

法线和切线:那个让脸一半亮一半暗的开关

Unity 的模型导入设置里有一个「Blend Shape Normals」选项,三个值:不导入、导入(用 DCC 算好的)、计算(让 Unity 重算)。这个选项藏在二级面板里,很多人一辈子没点开过,但它对口型的观感影响巨大。

为什么重要?因为顶点位移一变,法线也应该跟着变。你把嘴张开,下颌那块皮肤的法线方向是变的,光照必须跟着变,否则看起来就像一张贴在脸上的贴图在滑动。

选「不导入」的后果:形态键做动作时法线不更新,脸会呈现出一种诡异的「平面感」,尤其在侧光和轮廓光下特别明显。选「计算」的后果:Unity 会重算法线,通常没问题,但如果你的模型有自定义的平滑组或者硬边,重算可能会把硬边磨平,表现是某些角度出现奇怪的明暗接缝。选「导入」:最忠实,但要求 DCC 里导出的数据本身是对的,而且文件会变大——因为每个形态键都要多存一份法线和切线数据。

我的建议是分档:独立项目直接用「计算」,省事,绝大多数情况够;如果有特写镜头、有皮肤的次表面散射、有高质量的角色渲染,用「导入」,并且要求美术在 DCC 里把法线烘焙正确。这条和第 12 篇要聊的渲染管线适配是连着的——你在 Built-in 里调好的法线表现,换到 URP 或 HDRP 之后未必还是那个样子,尤其是自定义着色器里对法线的处理。

导入之后,先干这件笨事

验收动作特别笨,但能省掉后面几天的痛苦:在 Unity 里把每个形态键单独拉到 100,看一眼。

看什么?看三样。第一,顶点有没有乱飞(顶点顺序问题)。第二,光照有没有闪烁或者明暗接缝(法线问题)。第三,形状对不对——有的项目会出现左右颠倒,因为 DCC 里是右手坐标系、Unity 是左手,某些导出选项下会把左右镜像过去。

形态键超过三十个的时候,手工一个个拉会很烦。这时候值得花半天写个编辑器小工具,把所有形态键批量截图存成一张对照表。这半天会赚回来,因为后面每改一次模型你都要重跑一次这个检查。

导入设置清单

设置项建议值为什么
Import BlendShapes开启关掉就等于白做
Blend Shape Normals独立项目用「计算」,有特写用「导入」决定做表情时光照是否跟着变
Blend Shape Warning Limit按项目上限设,比如 80超过就报警,防止有人偷偷加通道
Optimize Mesh出问题时先关掉排查顶点重排理论上会同步形态键,但历史上出过问题
Scale Factor / 轴向与项目其他资源统一,别单独调混用缩放会让位移量纲出错
Read/Write需要运行时改网格时才开开了会多一份内存拷贝,移动端注意

案例:Hellblade 是怎么在二十来号人里做出那张脸的

Ninja Theory 做《地狱之刃:塞娜的献祭》的时候,核心团队规模常被引用为二十人上下。这个体量做出那样的面部表现,值得独立团队认真研究。

他们的策略我理解下来是一句话:把预算全压在脸和声音上,其他全砍。场景规模小、敌人种类少、解谜机制克制,省下来的资源全部投到主角的面部捕捉和配音上。Melina Juergens 的表演是真实拍摄的,然后转成绑定数据。

关键在于他们的绑定并没有追求「几百个形态键全覆盖」。更接近的做法是:一套数量可控的面部形态键,加上面捕数据驱动,再加大量的手工修。这是小团队唯一可行的路径——因为全自动管线在预算不足的时候,它的问题不在于不够快,而在于它出错的地方你没法快速定位和修。手工修虽然慢,但改完立刻能看见,这个反馈闭环在小团队里价值极高。

这里给独立团队一个很实际的换算:如果你的项目有 3000 句台词、每句平均 3 秒,纯手工 K 帧做口型,按熟练动画师一天做 30 秒算,光口型就是 100 个工作日。这个数字摆出来,你立刻就知道必须上程序化方案——但程序化方案的前期建库成本(把几十个形态键做对、把映射表调好)是不能省的,省了后期更贵。这个投入产出比,第 17 篇会专门算账。

运行时到底在做什么

到了这一步,Unity 那边要做的事其实极其简单:每一帧,给每个形态键写一个 0 到 100 之间的数。

Unity 的接口有两类:一类是按名字查索引,一类是按索引直接写值。这里有个几乎所有人都踩过的坑——按名字查索引是字符串比较。你在一帧里对十个角色各查六十次名字,那就是六百次字符串比较,听起来不多,但它会随着角色数量和形态键数量相乘,而且完全没必要。正确做法是初始化时把所有索引查出来缓存到数组里,运行时只按下标写。

还有一个隐蔽的地方:写同样的值不等于没有开销。现代引擎一般会做变化检测,但检测本身也要遍历。我实测过一个场景:十个角色、每人六十个通道、每帧无脑全量写,和「只写变化超过 1.0 的通道」相比,前者在移动端能吃掉好几毫秒。这个优化改动量极小,但需要你在写之前先存一份上一帧的值做对比。

为什么必须平滑:原始数据是「抽搐」的

无论你的口型数据来自实时音频分析还是预录的音素时间戳,它本质上都是一段离散的、有噪声的信号。直接把它喂给形态键,你会得到一个非常有辨识度的现象:嘴在抖。不是动,是抖——幅度很小、频率很高,像触电。

原因有两层。一层是分析本身有噪声,尤其实时频谱分析,一帧一个结果,帧与帧之间差异可能很大;另一层是语言本身的特性,同一个音在发音过程中嘴形是连续变化的,但离散采样的音素序列是跳变的,中间没有过渡。

所以第三层的核心工作就是:把跳变磨成曲线。

工业上最常用的是指数平滑,说白了就是「新值 = 旧值 + (目标值 − 旧值)× 一个系数」。系数越大跟得越紧、越小越平滑。把这个系数换算成时间常数,你就可以跟美术用「几秒」来沟通,而不是「零点几的系数」,这一点很重要——因为系数和帧率有关,换个帧率就全变了,时间常数不会。

张嘴要快,闭嘴要慢

这是很多人不知道的细节。人类的嘴在张开时是主动肌群发力,速度快;闭合时是被动的,慢一些。如果你对张和合用同一个平滑时间,嘴看起来会很「黏」,像在嚼口香糖。

所以平滑要分两个方向,行话叫 attack 和 release。我一般给的建议区间是这样:

参数建议区间太短的后果太长的后果
张嘴(attack)时间常数0.04 – 0.08 秒嘴形发硬、像在打电报发音起点对不上,口型「慢半拍」
闭嘴(release)时间常数0.10 – 0.18 秒嘴合得太快,像在抽气一直半张着嘴,显得呆
整体平滑(统一型)0.08 – 0.15 秒低于 0.06 开始明显发抖高于 0.2 口型糊成一团
静音归零时间0.15 – 0.25 秒说完话嘴立刻闭死,很假安静时嘴还在动,出戏

0.08 到 0.15 这个区间是这么来的:人说话的音节频率大概在每秒 4 到 6 个,一个音节的持续时长在 0.15 到 0.25 秒之间。平滑时间如果超过单音节长度的一半,相邻两个音就会糊在一起;如果短于一个音视频帧的时长(六十帧下约 0.017 秒),平滑就等于没做。所以窗口其实很窄。

另外提醒一句:如果你用的是第 05 篇里聊的 uLipSync 那类实时分析方案,它吐出来的权重是「原始映射结果」,抖动会更明显,因为它是逐帧从频谱直接映射的,没有音素级别的上下文。这类数据必须过平滑,而且要把平滑放在映射之后、写入之前,别反过来。

归一化:多通道相加会溢出

这是最容易被忽略、也最容易造成穿模的地方。

假设你的实现是八个 Viseme 通道各自算一个权重,独立写进形态键。单个通道看起来都对,但当「张嘴」和「微笑」同时被推到 80 的时候,顶点位移叠加起来,幅度已经超出这两个形态键单独设计时的范围。表现是:笑的时候说话,嘴角穿到脸颊里,或者下巴拉出一块尖锐的凸起。

有三种处理方式,各有代价:

策略做法收益代价
硬截断总和超过 100 就按比例压缩简单,永不过冲高强度说话时整体幅度偏小,嘴看起来张不开
软阈值压缩超过 1.15 倍才压缩,0.85 到 1.15 之间线性过渡正常语速下保留全部动态,极端时才收需要一个额外的过渡区间参数,调起来稍麻烦
不处理,靠修正形态键兜允许溢出,用修正形态键修正叠加后的破面表现最好成本最高,每个组合都要做一个修正键

我自己的选择是中间那条路,软阈值压缩。理由是:硬截断的问题在于它总在压缩,而实际上真正需要压缩的场合不到百分之十。软阈值让大部分时间保持原样,只在极端叠加时才动手,主观上「活」很多。

至于第三条路,大型项目确实会这么做——这就是「修正形态键」的由来。原理是:先预判哪些组合容易出现解剖学上错误(典型的如「张嘴+微笑」时鼻唇沟的体积塌陷、「圆唇+皱眉」时嘴唇的挤压),针对每个组合单独做一个形态键,由程序按组合权重驱动。这条路的代价是形态键数量翻倍甚至翻三倍,一般独立项目扛不住,但你至少要知道它存在,以及为什么大厂的脸看起来「厚实」——那不是数量多,那是有人在修。

案例:《最后生还者 第二部》的脸为什么扛得住特写

顽皮狗在公开分享里聊过他们的面部动画管线。我不打算复述那些我不能百分之百确认的数字,但有几个结构性的东西值得说,而且对判断「投入产出比」有帮助。

第一是层级分离。他们把面部大致分成上面部(眉毛、眼睑)和下面部(下颌、嘴唇),两套数据分开驱动。为什么要分开?因为口型同步只解决下面部,情绪和眼神在上面部。很多独立项目把这两件事混在一个形态键集合里,结果是「说话的时候眼睛是死的」,观众立刻出戏。

第二是二次运动。真实的脸不是刚体,说话的时候脸颊会跟着抖,下颌的开合会带起一点皮肤的拖拽感。他们在共享里提到做了这类附加运动。这在游戏里极其加分——因为观众对「脸是不是活的」的判断,很多时候不来自于形状对不对,而来自于「它有没有惯性」。

第三是距离分级。远景角色和特写角色用的不是同一套东西。这一条直接引出我们的第四层。

我想强调的是:上面这三条里,只有第一条是必须的。二次运动是锦上添花,距离分级是性能问题。独立团队如果把资源有限,就把第一条做扎实——分离上下脸,让眼神和眉毛不被口型数据污染,这一条做到位,你的角色在对话镜头里的可信度就会有质变。

核心矛盾:脸是注意力磁铁,但远景的脸只有几个像素

这是游戏里一个独特的资源分配问题。玩家在对话场景里几乎百分之百在看对方的脸,所以脸值得用最高的预算。但当这个角色退到三十米外,他在屏幕上只有四十个像素高,你还在给他写六十个形态键、每帧算一遍,那就是纯浪费。

Unity 的 LOD 系统(LODGroup 加多级网格)本来就是为了解决这个问题的。但形态键和 LOD 放在一起的时候,会出现一个专门的陷阱,这个陷阱我踩过,值得细讲。

陷阱:换网格的时候,索引换了,名字没换

LOD 切换的本质是「把渲染器上的网格换成另一个网格」。问题在于:LOD0 的网格可能有六十个形态键,LOD1 的网格可能只有十二个。你之前缓存的那些索引——「张嘴是第 7 号、微笑是第 15 号」——在新的网格上全都不对了。轻则表情错位(该张嘴的地方在眨眼),重则索引越界报错。

解决办法有两条,我一般两条一起用:

一是各级 LOD 之间,保留的形态键必须同名。这不是可选项。你在 LOD1 里可以砍掉「嘴角微颤」这种细节通道,但保留下来的「张嘴」「圆唇」必须叫什么名字,LOD0 里就得叫什么名字。靠改名来区分 LOD 是个坏主意,会让程序没法做统一映射。

二是索引缓存要按网格存,不能全局存一份。切换 LOD 的时候换一张索引表。这个改动很小,但如果你没想到,就会出现「近距离一切正常、一走远嘴就开始乱动」这种很难查的现象。

合并策略:把相近的嘴形焊在一起

远景不需要区分 i 和 e,甚至不需要区分所有前舌位。这是 LOD 分级最有用的一招:在低级别里做形态键合并。

LOD 级别形态键数量合并策略更新频率适用距离
LOD050 – 80(全量)不合并,保留全部 Viseme 与情绪通道每帧(60Hz)对话主镜头、特写
LOD110 – 16前舌位合并成一个、圆唇合并成一个、闭嘴单独保留;情绪只留笑与怒每两帧(30Hz)中距离、场景内其他角色
LOD23 – 5只留张嘴、圆唇、闭嘴三个,加一个呼吸扰动每四帧(15Hz)远距离
LOD30 – 2关闭口型,只留极低频的随机小动作每秒 5 次远景、背景人群

更新频率那一列是有讲究的。为什么 LOD2 定在 15Hz 而不是更低?因为人对嘴部运动的频率敏感度有个下限,低于每秒 10 次左右,颚部的开合会出现明显的「阶梯感」——你能看出它是分几步跳的,而不是连续动的。所以 10Hz 是一条不该越过的线。LOD3 之所以敢降到 5Hz,是因为那时候嘴已经小到看不出运动细节,只需要一个「在动」的暗示。

顺便说,LOD3 那个「随机小动作」很值得做。哪怕只是让嘴巴每秒随机开合一点点,远处的角色也会显得活着;完全静止的远景 NPC 站在那里,反而更显眼。

切换的瞬间:别让嘴瞬移

这是最容易被忽略的一步。LOD 切换的那一帧,渲染器从高模换到低模,形态键从六十个变成十二个。如果那一刻两套权重的状态不同——比如高模那边「微笑」是 40,低模那边合并后的「笑」是 25——观众会看到嘴巴形状「啪」地跳一下。

处理办法是给切换加一段接力过渡,大概 0.15 到 0.25 秒,把旧权重的效果逐渐衰减、新权重的效果逐渐增强。因为低于 0.1 秒的过渡人眼会当成瞬移,高于 0.3 秒又会在中距离出现「表情拖尾」的怪现象。

这一段过渡还有个更省事的替代方案:让各级 LOD 的合并规则保持数值等价。比如 LOD1 的「前舌位」权重,直接等于 LOD0 里 i 和 e 的加权平均。这样切换时数值天然接近,跳变会小到看不出来。这个规则最好在建 LOD 的时候就定下来,写进美术的规范文档里。

移动端的并发预算

口型在移动端的成本,主要是「多少个角色 × 多少个通道 × 多少帧」这三个数相乘。给一张我自己项目里用的表,你可以按自己的机型往下砍:

场景类型同屏可见角色其中高精度每帧总写入次数预算备注
对话框场景(1v1)21100 – 150可以全量,重点是平滑质量
小镇/营地(中低端机)8 – 121400 – 600非焦点角色一律降到 LOD1
人群场景(高端机)20+2800 – 1200超过部分只保留「在动」的暗示

那个「其中高精度」的列是关键。我的经验是:无论场景里有多少人,同屏高精度口型不要超过两个。因为玩家同一时刻只能专注一个说话对象,第二个高精度角色已经属于浪费。这条规则能让你在移动端省出大量的预算,而观众完全感觉不到损失。

这套预算怎么跟整体性能目标对齐、Profiler 里该看哪几个指标、多人并发时怎么用分批更新把峰值削平,第 10 篇讲得很细,建议一起看。本篇只强调一件事:口型的性能问题几乎永远不是「单个角色太贵」,而是「你没做分级」。

前面四层讲的是原理和坑,这一节把能落地的参数集中成表。这些数不是标准答案,是我在几个项目里试出来、然后觉得「改一改能直接用」的区间。你可以把表贴进项目文档,让美术和程序对着同一组数字说话。

表一:形态键命名规范(硬性)

规则示例(推荐)反例后果
全小写下划线分隔mouth_openMouthOpen / 张嘴大小写敏感平台出错、中文编码出错
左右用统一后缀mouth_corner_up_l / _rL_mouth / mouth_left程序无法批量识别左右
语义在前类型在后jaw_open、brow_downopen_jaw排序混乱,工具难做分组
不用空格与特殊字符lip_puckerlip pucker、lip-pucker导出时被截断或转义
长度不超 32 字符eye_wide_lcharacter_A_mouth_corner_up_l部分引擎/工具链会截断,导致重名
全局唯一—两个都叫 mouth_open导入后合并,数量对不上

表二:权重范围与平滑参数

参数建议值可调范围调过头会怎样
单通道权重上限100不调超过 100 引擎一般会截断,但别依赖
多通道总和软阈值115100 – 140太低嘴张不开,太高会穿模
张嘴时间常数0.06 秒0.04 – 0.08低于 0.04 打电报
闭嘴时间常数0.12 秒0.10 – 0.18高于 0.18 一直半张嘴
静音归零时间0.20 秒0.15 – 0.25太短说完话立刻闭嘴,很假
写入阈值变化超过 1.0 才写0.5 – 2.0太小没优化效果,太大会掉帧式跳变
眨眼间隔2 – 6 秒随机不要固定固定间隔会被玩家看出规律

表三:LOD 分级与形态键合并

层级形态键数保留内容更新频率切换过渡
LOD050 – 80全部 Viseme + 情绪 + 修正60Hz—
LOD110 – 16合并后 Viseme + 笑/怒30Hz0.15 – 0.25 秒接力
LOD23 – 5张嘴/圆唇/闭嘴 + 呼吸15Hz同上
LOD30 – 2低频随机小动作5Hz同上

表四:形态键内存开销速算

这个表我要单独说,因为很多人对「形态键爆炸」的代价没有直观感受。Unity 里每个形态键要为每个顶点存三组数据:位置的偏移、法线的偏移、切线的偏移。粗略按每个顶点每组 12 字节算,一个形态键每个顶点就是 36 字节左右。

形态键数顶点数粗略内存占用说明
206000约 4 MB独立项目常见量级,健康
606000约 13 MB中型项目,可接受
1508000约 43 MB已经接近某些手游的整包预算
150 × 5 个角色8000约 215 MB这个数字会让移动端项目直接死掉

看到最后一行你就明白了:形态键不是「多做几个反正不花钱」,它是按角色、按顶点乘上去的。独立项目里我一般建议单个角色的形态键上限卡在 60 到 80,超了先问一句「这个通道真的会被玩家看见吗」。

初级用户速览:三条能立刻用的规则

如果你现在就要动手,先记住这三条,其余细节可以边做边查。

规则一:先锁拓扑,再做形态键。顺序反了,等着重做。

规则二:任何写进形态键的数值,都必须过平滑。不平滑的原始数据一定会抖,抖了玩家就会觉得「这张脸很廉价」。

规则三:从第一天就上 LOD。不要想「先做完近景再优化」,因为 LOD 分级的合并规则会影响形态键怎么建、怎么命名,这是设计阶段的事,不是优化阶段的事。

进阶:两种路径的正面争论

到了要决定「这些权重到底谁来做」的时候,项目里通常会出现两种声音,而且会吵起来。

手工派说:机器做出来的嘴不对,元音和辅音之间的过渡没有情感,笑和说话的叠加会穿模,这些只有人能修。

工具派说:三千句台词你手工修?你修到明年也修不完,何况改一句台词就要重来一遍。

两边都对,因为它们在说不同的东西。我把这两个方案的取舍摊开讲。

路径一:美术手工修权重

适用场景:台词量在一千句以内、角色数量少(一到三个主要说话角色)、有特写镜头、风格偏写实或者情感浓度高的项目。典型如叙事向独立游戏、视觉小说改编、有大量独白的作品。

收益:质量天花板最高。人能做出机器做不出的东西——比如一句话说到一半的迟疑、某个音上的重音强调、说完之后嘴角的自然回落。这些细节在特写镜头里价值极高,因为它们才是「表演」。

代价:慢,且不可并行。一个熟练动画师做口型,快的话一天三十秒素材,慢的话十五秒。而且这项工作极难外包——外包团队不懂你的角色性格,修出来的嘴「形对神不对」。

协作摩擦:台词一改,全部作废。这是最要命的一点。写作阶段如果还在调整台词,手工口型就是纯粹的浪费。所以这条路要求剧本先冻死。

路径二:工具链批量生成

适用场景:台词量大(数千句以上)、角色多、有程序化对话系统、或者有实时生成对话的需求。也适合原型期——你需要快速看到「这个角色说话是什么感觉」。

收益:可扩展,台词改了重跑一遍就行。质量下限稳定,不会出现「某几句话美术赶工做得特别差」的情况。而且它天然支持多语言——换一套音素映射表就能复用。

代价:质量上限受限于你的形态键库和映射表。工具只能做到「形状对」,做不到「有感情」。所以你必须接受一个事实:这条路做出来的口型,在一米以内的特写镜头里是撑不住的。

协作摩擦:责任分散。口型不对的时候,是形态键建得不好、映射表错了、还是平滑参数不对?三个不同的人可能会互相推。所以这条路要求有一个人对最终效果负总责,并且有一套可复现的验收流程。

我建议的分档选择

团队规模 / 项目类型推荐路径理由
1 – 3 人独立团队,台词 500 句内工具生成 + 关键镜头手工修全手工做不完,全自动撑不住特写。挑出五到十个最重要的镜头手工过一遍,其余交给工具
3 – 10 人,台词 1000 – 3000 句工具为主,建立自己的映射表和修正库这个体量必须上流水线。前期投入两周把形态键库和映射表打磨好,后面全是复利
中大型团队,有专职动画师工具打底 + 手工覆盖主线剧情主线剧情的手工修值得投,支线和路人交给工具。用两套质量档位,别一刀切

说句可能不太受欢迎的话:大部分独立项目并不需要「最好」的口型,只需要「不违和」的口型。玩家在阅读字幕的时候,注意力大部分在文字上,嘴只要动得有节奏、不抽搐、不说话时闭嘴,就已经过了及格线。把钱花在手工修嘴上的边际收益,往往低于把钱花在配音质量或者镜头调度上。

但反过来说,如果你的游戏就是靠角色表演吃饭的——那种大量面部特写、靠微表情讲故事的——那手工修就不是可选项,是核心竞争力。这个判断得在立项时就做,不能拖到中期。

坑一:形态键数量爆炸

现象:项目中期,美术为了修各种穿模,不断加新形态键,从三十个涨到一百二。某天开始,移动端包体变大、加载变慢、某些低端机直接崩。

原因:形态键的内存是按「形态键数 × 顶点数」涨的,而且是每个角色独立一份。前面表四算过,五个角色各一百五十个形态键,两百多兆就没了。

排查顺序:先看每个角色的形态键数量清单,再看哪些通道从来没被程序引用过(美术做了但没人用的),最后看有没有因为「反复小修」留下的重复通道。

修复:设一个硬上限(比如单角色 80),超过必须走审批;建立「通道引用清单」,没被引用的通道定期清理;把修正形态键从「每组合一个」改成「通用修正 + 少数特例」。

坑二:导出后法线/切线异常

现象:Unity 里把某个形态键拉到 50,脸的一侧出现一块亮斑,或者边缘有锯齿状闪烁,尤其在转动视角时明显。

原因:Blend Shape Normals 的设置与 DCC 里的数据不匹配。要么是 DCC 里的法线本身有问题(硬边和平滑组没处理好),要么是选了「计算」但模型带自定义法线。

排查顺序:先在 DCC 里检查该形态键满值时的法线是否正常,再在 Unity 里切换三种 Blend Shape Normals 设置逐一对比,最后检查有没有叠加自定义着色器对法线的修改(这一点在第 12 篇讲管线适配时会展开)。

修复:特写角色一律用「导入」;独立项目用「计算」,但如果模型有硬边,需要在 DCC 里把硬边正确标记,别指望引擎猜。

坑三:Prefab 变体丢权重

现象:场景里某个 NPC 说话时表情错乱,别的 NPC 都正常。或者某个角色在某个场景里嘴不动,换场景就正常。

原因:Unity 里形态键的权重是按索引序列化在组件上的。美术重新导出模型、形态键顺序变了,索引就对不上了——原来第 7 号是「张嘴」,现在第 7 号变成了「眨眼」。Prefab 变体尤其容易中招,因为它继承的是父 Prefab 的序列化数据,网格被换掉之后,那串索引默默错位,不会报错。

排查顺序:先确认出问题的角色的网格是不是被换过;再对比网格上的形态键顺序和组件里存的数值;最后检查 Prefab 变体有没有覆盖网格引用。

修复:程序不要依赖「第几号」这种硬编码,初始化时按名字查索引并缓存;建立一个「换网格后必须重跑」的验收清单;Prefab 变体如果只改外观不改网格,尽量用材质覆盖而不是网格覆盖。

坑四:Animator 与手写权重抢通道

现象:你在代码里每帧写口型权重,运行起来发现完全没生效,或者效果断断续续、像被什么东西覆盖了。

原因:项目里的待机动画或表情动画,在动画剪辑里录制了同名形态键的曲线。Animator 每帧会把这些曲线写进去,跟你的口型数据打架。谁赢取决于执行顺序,而且不同渲染路径下还可能不一样。

排查顺序:最直接的一招——把 Animator 组件临时关掉,看口型是否恢复正常。如果恢复了,就是这个原因。然后去动画剪辑里搜有没有形态键曲线。

修复:这是个架构问题,不是修 bug。让动画系统只负责「上面部与身体」,口型通道完全由代码独占,两边的通道名不要重叠。如果必须共用,就在写入之前先读一遍当前值、判断是不是被动画覆盖了。这套分工边界,第 04 篇专门讲 Animator、Animation Rigging 和 Timeline 的责任划分,值得细读。

坑五:LOD 切换口型跳变

现象:镜头推远或者角色走动的时候,嘴会「啪」地变一下形状,像抽了一帧。

原因:两套 LOD 网格的形态键集合和权重状态不同,切换瞬间没有过渡。或者更糟——索引缓存没有按网格区分,切换后写到了错误的通道上。

排查顺序:先在编辑器里手动切换 LOD 观察,确认是不是切换瞬间发生的;再检查各级 LOD 的形态键命名是否一致;最后确认索引缓存有没有做网格级别的隔离。

修复:加 0.15 到 0.25 秒的接力过渡;确保各级保留的同名通道语义一致;低级别的合并规则用加权平均,让数值天然接近。

坑六:中位表情与待机动画打架

现象:角色从待机状态切换到说话状态的那一瞬间,脸部会「塌」一下,或者嘴突然张开一点。

原因:待机动画是美术另外做的一套表情(可能带微笑、微张嘴),而形态键的中位是「零」。当口型系统接管的时候,它从零开始,于是脸从「微笑」瞬间掉回「中性」。

排查顺序:录一段从待机到说话的过渡,逐帧看。确认待机动画里有没有形态键曲线(跟坑四是同一个根源,但表现不同)。

修复:让口型系统有一个「基础表情偏移」的概念——接管时不是从零开始,而是从当前待机表情开始做增量。或者干脆让待机动画不碰嘴部通道,嘴部的中性状态由代码统一管理。

问一:Blend Shape 和骨骼驱动,到底怎么选?

先说判断标准,再说场景。

选形态键的场合:形状变化是「局部的、表面的」——嘴唇的张合、眉毛的抬落、眼睑的开闭。这类变化用骨骼驱动会很难看,因为骨骼旋转会让整块皮肤绕着一个点转,做不出嘴唇那种「中间鼓起、两边收窄」的变形。

选骨骼的场合:变化涉及「大范围旋转或位移」——下颌的开合(这是一个真正的关节运动)、眼球转动、舌头。下颌用骨骼比用形态键好得多,因为下颌是绕关节转的,形态键做出来的张嘴往往缺少那种「铰链感」。

还有个成本因素:形态键吃内存,骨骼吃 CPU 和蒙皮权重。同屏角色多的时候,几十根面部骨骼乘以几十个角色,蒙皮开销会很明显。

顺带说一个对照案例:《侠盗猎车手 5》的面部据社区逆向资料是骨骼驱动的,那套方案在开放世界大规模 NPC 场景里很划算——便宜、可程序生成、易于在低配机器上降级。而追求特写质量的作品,几乎都会用形态键或者混合方案。这不是谁更先进,是场景决定技术。

我的建议:混合用。下颌一根骨骼,嘴唇、脸颊、眼睑用形态键。这是绝大多数商业项目的实际做法。

问二:Viseme 数量到底多少够用?

做口型的人特别爱纠结这个。我给一个粗暴的结论:对话镜头用 8 到 12 个,特写镜头用 15 个左右,不要再多了。

为什么?因为人眼识别口型的精度其实很低。研究表明,观众能可靠区分的口型差异,远少于语音学上的音素数量。把 Viseme 从 12 个加到 20 个,观感提升几乎为零,但你的形态键、映射表、调参工作量全部上升。

真正影响观感的不是数量,是时序——口型什么时候开始、什么时候结束、在音节之间怎么过渡。这个比形状精度重要得多。第 02 篇讨论过「最小可辨识集合」这个概念,核心就是这个意思:把资源花在能被感知的地方。

问三:权重归一化到底要不要做?

要做,但别做成「总是归一化」。

「总是归一化」的问题是:它会把所有通道的幅度一起压小。你说话说得激动的时候,嘴该张得很大的时候被压回去了,看起来就变成了「嘴张不开」。

正确做法是软阈值:正常范围内不动,超过某个阈值才开始压缩。前面表二给了建议区间,115 左右是个不错的起点。

如果你的项目有特写镜头,还有一条路:不做数值归一化,而是做修正形态键。针对高频冲突组合(张嘴+微笑、圆唇+皱眉)单独做修正,让它们在叠加时不穿模。这条路贵,但效果最好。

问四:移动端能不能实时更新全部形态键?

看机型、看角色数、看通道数。三个数乘起来才能回答。

单个角色、六十个通道、每帧全量写,在主流中端手机上是可以接受的——大概一两毫秒的量级。但十个角色、每人六十个通道,就是十倍以上,这时候就必须要做分级。

还有一点容易被忽略:部分移动设备的图形接口对逐顶点混合的形态键数量有硬上限,超过之后引擎会走替代路径(比如把位移数据烘到贴图上),开销模型会变。所以即使你的 CPU 撑得住,也要在真机上验证,别只在编辑器里看。

我的实际经验是:同屏高精度口型永远不要超过两个。这一个规则就能解决大部分的移动端问题。

问五:美术交付的命名混乱,怎么治理?

不要靠「讲道理」,要靠「工具拦截」。

第一步,把命名规范写成一张表(本文表一),放进项目文档,美术入职第一天看。

第二步,写一个导入时的检查脚本:模型导入后自动扫描形态键名,发现空格、中文、超长、重名、不符合左右后缀规则的,直接在 Console 里报警,严重的话拒绝导入。这一步最有效——因为人是不会看文档的,但被红色报错拦下来一次,就会记住。

第三步,出一个「形态键清单表」,每次交付附上:叫什么名字、什么用途、是谁在用。格式别复杂,一张表就行。这张表能省掉后期无数次「这个通道是干嘛的能不能删」的扯皮。

如果项目已经乱了,不要一次性全部改名——那是灾难。做法是:先冻结当前的,新建一个「映射表」把旧名字对到新名字,程序走映射表读,然后在下个大版本统一改。听起来麻烦,但比半路改名引发的一连串引用丢失要安全得多。

写到这里,我想把这篇的核心压缩成一句话:Blend Shape 驱动口型这件事,技术难度不高,工程纪律要求极高。

它没有炫酷的算法,没有需要理解的数学。它就是一串「检查项」——拓扑锁没锁、命名规不规范、法线对不对、平滑参数调没调、LOD 分级做没做。这些东西单拿出来每一条都很无聊,但四条串起来,就是「这个角色的脸看起来是活的」和「这个角色的脸看起来像个木偶」之间的差距。

我在项目里见过最常见的一种浪费:前期为了快,跳过第一层和第二层的验收,直接进入调权重。调了三周,怎么调都不对,回头一查,是中位表情选错了。三周的工作量,抵不过两小时的返工。这种账,只有踩过的人才算得清。

最后留一个我觉得挺反直觉的观察:玩家抱怨口型不好的时候,说的往往不是口型本身。他们会说「这个角色看起来好假」「配音和脸对不上」「看着出戏」。你去查,最后查出来的可能是法线的问题、可能是平滑参数的问题、可能是 LOD 切换跳了一下。口型是一个「感觉」问题,但造成感觉问题的原因,全在技术细节里。

所以下次有人跟你说「这个角色的嘴怪怪的」,别急着调形态键。按这篇的四层顺序,从下往上查一遍。你大概率的发现是:问题不在最上面那层。

接着往下走的话,第 04 篇会聊一个和本篇紧密咬合的话题——Unity 那套动画系统(Animator、Animation Rigging、Timeline)到底该由谁负责写这些权重,边界划在哪儿。前面坑四那个「抢通道」的问题,在那篇里会有一个完整的架构答案。

文章标签
Unity LipSync口型同步VisemeBlend ShapeuLipSyncSalsa LipSyncROGO LipSyncOVR LipSyncTTS 口型同步AI NPC 对话神经网络口型Audio2Face
更多专题全部专题
觉得有价值?点赞或收藏支持内容持续产出。
← 返回专题:Unity LipSync 技术专题