Viseme 体系深度解析:口型音素映射的标准分歧、中文普通话空白与最小可辨识集合 Viseme Systems Decoded
Preston Blair 的 10 个口型、MPEG-4 的 14 个、Meta 的 15 个、SAPI 的 21 个——四套标准谁也没说服谁;而中文普通话至今没有一份能被验证的公开 viseme 表,这才是你要自己动手解决的那部分。
为什么 viseme 是整个 LipSync 系统的第一块基石
你肯定见过这个场面:插件 demo 跑起来,角色张嘴说话了。第一秒你心想「卧槽可以啊」;第三秒你有点疑惑,说不上来哪不对劲;第十秒你关掉窗口,跟自己说了句「算了,先这样吧,回头再调」。
那个「说不上来」,九成不是算法的问题。你的音频分析在跑,你的权重混合正常,你的帧率也没掉。问题出在更靠前的一步:你压根没定义清楚,这个角色总共该有几种嘴。
LipSync 这条链路上,音频分析、时间对齐、权重重映射,解决的全是「怎么驱动」的问题,这些活插件能替你干,社区里也有一堆调好的参数可以抄。但「驱动什么」这件事,没人能替你拍板。它取决于你的美术资源长什么样、你的镜头拉多近、你的玩家在什么设备上玩。而且这个决定一旦定下来,改起来特别疼——模型要重新做 blendshape,动画要重绑,音频标注要重来一遍。
所以它叫第一块基石。上一篇我们看了二十年的技术演进,从 2D 帧序列到神经网络生成,你会发现一件挺有意思的事:技术换了一茬又一茬,但「嘴形的分类法」几乎没变过。变的是谁在做分类、分得多细、分完怎么插值。Preston Blair 在 1930 年代画的那 10 张嘴,今天还有一大半独立游戏在用,而且用得挺开心。
说白了:算法决定你的下限,viseme 集决定你的上限。
第一层:Viseme 不是音素——它是「眼睛能分辨的嘴形」
先把一个特别容易踩的坑说透。很多人第一次听到「viseme」这个词,看英文是 visual phoneme,就默认它是「看得见的音素」,然后心安理得地去做音素到嘴形的一对一映射。这就是灾难的开始。
音素是语言学家造出来的东西,它的判据是「换掉这个音,词义会不会变」。英语 44 个音素,普通话大概 32 个音素加 4 个声调,都是按这个逻辑切的。但玩家的眼睛根本不关心词义,他连字幕都来不及看,他只看嘴。
举个最典型的例子:p、b、m 是三个不同的音素,但嘴形是同一个——双唇闭合、憋气、放开。你把一段无声视频放给任何人看,他也分不出这三个音。反过来,英语里的 ae(cat)和 aa(father)是两个不同音素,嘴形差异只是开口大小那么一点点。一个在屏幕上只有 40 像素高的嘴巴,这点差异根本看不见。
所以 viseme 的切分标准,从第一天起就不是语言学的,是视觉的。它真正的定义是:观众的眼睛能够稳定分辨出来的最小嘴形差异单位。这是个视觉阈值问题,不是发音准确度问题。你把这句话记住,后面所有的取舍都会变得清楚。
再回过头看 Preston Blair 那套 10 个口型的表(AI、E、O、U、L、WQ、MBP、FV、rest,外加一个叫 etc 的垃圾桶格)。很多人以为这 10 个是把英语音素科学归类的结果。不是的。Preston Blair 是 2D 动画黄金时代的动画师,在迪士尼和 MGM 干过活,他那套表的设计目标特别朴素:让画师别画疯。
你算一下这笔账。一部七分钟的短片,主角说两百句话。如果每个音素画一张脸,画师直接辞职。压到 10 张脸,画师可以重复用、可以做成循环、可以拿前一镜的素材直接复用。这是产能约束被翻译成了技术标准,而且翻译得相当优雅——顺带还保证了观众看得懂。
那个 etc 格特别有意思,所有不好归类的音全扔进去,包括一些辅音连缀和特殊口型。这是很诚实的设计:我知道有不完美的地方,我给它留个位置,总比硬塞进别的格子强。
所以第一层要带走的东西就一句话:viseme 集是「产能、辨识度、资源量」三者相乘的结果,不是「发音正确性」的结果。你把这三者的权重搞反了,做出来的就是一套谁都不认识、谁都用不起的口型表。
第二层:四套标准的分歧,根子在于「它们各自的客户是谁」
现在把市面上能碰到的几套标准摊开看。我把它们的出身、分类依据和典型用途列一下,你会发现分歧根本不是「谁更科学」。
| 标准 | 口型数 | 出身 | 分类依据 | 典型用在哪 |
|---|---|---|---|---|
| Preston Blair | 10(含 etc 和 rest) | 2D 手绘动画 | 画得出来、观众认得出 | 传统动画、2D 游戏、Sprite 口型 |
| MPEG-4 面部动画参数集 | 14(+1 静默) | 视频编码标准 | 面部动作参数(FAP)的完整性 | 视频会议、跨设备面部动画传输 |
| Microsoft SAPI | 21(英文体系) | 语音合成引擎 | 发音器官位置(双唇/唇齿/齿龈/软腭) | TTS 引擎同步输出嘴形编号 |
| Meta / OVR LipSync | 15 | VR 面捕与虚拟形象 | 面部肌肉能做出的形状 + 舌头 | VR 虚拟形象、Meta Avatars |
四套,四个客户,四种逻辑。
Preston Blair 的客户是画师。所以它只保留「画出来有明显区别」的口型,剩下的全塞进 etc。它的精度最低,但它是唯一一套能直接落到纸张或 Sprite 上的。
MPEG-4 的客户是编解码器和播放器。它要解决的是「我在这台设备上生成一段人脸动画,传到另一台设备上,对方能一致地还原」。所以它的切分依据是面部动画参数的完整性:只要这组参数能构成一个独立可描述的状态,就给一个编号。这么做有个副作用——它照顾了参数完备性,却没照顾视觉显著性。里面有两三个口型,你放在屏幕上让普通人看,他分不出来。但它们占了位,你还得给它们做 blendshape。
SAPI 的客户是 TTS 引擎。TTS 的内部流程本来就有音素序列,它顺手就能把音素映射成嘴形编号吐给你,所以它敢切细、切到 21 个。细的好处是准,坏处是你的模型做不出这么多形状——大部分独立游戏的头部模型也就 8 到 12 个嘴部 blendshape,你拿 21 个编号过去,必然有编号找不到归属。
Meta 的 15 个是最有意思的。它包含了 sil、PP、FF、TH、DD、kk、CH、SS、nn、RR、aa、E、ih、oh、ou。注意 kk、nn、RR 这三个——这些在 2D 动画里绝对不会单独给一张嘴,因为从外面根本看不见。Meta 敢给,是因为 VR 场景下玩家鼻子几乎贴到角色脸上,而且 OVR 体系里有舌头这个单独的 blendshape。它的客户是「戴着 HMD、距离 30 厘米盯着虚拟人看」的人,这个客户的眼睛极其苛刻。
一句话总结这一层:标准之所以叫标准,是因为有不止一个。这四套的分歧不是谁对谁错,是它们各自服务的场景不同。你抄哪一套,等于默认接受了那套标准背后的产能假设和观看距离假设。
再补一个实操层面的坑:标准之间互转是有损的。把 Meta 的 15 个往 Preston Blair 的 10 个映射,PP 到 MBP 是一对一,问题不大;DD、kk、nn 三个会挤进同一个格子,因为 2D 动画里这三个都画成「舌尖微露、嘴半开」;TH 和 RR 直接无处安放,只能扔进 etc。反过来,把 Preston Blair 的 10 个往 MPEG-4 的 14 个展开,是一对多,你凭空多出来几个口型,但素材并没有变多——你得靠插值硬凑,凑出来的形状往往会飘。
我见过有团队拿一份「标准映射表」当圣旨,直接把 MPEG-4 的 14 个硬塞进只有 9 个 blendshape 的模型里。结果是:有三个 viseme 共用同一张脸,切过去画面毫无变化,角色说话的时候嘴巴像卡住了。这不是映射表错了,是他们跳过了「我的资源能承载多少」这一步。
第三层:中文普通话的空白——不是没音素,是没人为它做过口型表
这一层是本文真正要解决的问题,也是我当年被坑得最惨的地方。
先澄清一个流传挺广的说法:「中文没有 viseme 表」。这句话只说对了一半。Windows 的中文 TTS 语音(早年那个 Huihui,后来的 Xiaoxiao 系列)是能输出嘴形编号的。问题是:这些编号到具体嘴形的对照关系,微软从来没有公开过一份被第三方验证过的版本;就算你逆推出来了,它也是按 SAPI 那套为英语音素设计的 21 个体系来的,天生就不适配汉语的发音结构。
所以中文的真实处境是:有编号,没形状对照表;有音素,没有经过视觉验证的分类。你想直接用,只能自己动手做。
那中文到底难在哪?我总结了四个点,全都是我实际调参数时被扎过的。
第一个,圆唇前元音 ü 无家可归。ü 是「嘴唇收圆,同时舌位靠前」的组合,视觉特征是嘴唇撅起来、但嘴角往两边拉,是个很别扭的形。英语里压根没有这个音(法语有、德语有),所以四套标准里都没给它留位置。你直接套 Meta 的 15 个,它会被分到 ou 或者 oh,结果就是「鱼」和「无」这两个字,嘴形一模一样。中文母语玩家看一眼就别扭,虽然他说不出为什么。
第二个,辅音是重灾区。zh、ch、sh、r、z、c、s、j、q、x 这十个音,发音时舌头在口腔里做大范围运动,但从外面看,嘴唇几乎纹丝不动。你让角色在镜头前说「四十四只石狮子」,观众看到的是一张基本静止的脸。
这其实不是 bug,真人说话就这样。但在游戏里它就变成了问题:玩家看不到嘴动,第一反应不是「中文就是这样」,而是「配音没对上」。Meta 的 SS 和 CH 两个口型就是为这类情况设计的——给一个极小的开口,让脸「活着」。中文需要这个机制,而且需要更细的档位,因为中文里这类音的比例比英语高得多。
第三个,声调影响的是时间,不是形状。ma 的一声和四声,嘴形几乎一样,差别在音高曲线和音长上。这不影响 viseme 的分类,但严重影响 viseme 的持续时间分配。中文里单音节词的数量非常大,如果你的 viseme 时长按平均分配,听起来会像机器人念经。我的做法是把声调曲线当成权重曲线的一部分:四声给一个短促的收尾,三声给拉长,一声平稳,二声给个上挑的尾巴。
第四个,节奏是机关枪式的。中文每个字都有一个完整的韵母,几乎没有弱读和连读。英语里「a lot of」会说成类似「ə lɑ də」的东西,中间塞满中性元音,嘴形是主次分明的。中文没这个特权,「很多很多」就是四个饱满的音节,字字落地。
直接套英语的时间曲线,中文会变成「嘴巴一直在动但没节奏」;反过来,每个字都给完整的开合,又会机械得像个节拍器。我的折中方案是按词为单位做轻重:实词给满,虚词(的、了、吗、呢)压到六成左右,让它有呼吸感。
基于这些,我自己收敛出来一套十口型的中文普通话最小集,跑了两年多,改过三版,目前这版是我比较满意的:
| 编号 | 口型 | 拼音归类 | 视觉特征 | 实现要点 |
|---|---|---|---|---|
| 0 | 静默 / 呼吸 | 停顿、句读 | 微张口两到三成,肌肉不完全放松 | 千万别做成完全闭合,这是「死人脸」的头号来源 |
| 1 | 闭唇 | b p m | 双唇闭合 | 爆破瞬间要快,过渡压到 30ms 以内 |
| 2 | 唇齿 | f | 上齿轻咬下唇 | 中文只有 f 一个,权重别给太高 |
| 3 | 圆小 | u ü | 嘴唇收圆、开口很小 | ü 必须单列,或者用圆小加嘴角拉伸叠出来 |
| 4 | 圆大 | o uo ao ou | 圆且开口明显 | 和圆小之间要留插值空间,别硬切 |
| 5 | 咧中 | i ie in ing | 嘴角拉开、开口小 | 中文最高频口型之一,过渡要顺 |
| 6 | 咧大 | a ai an ang | 开口大、唇形扁平 | 开口权重上限压到 0.85,满值容易穿模 |
| 7 | 半开中 | e en eng er | 中性半开 | 用得最多的过渡态,权重给足 |
| 8 | 卷舌 | zh ch sh r | 微开、唇略前突、下颌稍降 | 视觉上主要靠下颌和前移,不靠嘴唇 |
| 9 | 齿擦 | z c s j q x | 近乎中性,极小开口 | 不能省,省了整句话脸是僵的 |
这十个口型,七个是「看得见的大动作」,三个是「几乎看不见但必须存在的小动作」(编号 8、9 和 0)。为什么不是六个,也不是二十个?理由在下一层。
第四层:最小可辨识集合——你的游戏到底需要几个口型
先说一个反直觉的结论:口型数量不是越多越好,多到某个点之后,你付出的代价会超过玩家能感知到的收益。
这个点在哪?取决于镜头距离。
| 档位 | 口型数 | 适用镜头 | 角色脸占屏幕高度 | 玩家实际在看什么 |
|---|---|---|---|---|
| 低 | 3(闭 / 半开 / 开) | 远景、策略视角、俯视 | 低于 15% | 字幕。真的,就是字幕 |
| 中 | 6 到 8 | 中景对话、RPG 常规对话 | 15% 到 40% | 表情和语气,口型只是辅助 |
| 高 | 10 到 15 | 特写、演出驱动型剧情 | 40% 以上 | 嘴唇的每一次形变 |
中景这一档,是绝大多数独立游戏主力使用的档位。我上面给的那套十口型表,在小人身上砍掉编号 2、8、9 就够了,剩下七个能覆盖九成以上的情况。
这里有个特别值得说的现象,我管它叫口型恐谷效应。你肯定听过恐怖谷——机器人像人到某个程度,反而比完全不像更吓人。口型也有这个东西。
具体表现是:用三个口型的角色,玩家基本不会骂它,因为一眼就知道这是风格化处理;用十二个口型但同步差个七八十毫秒的角色,玩家会骂「面瘫」「机器人」,骂得特别难听。为什么?因为玩家一旦相信这个角色真的在做表情,他就会自动切换到「用真人标准要求它」的模式,任何一点不对劲都会被放大。
所以那个恐怖谷的谷底在「细到差一点点就完美」的位置。你要么粗得坦荡,要么细到经得起推敲,中间那段是最危险的。
这层道理,两个大厂用真金白银验证过。
案例一:《赛博朋克 2077》和 JALI——把 viseme 从「目标帧」降级成「控制点」
JALI 是加拿大多伦多大学出来的技术,两个核心人物是 Pif Edwards 和 Chris Landreth(后者是拿过奥斯卡提名的动画导演,做过那部叫《Ryan》的片子)。这套东西的思路我第一次看到的时候拍了大腿。
它的核心主张是:人对口型的感知主要来自两个互相独立的维度——下颌开合和唇形。真人脸上这两件事由不同肌肉群控制,可以独立变化。所以用一张十几格的离散口型表去描述嘴,本身就浪费了信息,因为你在用「组合之后的结果」去反推两个「本可以独立变化的因」。
JALI 的做法是:viseme 还在,但它不再是「目标帧」,而是「控制点」。系统把每个音素转换成一个「下颌开合量 + 唇形参数」的坐标,然后再做两件额外的事:一是插值,二是叠加协同发音模型,让前后音的影响互相渗透。
效果有多直观?让角色说「see you」。发 s 的时候,嘴其实已经开始往圆里收了,因为下一个音是 u。真人说话就是这样,这叫协同发音(coarticulation)。离散 viseme 系统做不到这一点,它在 s 的时候嘴是 s 的形状,到 u 才突变过去,中间那段就是「假」的来源。
代价也说清楚。第一,学习成本高,你要么买授权,要么自己搭一套参数化模型,得懂这套参数的美术配合,不是换插件能解决的事。第二,也是更有意思的:它抹平了个体差异。2077 发售那阵,社区里有个流传挺广的说法——「这游戏里每个人说话都一个味儿」。因为参数化模型把口型运动统一到了一套物理规则下,所有 NPC 的说话节奏变得趋同,只剩下音色和台词在区分他们。手工 K 帧能做出来的那种「这个人说话有点含混」「那个人语速特别快」的个性,反而被这套更先进的技术稀释了。
这是个特别典型的例子:技术越通用,个性越稀薄。你在升级自己的 viseme 体系时,一定要意识到你在做一笔交易,不是单纯的进步。
案例二:《原神》四套口型——为「镜头距离」和「演出密度」付的溢价
米哈游给《原神》做了四套口型:中、日、英、韩。不同语言配不同的嘴形序列,切换语言时整套口型跟着换。这在业内是少数派——绝大多数游戏只做一套,一般是英语,其他语言直接套上去,玩家爱看不看。
为什么原神要做?因为它是演出驱动型产品。角色的脸经常占屏幕百分之四十以上,特写镜头密集,而且剧情是核心卖点之一。这个距离下,口型对不上不是小瑕疵,是硬伤,玩家会截图发到社区逐帧对比。
代价也很硬:四倍工作量,四倍维护成本,还有一条看不见的枷锁——剧情更新的时候,如果某个语言的配音晚到,对应那套口型动画就得跟着延后,本地化的排期被口型反过来绑死了。这是很多团队做规划时想不到的连带成本。
社区反馈挺有意思:玩家做过逐帧对比,普遍认为日配的口型最自然,中配其次。原因一点都不神秘——日语的结构对口型算法最友好。五十音是极其规整的辅音加元音结构,元音只有五个,嘴形高度集中,每个音节的时长也比较均匀,所以你只要把那五个元音做准,剩下全是辅音的微调。中文有复韵母、有卷舌、有儿化,难度高一个量级。
这个对比给独立团队一个特别实在的启示:如果你只做一种语言,你的 viseme 集可以只为这一种语言优化,甚至可以激进到只做五个口型。如果你要做多语言,先问自己一句:玩家真的会为了口型去切语言吗?大概率不会。那么「一套口型 + 好剧本」很可能比「四套口型 + 平庸剧本」更划算。
再补一个反向的辅助案例,给你点心理安慰:《巫师3》用的是一套英语口型套所有语言,波兰语原版玩家也有意见,但这游戏照样是神作。这说明口型错了不会致命,玩家有很强的自适应能力。但这话也是警告——它同样说明,玩家对角色的信任主要来自表演和台词,口型是锦上添花。别为了口型把预算烧光,也别指望口型能救一个无聊的角色。
一张能直接抄的 Viseme 配置表
下面这张表是我实际项目里在用的,把可调参数、建议区间和踩过的坑一起列出来。你不要一次全调,先把左边三行确定下来,剩下的遇到问题再动。
| 参数 | 含义 | 建议区间 | 踩坑说明 |
|---|---|---|---|
| 口型集规模 | 这套系统一共几个嘴形 | 3 / 7 / 10 三档 | 按镜头距离定档,别按「我想要多真实」定档 |
| 过渡时长(元音间) | 两个口型之间的插值时间 | 60 到 100ms | 太快像抽帧,太慢像慢动作 |
| 过渡时长(爆破音) | b p m 出发和接收的过渡 | 25 到 40ms | 爆破音必须快,慢了整个字就糊了 |
| 最小保持时长 | 单个口型最短停留时间 | 60ms 以上 | 低于这个值会「闪嘴」,比不做还难看 |
| 静默判定阈值 | 音量低于多少判定为不说话 | -45 dBFS 附近 | 太高会吞掉弱读字头,太低嘴合不上 |
| 静默微开口 | 不说话时保留的开口量 | 0.15 到 0.3 | 给 0 就是死人脸,这是最高频的翻车点 |
| 开口权重上限 | 下颌开合的最大权重 | 0.85 | 给满 1.0 必然穿模,尤其是下巴薄的模型 |
| 擦音补正开口 | z c s j q x 这类音的最小开口 | 0.08 到 0.15 | 不补就是「嘴巴静止」,补多了就是「一直在嚼东西」 |
| 协同发音窗口 | 前后音互相影响的范围 | 中文 1 音,英语 2 音 | 中文音节独立性强,窗口开大了会糊成一团 |
| 表情冲突阈值 | viseme 权重与表情权重之和的上限 | 不超过 1.2 | 超了嘴会抽搐,尤其是愤怒、惊讶这类大表情 |
| 虚词压缩比 | 的了吗呢这类虚词的幅度 | 0.6 到 0.75 | 专门针对中文,英语没有这一项 |
用法很简单:先按镜头距离选档,再按语言选窗口,最后用剩下的参数一点点磨手感。千万别反过来,先调过渡时长再选口型集——那是把车装好了才发现轮子买错尺寸。
还有个小技巧:把所有参数调好之后,录一段包含「爆破音 + 擦音 + 圆唇 + 卷舌」的测试句,比如「爸爸说四十四只石狮子不吃饭」。这句话几乎能测出你这套配置所有的问题:连续爆破会暴露过渡太快,连续的擦音会暴露支撑不足,卷舌会暴露下颌权重,最后那个「饭」会暴露圆唇到咧开的转换。我每次换新模型都拿这句测,屡试不爽。
初级速览 / 进阶深入
如果你现在就想动手,五分钟版本是这样的:别研究标准了,直接抄我上面那张十口型的表,然后按你的镜头距离砍到你需要的数。特写游戏留十个,中景砍掉唇齿、卷舌、齿擦三个留七个,远景只留闭、半开、开三个。把静默微开口设成 0.25,开口上限设成 0.85,过渡时长定在 70ms,擦音补正给 0.1。跑起来看看,八成能过你现在的水平。
这个方案不优雅,但它能让你今天就把东西做出来。等你做出来之后,你才会真正理解那些参数在干嘛——这是我一直相信的学习顺序,先跑通再优化,反过来往往是原地打转。
如果你想自己造一套,两到三天的版本是这样的:
第一步,从你项目里抽两百句有代表性的台词,覆盖所有主要角色、所有情绪、所有语速。别偷懒,这就是你未来半年的技术债本债。
第二步,人工标注。不要求多精确,只要标出每个音节你希望它对应的目标嘴形。这一步可以借助你现有的 TTS 或识别工具先跑一遍,人工只做修正。两百句大概一天能过完。
第三步,最关键的一步:做混淆测试。找五到十个没参与制作的同事,把两个口型并排放在屏幕上,问他们「这两个一样吗」。统计每个人对每一对的判断。规则很简单——如果七成以上的人分不出来,这两个口型就该合并。这个测试能砍掉你三到四成的冗余口型,而且砍得有理有据,不是拍脑袋。
我做这个测试的时候最大的收获是:自己看久了的差异,观众根本看不见。我当时坚持认为「半开中」和「咧中」必须分开,测试结果八个人里只有两个人能分出来。合并之后不仅省了一个 blendshape,过渡还更顺了。
第四步,剩下的口型再做一轮「必要性测试」:去掉这个口型,画面会明显变差吗?没有明显变差的,再砍。砍到不能再砍,剩下的就是你这套系统的真正最小集。
这套流程走完大概两到三天,比你在插件参数里瞎调一周划算得多,而且结果可以复用——下次换模型、加语言,只需要重跑混淆测试,不用重头想。
五个我亲眼见过(其中三个自己踩过)的坑
坑一:拿 MPEG-4 的十四个口型硬套只有八个 blendshape 的模型。结果就是三个 viseme 共用一张脸,切过去画面毫无变化。角色说话的时候嘴巴像卡住了,你会以为是插件的平滑功能坏了,其实是你的资源撑不起那套标准。选标准的顺序永远是:先看资源能做几个,再决定用哪套,反过来一定翻车。
坑二:把 viseme 当成音素一对一。我见过有人按字母顺序切映射,a 对应第一个口型,b 对应第二个,一路切下去。做出来的东西说的话你一个字听不懂,但嘴巴动得挺热闹。viseme 的核心是「合并视觉上等价的东西」,不是「给每个音素分配一个家」。
坑三:静默状态用完全放松的 rest 口型。这是让角色显假的头号杀手。真人不说话的时候嘴是微微张开的,肌肉也不是完全松弛,还有各种微表情。你把静默做成嘴完全闭合、肌肉彻底放松,结果就是角色每句话之间都会「死一次」。给 0.2 到 0.3 的微开口,效果立竿见影。我自己在这上面栽过,调了三天参数,最后发现是静默口型做错了,换了之后当场好。
坑四:口型和表情抢权重。下颌开合(jawOpen)在 Fake ARKit 这类体系里是共用的——说话要用它,惊讶的表情也要用它。两边都拉满的时候总和超过 1.0,下巴直接抽搐。这是很多 VTuber 说话时下巴抖的根因。解决办法有两个:一是给总和设个上限,超了就按比例压;二是让表情系统在检测到正在说话时,自动降低自己的下颌权重。
坑五:中文直接套英语的 viseme 表。前面讲过了,我再补一个具体到肉疼的例子:ü 被分到 ou,于是「鱼」和「无」、「雨」和「五」嘴形一模一样。中文母语玩家看两秒就出戏,而且他表达不出来哪里不对,只会给你一句「感觉口型怪怪的」。这类反馈最难查,因为你查遍参数都没问题。
FAQ
Q1:我用 uLipSync,它输出的不是 viseme 是音量包络,怎么办?
这个情况很常见,uLipSync 本质上是从音频里提取特征做匹配,它给你的是「当前音频片段最像哪个预设」的相似度。你完全可以在它外面包一层,把相似度映射到你自己定义的口型上。关键是别指望它直接吐标准 viseme——它是开源方案,能力边界在那摆着(这一点下一篇会专门拆)。你真正要做的是把「相似度数组」翻译成「我这套口型里最匹配的那个」,翻译表由你自己写。
Q2:中文有现成能用的 viseme 表吗?
没有一份经过公开验证的、能直接落到 blendshape 上的表。有的只是 TTS 引擎输出的编号,和从英语体系翻译过来的近似映射。所以这件事你躲不掉,只能自己做。好消息是我上面那张十口型表可以直接当起点,你不用从零开始。
Q3:口型越多,性能开销越大吗?
真正的开销不在数量,在混合次数和 blendshape 的顶点数。同一帧里同时激活的口型从三个变成八个,CPU 侧的计算其实差不了太多,但 GPU 侧的蒙皮开销会上去——尤其是多角色同屏的时候。真正该担心的不是十口型,是十个角色各十口型。这部分在性能优化那篇里会细讲,这里先给你个定心丸:三个和十个的差别,在你的项目规模下大概不是瓶颈,别为了这个砍口型。
Q4:2D 游戏是不是只能用 Preston Blair 那套?
不是必须,但它确实是 2D 的最优起点——因为它天生为有限动画设计。真要展开这个话题篇幅太大,那属于另一篇文章的范畴,这里只给一句判断:2D 的口型设计,重点不在「映射准不准」,在「风格撑不撑得住」,方向完全不一样。
Q5:多语言游戏,口型要每个语言都做一套吗?
看两件事:你的镜头拉多近,和你的剧情占比多重。特写多、剧情是核心卖点的,做多套;镜头远、剧情是配菜的,做一套然后接受吐槽。中间地带有个折中方案——做一套主语言的口型,其他语言只做元音级别的粗对齐,省一半工作量但比完全不做好看很多。我给这个方案起名叫「半套口型」,实际效果比想象中好,玩家很难察觉你到底做了几套。