Unity LipSync 技术专题全层级12 / 21 已发布

文字转语音(TTS)+ 自动 LipSync 全链路——从 NPC 对话生成到口型驱动的端到端自动化实践

· 0 分钟阅读
文字转语音(TTS)+ 自动 LipSync 全链路:从 NPC 对话生成到口型驱动的端到端自动化实践 TTS + Auto LipSync Pipeline — Unity LipSync 技术专题

文字转语音(TTS)+ 自动 LipSync 全链路:从 NPC 对话生成到口型驱动的端到端自动化实践 TTS + Auto LipSync Pipeline

为什么 TTS + 自动 LipSync 是让 NPC 开口的第一块基石

先说个陈年笑话。2010 年 NASA 出钱做了个科普小游戏《Moonbase Alpha》,里面有个语音合成,玩家可以打字让它念出来。谁也没想到,这游戏在互联网上留下的唯一遗产是一句「aeiou」——念得字正腔圆、毫无感情、像机器人在读墓碑。

十五年过去,TTS 早就不是那个水平了。现在你随便接个云端服务,中文出来能带情绪、能带气声、能带停顿。所以很多人(包括三年前的我)会本能地觉得:让 NPC 开口说话这件事,是不是已经解决了?

没有。而且卡住的地方特别朴素——声音有了,嘴没动。

你试过就知道,一句没有口型的 TTS 台词,玩家的第一反应不是「这游戏没配音」,而是「这个人在打电话」。声音和嘴对不上,人脑会立刻判定这不是一个在场的角色,而是一条画外音。哪怕你的模型面数三百万、皮肤次表面散射做得能照镜子,只要嘴是闭着的,那口气就散了。

所以这篇要讲的不是「怎么接 TTS」——那部分翻文档就行。我要讲的是 TTS 和 LipSync 中间那段谁都懒得写文档的路:一句文本变成一张会动的嘴,中间到底发生了什么,哪一步最容易崩,崩了长什么样。

这里有个必须先摆上台面的矛盾。TTS 的输出是两样东西:一段音频,一段文本(外加一点点时间信息)。而 LipSync 需要的输入是另一样东西:一条时间轴,轴上每个点标着此刻嘴该张多大、是圆是扁。

中间缺的那块,叫音素时间戳。它决定了你整条链路的天花板:从 TTS 那儿能拿到多细的时间信息,你的口型就能做多细;拿不到,就只能靠音频能量去猜。

下面四层,一层比一层脏。第一层是干净的流水线,第二层开始见血,第三层是玩家真正会骂你的地方,第四层是你把游戏做成多语言版本才会撞上的墙。

第 1 层:链路拆解——一句台词要走过四道工序

先看全景。从「策划写了一句话」到「屏幕上那张嘴动了」,中间有四道工序,每道都有独立的失败模式。

工序一:文本规范化(九成人跳过,然后被坑)

LLM 吐出来的台词,或者策划直接丢进表的台词,原样喂给 TTS,中文的翻车率不低。举几个我真实见过的:

  • 「HP 只剩 20%」——那个百分号念「百分之」还是「百分号」?
  • 「Lv.5 的 Boss」——那个点念不念?
  • 「DPS 太低」——字母缩写是逐个念,还是当英文单词念?
  • 「(叹气)算了,随你吧」——括号里的舞台指示被原样念了出来。对,我见过有人上线才发现 NPC 在说「左括号叹气右括号算了」。

所以第一道工序是一个台词清洗层,把人类写的台词翻译成「机器念得对的台词」:

类型怎么处理例子
阿拉伯数字按语境转写,别交给引擎自动判断20% → 百分之二十;3 个 → 三个
英文缩写明确念法,逐字母还是一整个词DPS → 逐字母;Boss → 当英文词
舞台指示剥出来,转成停顿和语速变化(叹气)→ 0.4 秒停顿 + 语速降一成
生僻字、自造词提前换成同音的常见字避免引擎念不出来直接跳过
超长句按标点切成 60 字以内一句一合成,别整段送

为什么要切句?两个原因,都很实在。一,一次性合成的文本越长,首字节延迟越高,玩家等得越久;二,口型一旦错位,整句都废,句子越短,废的范围越小。还有个隐藏好处:切句之后打断粒度就细了——玩家在第三句说到一半按跳过,你只要丢掉第三句之后的东西,前面两句话的口型事件表是干净的。

工序二:合成——选哪家,本质上是在选「它给你多少时间信息」

大多数人挑 TTS 引擎看的是音色好不好听、价格贵不贵。做口型的人不能这么挑,因为音色可以换,时间戳拿不到就是拿不到。这三类在工程上是完全不同的物种:

阵营代表它给你什么你要自己补什么
原生带 visemeAzure 语音合成口型编号 + 时间偏移 + 3D 头部动画数据基本不用补(英文);中文要重映射
只给字符/词时间戳ElevenLabs、Google、Edge-TTS、Polly每个字或每个词在音频里的起止时刻字 → 音素 → 口型,整段映射自己写
什么都不给Piper、XTTS、GPT-SoVITS 这类本地模型只有一段音频全靠音频分析或强制对齐

这张表就是后面所有内容的骨架。你在工序二做的选择,直接决定了工序三是「读数据」还是「搞研究」。

工序三:把时间信息翻译成口型事件表

不管上游给的是什么,最终都要收敛成同一种中间格式:一张按时间排序的口型事件表——第几毫秒开始、哪个口型、持续多久、权重多大。这张表是你整条链路的通用货币:Runtime 实时驱动读它,离线烘焙也读它,换引擎的时候只有生成端要改,播放端不用动。

这一步最反直觉的地方是:口型不该「一个接一个」地排队出现。真实的人说话,下一个嘴形是在上一个还没结束的时候就开始准备的。这个提前量叫协同发音——你说「妈妈」的时候,第二个 m 的闭唇动作,是在第一个 a 还没说完的时候就开始合了。没有这个提前量,再怎么对的嘴型都像机器人在念字。参数上,这个提前量给 30–60 毫秒,肉眼立刻不一样。

工序四:驱动——实时算,还是离线烘焙

这里我要说一句可能得罪人的话:如果你的 NPC 台词是固定的,就别在运行时算口型。

理由很朴素。固定台词意味着每次说的都是同一段音频,那么每次算出来的口型也一模一样。你在运行时每帧花 CPU 算一遍,得到的却是一个永远不变的结果——这不叫实时,这叫浪费。正确做法是离线把口型烘焙成动画片段,运行时只负责按时间采样,成本接近于零。

这也正好接上本系列第 04 篇讲的分工边界:烘焙出来的口型片段,天生适合挂在 Timeline 上跟对话事件对齐;而真正需要运行时现算的只有一种情况——台词是运行时才生成的,你事先不知道它会说什么。那才轮到流式分析、轮到 uLipSync 那一套(第 05 篇)。

把这句话再说狠一点:离线烘焙和运行时分析不是新旧两代技术,是两种不同的产品需求。选错了不是效率问题,是方向问题。

第 2 层:音素时间戳的三种来路,决定你口型的天花板

这是全链路最关键的一层。同样是「让嘴动起来」,三种来路做出来的东西,玩家一眼就能分出高下。

来路 A:原生 viseme——Azure 这条路的甜与苦

Azure 的语音合成在吐音频的同时,会一路抛出 viseme 事件。事件里除了口型编号(微软那套 0 到 21 的集合,基于英文音素设计),还会给一组 3D 头部的混合形状动画数据。翻译成人话:英文项目接 Azure,口型这活儿基本是白送的。你只要按时间把权重写进通道,剩下的事它替你想了。

但中文是另一回事。这套 viseme 是围着英语音素长的,中文的声母韵母硬往里塞会丢东西——「知、吃、诗」这类卷舌音,「鱼」那个圆唇前元音,还有儿化音,很容易被归到隔壁类别去。表现出来的症状是:能动,但你总觉得这个角色「嘴懒」,一串不同的字翻来覆去就那几个嘴形。这个问题的解法第 13 篇给了完整的拼音到 viseme 转换表,这里只提醒一句:中文项目别指望原生 viseme 直接用。

还有个只有踩过才知道的坑:不是所有云厂商都允许你「既要 viseme,又要精细控制发音」。比如某家的 viseme 标记和发音标记是二选一的——你选了 viseme,就没法再插停顿、标重音了。这种限制往往埋在市场页面的小字里,方案评审的时候一定要提前问清楚,别等做完了发现要二选一。

来路 B:强制对齐——文本已知、音频已知,求音素在哪

原理很直白:手上已经有一串确定的音素,也有一段确定的音频,那就拿一个声学模型把它们硬塞进去,找一条最贴的分界线。这叫强制对齐(forced alignment)。

它的最大优点是准,因为文本是已知的,不存在「听错」这回事,只存在「对齐得够不够细」。它的最大缺点只有一个字:慢。一句五秒的台词,对齐要几百毫秒到几秒。这注定了它只能离线用,做不了 LLM 现编现说的场景。

中文还有个专属麻烦。对齐器会告诉你「这个音节从 0.42 秒到 0.58 秒」,但你要的是声母从哪到哪、韵母从哪到哪——一个音节内部还得再切。没人替你做,只能按经验给个比例(一般声母占音节的前三到四成)。这个经验值就是你在中文口型上「像不像」的分水岭。

来路 C:纯音频估计——什么都不要,也什么都不准

这就是 uLipSync 干的活:把一小段音频(通常三十到六十毫秒)扒出频谱特征和音量,归到某个嘴形上。

优点突出:不依赖文本,任何语言通吃,延迟几乎为零。缺点也突出:它分不清闭唇音——m、b、p 三个在音频上几乎一模一样,全给你归成「闭嘴」;圆唇的 o 和 u 也容易糊成一片;遇到快速连读会跟着跳。

但它是最不挑食的兜底方案。做 LLM 动态对话的时候,文本是流式吐的、TTS 是流式合的、时间戳可能根本拿不到——这时候能量估计是你唯一还能指望的东西。

维度原生 viseme强制对齐纯音频估计
精度中(英文高,中文打折)高低到中
能否实时能,跟着合成走不能,只能离线能,延迟近乎零
多语言看引擎支持度需要每语种词典全语种通吃
典型失败中文「嘴懒」太慢,声韵母切分靠猜m/b/p 不分,连读发糊
适合英文、追求响应速度固定台词、追求质量兜底、动态对话
我的实际做法:混合

能拿到原生 viseme 就用它当主干,同时跑一路能量估计做修补——能量大的位置把开合幅度顶上去,能量小的地方压下来。原生 viseme 负责「嘴形对不对」,能量估计负责「动得够不够」。两路加起来,比任何单独一路都自然。这不是折中,这是分工。

案例深挖:Skyrim 与 Fallout 4 的 mod 圈,一条被逼出来的 TTS 口型流水线

说个特别贴题的案例,因为它把「拿不到音素时间戳会怎样」这件事演示得淋漓尽致。

Bethesda 的对话系统是「音频 + 口型文件」配对的,口型文件里存的是时间轴上的十来个口型通道关键帧。原版流程是真人配音,然后用官方工具生成口型,质量和录音是匹配的。

但 mod 作者想加新台词,手上没有配音演员。于是社区搞出了一套东西:先用基于原版语音训练的合成模型,把新台词念出来(这事在 Skyrim 和 Fallout 4 的 mod 圈已经成了标准工序);然后拿社区工具,从这段音频重新生成口型文件。

问题出在第二步。TTS 念出来的句子,时长和原版录音对不上——同一句话,合成模型念 2.3 秒,原版录音 2.8 秒。更要命的是,那套工具拿不到真实的音素边界,只能按「音节数均分时长」来估。

结果是什么?能用,但资深玩家一眼就看出来「这是 mod 台词」。不是因为音色,是因为嘴是平的——没有协同发音,没有重读元音被拉长的那点余韵,每个音节的嘴形像一个模子刻出来、等宽排列的。原版那种「说『mama』时第二个 m 提前开始合唇」的细节,全没了。

这个案例值得每个独立团队抄在本子上:自动化的天花板从来不是「能不能动」,而是「有没有协同发音」。而协同发音需要的是音素级的边界精度,均分时长永远给不了你。

顺带说个伦理层面的问题。这套流程之所以能跑,前提是用原版配音演员的声线训练了模型。2023 年之后,主流 mod 平台对 AI 生成内容的政策明显收紧,配音演员的声线授权也成了明确的争议点。技术上可行和道义上可行,在这条链路上经常不是一回事——这话我在第 15 篇还会展开。

第 3 层:延迟与打断——实时对话型 NPC 的命门

如果只是固定台词的离线烘焙,前面两层做完就够了,这一层跟你关系不大。但只要你做的是「LLM 生成对话 + 现场合成」这种,那这一层就是生死线。

延迟预算:一笔必须先算清楚的账

玩家按下对话键、到 NPC 真的开口,这个间隔超过一秒半,玩家就开始怀疑游戏卡了;超过三秒,他会去点第二次,然后触发了第二次对话,于是你有了两个 NPC 同时在说话——这个画面很蠢,我经历过。

环节典型耗时能压缩到什么程度
对话检索或 LLM 首个字300–800 毫秒固定台词库可降到 50 毫秒内
TTS 首块音频150–600 毫秒流式接口能压到 150–250 毫秒
预缓冲(攒够再播)200–400 毫秒压到 200 毫秒以下会开始卡顿
启播与口型对齐约 50 毫秒基本压不动
合计700–1900 毫秒拼死能做到 600 毫秒左右

看这张表你会发现一件事:没有哪一项特别贵,贵在它们是串着排的。所以工程上的核心手段不是「把每一步做快」,而是「让它们重叠」。第一句话的文本一生成完,立刻送去合成,不等整段生成完;合成出来的第一块音频立刻播,不等整段合成完。玩家听到第一句的时候,第二句已经在合成了。流水线化做不做,体感差一倍。这是整套架构里性价比最高的一个决定。

流式合成带来的口型抖动

流式合成是一块一块吐音频的。如果你每块都独立做一次嘴形判断,块和块的接缝处会跳一下。

解法是滑窗加重叠:每次分析一个三十到六十毫秒的窗口,但只取窗口正中间那一段的结果,前后各留三四成的重叠当缓冲。这样接缝处的判断是被两边信息共同投过票的,不会突变。

还有个偏玄学的问题。有些流式引擎会在块边界做极短的淡入淡出,那个几毫秒的「咔」,在能量分析里会被当成一个爆破音——嘴突然张一下,然后又闭上。症状是角色说话时每隔半秒「吧唧」一下。处理办法是块边界前后二十毫秒的能量值做限幅,别让它超出邻域均值太多。这种坑文档里不会写,只能靠盯着角色的嘴看半小时看出来。

打断:全链路最丢人的 bug

我在这上面翻过车,而且是上线之后被玩家截图发到群里的那种翻车。

场景是这样的:NPC 说到一半,玩家按了跳过,或者干脆走开了,或者触发了另一段对话。音频停了。嘴还在动。更糟的一种是嘴停在了半张的状态,就那么僵在那儿,像一个被按了暂停的雕塑——玩家对着它看三秒,那种廉价感是毁灭性的。

要修这个,得做三件事:

  1. 口型权重在 100–150 毫秒内归零。注意不能瞬间归零,瞬间归零嘴会「啪」地闭上,反而更假。给个缓动,让它自然地合上。
  2. 清空口型事件队列。很多实现是把口型事件排成队慢慢消费的,音频停了但队列还在跑,于是你看到一张嘴在对着空气继续说话。这是最常见的原因。
  3. 状态机回到空闲态。允许新的一句话立刻接管,别让上一句的残留状态把新的盖住。

说句实话,这个 bug 的丑陋程度和技术难度完全不成正比。修起来可能就是几十行代码,但它能让一个做了两年的项目在玩家眼里变成「半成品」。所以我把打断单独拎出来讲——它不是边缘情况,玩家打断 NPC 说话是高频行为,尤其是那些喜欢到处乱点的玩家。测试清单里必须给它一个专门的用例,至少覆盖:播放中跳过、播放中触发新对话、播放中切场景、播放中暂停菜单。

案例:VRChat 的 TTS 房间,延迟和错位是两个不同的敌人

VRChat 里有一批工具做「打字转语音」,本来是给不方便说话的玩家用的,后来变成了一种社交玩法。而 VRChat 的虚拟形象普遍用一套基于音频的实时口型方案(就是第 06 篇讲的那套 Oculus 系方案),吃的是音频流,不需要文本。

这套组合的体感很有意思:从打字回车,到听见声音,大概三百到八百毫秒(看网络和服务器);但嘴和声音是对得上的,因为驱动口型的就是那路音频本身,它们天然同步。

所以你听到的观感不是「这个人嘴不对」,而是「这个人反应有点慢」。这中间有个特别重要的洞察:延迟和口型错位是两个不同的敌人,玩家对它们的容忍度完全不一样。嘴和声音差超过一百毫秒,人脑立刻判定「假」;但从按下按钮到开口慢五百毫秒,玩家只会觉得「网络有点卡」。

这条观察直接决定了你的预算优先级:先死保音画同步,再去优化端到端延迟。反过来做,你会花大力气把一个从 900 毫秒优化到 600 毫秒的响应速度,配上一条差了一百五十毫秒的口型——玩家照样觉得假。

第 4 层:多语言与情绪——同一张嘴要说三种话

这一层在你做单语言项目的时候完全遇不到,一做多语言版本就全撞上来。

中英混读:一句话里换了两套音素

「这个 Boss 的 DPS 太低了」——中文 TTS 碰到英文单词,要么切到英文发音(音素体系整个换了),要么按拼音硬念,出来是「波ss」。两种都很难看。

比较稳的做法是文本分层:把一句台词按语言切成段,每段单独合成,再拼起来。代价有两个。一,拼接处的语调会「重启」,像两个人接话,需要在接缝处做五十毫秒左右的交叉淡化。二,口型事件表得按拼接后的新时间轴重新偏移一遍——如果你的偏移算错了一处,后半句的嘴就整体提前或滞后。这个 bug 特别阴,因为音色听不出问题,只有盯着嘴看才发现。

音节时长:中文的嘴比英文「赶」

英语是重音计时,重读的元音会被明显拉长;中文是音节计时,每个字的时长更均匀;日语更均匀,还多一个促音的短促顿点。这直接影响你「每个口型保持多久」这个参数。

语言节奏特征口型最短保持建议要特别注意
中文普通话音节计时,字与字等长60–90 毫秒卷舌音和儿化音的嘴形别全归到一类
英语重音计时,重读元音拉长80–130 毫秒重读位置开合幅度要跟上
日语拍( Mora )计时,最均匀60–80 毫秒促音要有一个明显的闭嘴顿点
韩语介于中日之间70–100 毫秒收尾辅音的闭唇要留够时间

如果你所有语言用同一套「每个嘴形保持 X 毫秒」的参数,中文会显得嘴在赶集,英文会显得嘴在偷懒。这两个字面感受,玩家说不出原因,但会觉得「这个中配怪怪的」。

情绪:语速一变,口型参数全得跟着缩放

TTS 的情绪控制通常会改语速和音高。语速一变,所有口型的持续时间就得等比缩放,否则嘴会整体超前或者滞后。经验值:语速上调两成,口型保持时间要下调两成左右,别偷懒。

耳语是个特例,也是坑。耳语没有声带振动,能量包络非常小,能量估计类方案会直接把整段判定成「几乎没说话」,于是嘴基本不动。但玩家看到的明明是角色在说悄悄话——嘴不动不对,动得太夸张也不对。我的处理是:耳语状态切换成「按时长生成」模式,用文本的音节数生成一条固定的开合节奏,不依赖能量,幅度压到正常的三四成。这样既在动,又符合「轻声说」的直觉。

案例:The Finals 与 Arc Raiders 的 AI 配音风波

这个案例跟口型没关系,但我必须放进来,因为它讲的是一段更上游的事。

Embark Studios 在 2023 年承认,《The Finals》里部分播报语音是 AI 合成的——用真人演员录制的声音训练模型,再生成游戏内的解说词。后来《Arc Raiders》测试时也卷入了类似的讨论。这事在配音行业炸了锅,工会和演员公开批评,核心争议点不是「像不像」,而是「该不该」。

我把它放在这一层的末尾,是想说一个很容易被忽略的因果关系:TTS 出来的音频本身的质感,决定了你的口型做多细才有意义。

如果合成的声音本身是个念稿机器——重音错、气口假、情绪平——你把口型做到二十个 viseme 也没用。玩家不会觉得「这人说话真自然」,只会觉得「这人在念稿,而且嘴动得特别勤快」。这是一个典型的「下游精度换不来上游质感」的例子。遇到这种声音,正确的做法不是把口型做细,而是把口型做粗——让它别那么显眼,控制在八个以内的可辨识嘴形,反而协调。

顺便,如果你真的打算在商业项目里用合成语音,把披露这件事想清楚。不是所有平台都要求,但观众一旦自己听出来并且觉得被骗,那个反噬比技术债难还多了。

参数化设计工具:三张能直接抄的表

下面这三张表是我自己在项目里反复用的。数值是区间,不是圣旨——你的美术风格、镜头距离、角色比例都会影响手感,但区间是踩过坑之后的区间。

表一:TTS 引擎选型(按口型友好度排)

引擎时间信息中文成本量级适合场景
Azure 语音合成口型编号 + 时间偏移 + 头部动画好,但 viseme 需重映射按字符计费,中等英文实时对话首选
ElevenLabs字符级起止时间,另有强制对齐接口较好按字符,偏高要音色质感、能接受自己做映射
Google 语音按标记给时间点,粒度偏粗好中等只要词级对齐的旁白型
Edge 系接口词级边界事件好低(非正式渠道)原型验证、内部工具
本地开源模型无看模型零边际成本,要算力离线批量烘焙、隐私敏感

提醒一句:价格会变,别拿这张表去报预算,拿它去定架构。

表二:口型驱动的核心参数

参数建议区间调过头的症状
口型淡入时间30–60 毫秒太短会「弹」,像抽搐
口型淡出时间50–100 毫秒太长会糊嘴,字和字黏在一起
最短保持时间(中文)60–90 毫秒太短会像在嚼东西
最大开合幅度0.7–0.95给到 1.0 基本必穿模
静音判定阈值-45 至 -38 分贝太低嘴一直张开,太高频繁启停
协同发音提前量30–60 毫秒没有就是机器人念字
打断归零时间100–150 毫秒瞬归零像断电,太慢像鬼片
分析窗口 / 重叠30–60 毫秒 / 30–50%无重叠会在接缝处跳
预缓冲时长200–400 毫秒低于 200 会听到断续

表三:混合策略优先级

你的处境推荐链路预期质量
固定台词、单语言、预算够真人录音 → 强制对齐 → 离线烘焙最好,且运行时零成本
固定台词、要省钱云端 TTS → 离线烘焙口型片段很好,玩家基本看不出
英文实时对话Azure 原生 viseme → 实时驱动好
中文实时对话字符时间戳 → 自建拼音映射 → 实时驱动中上,要自己下功夫
多语言实时、没时间能量估计兜底 → 只做八个嘴形够用,别细看

双路径:两天能跑起来的版本,和值得做三个月的版本

初级路径:两天跑通一条能见人的管线

如果你现在就想看到自己 NPC 的嘴动起来,按这个顺序来,别绕路:

  1. 选一个能吐时间信息的云 TTS(英文就 Azure,中文也行,只是 viseme 别指望)。
  2. 所有台词切到 60 字以内,写个清洗规则把数字和缩写处理掉。
  3. 把上游给的东西统一成一张口型事件表,格式自己定,但一定要有「开始时刻、口型编号、持续时长、权重」这四列。
  4. 口型先只做八个:闭唇(m、b、p)、微开(i、e)、中开(a)、圆唇(o、u)、齿唇(f、v)、卷舌(zh、ch、sh、r)、半闭(n、l、d、t)、其他全归一张嘴。这八个就是第 02 篇讲的最小可辨识集合,够用了。
  5. 淡入 50 毫秒、淡出 70 毫秒、最短保持 70 毫秒、最大开合 0.85。
  6. 做打断:播放停止时,队列清空,权重 120 毫秒内缓动归零。

这套做完,你会发现玩家已经不会觉得「角色在打电话」了。剩下的所有优化,都是在把「不违和」往「真自然」上推。你试着按这个做完,再回头看那些做得很细的项目,你会发现差距主要不在嘴形数量上,在协同发音和重音幅度上。

进阶路径:值得投入的地方

  • 流式合成加滑窗分析。把响应速度从一秒半压到六百毫秒以内,这是体感上最明显的一档提升。
  • 离线强制对齐做主力,运行时只播放。固定台词项目的最优解,质量和成本双赢。
  • 协同发音。加一个前瞻窗口,让下一个口型在当前口型结束前四十毫秒开始混入。这一个改动带来的自然度提升,比从八个嘴形加到十六个还大。
  • 情绪驱动的幅度缩放。语速、音量、情绪标签都要能反过来调口型的开合幅度和保持时间。
  • 缓存层。按「文本内容 + 音色 + 语速 + 情绪」做一个哈希键,缓存音频和口型事件表。这条我单独拎出来说,因为它是独立团队最容易忽略的成本控制点——LLM 一旦抽风说了三遍同一句台词,你就付了三遍的钱,合成了三遍的音频,跑了两遍都没用的分析。

争议与常见坑:我踩过的,你别再踩

坑一:以为有了时间戳就有了一切

时间戳告诉你「第 320 毫秒开始念这个字」,但它不告诉你「这个字的嘴形该张多大、要不要提前准备下一个嘴」。从时间戳到口型之间,还隔着一层映射和一层协同发音。很多人做到这一步就以为完事了,然后得到一张「每个字都张得一样大」的脸。

坑二:拿播放进度当口型时钟

音频有个自己的时钟(音频线程的采样时钟),播放器上的进度是另一回事,游戏主线程的帧时间又是第三回事。三者会有几十毫秒的漂移,在暂停、变速、缓冲的时候还会突然跳。正确做法是口型动画跟着音频线程的时钟走,而不是跟着播放器的进度条走。这个坑的症状是:短句看不出来,说上二十秒嘴就开始慢慢偏,最后差出小半个字。

坑三:不做缓存,钱烧得比美术外包还快

实时合成看着单价便宜,但玩家会重复触发同一段对话。测试阶段更是灾难——QA 把同一句台词听五百遍,你就合成了五百遍。上线前先把缓存层做了,别等账单来了才想起来。

坑四:把预生成当成万能药

预生成(提前把所有台词合成好、烘焙好)确实能消灭延迟,也确实是最优解——前提是台词固定。如果你的卖点是 LLM 现场生成对话,预生成这条路根本不存在,因为文本在你按下对话键之前还不存在。这两个是完全不同的产品,别用同一套架构。

坑五:情绪变了,口型没变

同一句「你走吧」,平静地说和吼出来,嘴的动作完全不一样。很多实现只改了音频,口型参数一动不动,结果角色在吼,嘴还是那副温吞相。情绪标签必须一路传到口型层,去调幅度和时长。

最后说一个不算坑的东西:争议。合成语音进商业项目,配音行业的反弹是真实存在的,前面 The Finals 那个案例已经说明了。技术上你做得到,不代表你该悄悄做。至少在项目里留一条披露路径,也给真人配音留一个位置——很多玩家其实听得出差别,只是他们不说,直接退款。

FAQ

Q1:我的项目只有三百句固定台词,要不要上 TTS 全链路?

不建议在运行时合成。三百句是很小的量,离线用云端 TTS 批量合一遍,口型也离线烘焙成片段,运行时零成本、零延迟、零外网依赖。如果预算允许,真人配音加自动对齐永远比合成好听,这钱花得值。真要用 TTS,就是把它当「便宜一点的录音」用,而不是当「实时的语音引擎」用。

Q2:ElevenLabs 给的字符级时间戳,够不够做口型?

看语言和句长。英文短句勉强够,因为字和音素的对应关系还算规整。中文不行——汉字是音节,一个音节里还有声母韵母,字符级时间戳只给你音节边界,中间怎么切还得自己猜。另外多音节词在长句里会慢慢漂,句子越长偏得越多。如果非要用,配合强制对齐接口做一次二次校准,会稳很多。

Q3:中文 TTS 的时间戳为什么总感觉差半拍?

三个原因叠在一起。一是音节边界和声韵母边界不是一回事,引擎给的是前者。二是标点停顿有时候被算进了前一个音节的时长里,于是那个字的嘴一直不闭。三是中文有声调,声调变化会改变音节内部的能量分布,让能量估计类方法判错起点。解法是把标点单独拎出来当静音段处理,别让它混进音节时长。

Q4:玩家打断之后嘴还在动,除了归零还要做什么?

三件事:权重缓动归零(120 毫秒左右)、清空口型事件队列、状态机回空闲。最容易被漏掉的是第二件——音频停了但队列还在消费,那张嘴会对着空气继续说完剩下半句。检查的时候直接搜「队列」相关的代码,看停止播放的路径里有没有清它。

Q5:有没有完全零成本的方案?

有,本地开源模型加纯能量估计,一分钱不花。代价是音色上限低、没有时间戳、嘴形精度只能到「大概对」。适合原型验证和预算极紧的项目。如果你做的是文字量巨大的叙事游戏,这个方案能不能扛住,取决于你愿意在音色质感上退多少步——这买卖划不划算,只有你自己知道。

最后抛个问题给你:如果 TTS 让每句话的「发声」变得唾手可得,那「配音」这件事本身的价值还剩什么?我的答案是——剩下的全部在那些 TTS 学不会的地方:气口、迟疑、说错话又改口的那半秒。而这些恰恰是口型最难跟上的部分。所以真正的问题可能不是「怎么让嘴跟上声音」,而是「该不该让嘴跟上每一个声音」。这个争论,第 17 篇会接着吵。

文章标签
Unity LipSync口型同步VisemeBlend ShapeuLipSyncSalsa LipSyncROGO LipSyncOVR LipSyncTTS 口型同步AI NPC 对话神经网络口型Audio2Face
更多专题全部专题
觉得有价值?点赞或收藏支持内容持续产出。
← 返回专题:Unity LipSync 技术专题