Unity LipSync 技术专题全层级18 / 21 已发布

VTuber 技术生态对 Unity LipSync 的反向渗透——ARKit、MediaPipe 与游戏角色驱动的边界融合

· 0 分钟阅读
VTuber 技术生态对 Unity LipSync 的反向渗透——ARKit、MediaPipe 与游戏角色驱动的边界融合 — Unity LipSync 技术专题

VTuber 技术生态对 Unity LipSync 的反向渗透——ARKit、MediaPipe 与游戏角色驱动的边界融合

为什么“给主播用的东西”才是游戏 LipSync 的新基石

先讲个让游戏圈有点没面子的对比。

2019 年,我认识一个做独立游戏的朋友,为了一段 40 秒的 NPC 独白,硬 K 口型 K 了三周。每天对着波形图,一帧一帧地掰嘴。做出来的东西不能说不好,只能说——像一台很努力的机器在说话。

同一个时期,隔壁做 VTuber 的小姑娘,用一台二手 iPhone X 加一个免费软件,让她的皮套跟着她实时说话,能眨眼睛,能歪头,能吐舌头,一天播四小时。设备总价不到三千块。

这两件事的差距不在技术,在动机。VTuber 行业的处境是:没预算、没动捕棚、一天要播四小时、必须实时。所以它把所有“能省就省”的路都趟了一遍,最后趟出来一条:用消费级摄像头 + 端侧神经网络 + 一套很便宜的映射规则,把“表演”这件事压到几千块钱。

游戏行业刚好反过来。有预算、能动捕、一年出二十小时内容、可以离线慢慢磨。所以这二十年它一直在优化“预生成的质量”,而不是“实时的成本”。两边各自走到了自己的天花板。

这篇文章要干的事很具体:把 VTuber 那条链路拆开,看看哪一段能搬进游戏,哪一段搬进来会出人命。

我先把自己的判断撂在这儿,你可以不同意:面捕不是给剧情 NPC 用的。它是给两拨人用的——玩家自己捏的那个角色,和你的动画师。这两件事搞混,你的项目会多花三个月,然后在某个版本会上被砍掉。

为什么说这是“第一块基石”?因为它把你脑子里的 LipSync 从“事后生成的一段动画”,切换成“每帧都在变的一串数”。视角一换,一堆以前不存在的问题会自动浮出来:延迟算谁的、抖动怎么修、丢脸了怎么办、玩家没 iPhone 怎么办。这些问题,VTuber 圈子已经用血泪替你答过一遍了。

第一层:信号从哪来——三条路的物理现实

先破一个特别常见的误区。很多人以为“面捕”是一个东西。其实它是三种完全不同的传感器,物理原理都不一样,踩的坑也完全不一样。

第一条路,红外结构光。iPhone 的 TrueDepth 往你脸上打一束看不见的点阵,用几万个点的形变反推 3D 形状,再算成 52 个表情系数,每秒 60 次。这里有个反常识的点,几乎所有第一次用面捕的人都会被震惊:暗光不是问题,强光才是问题。因为它不靠可见光,你在黑屋子里做鬼脸它照样准;但你在正午的太阳底下,红外信号被日光直接淹没,它会开始乱飘。所以户外直播的面捕质量,普遍不如深夜卧室。

第二条路,普通 RGB 摄像头加神经网络。MediaPipe 就是这条路。一张普通照片进去,478 个三维关键点出来(468 个面部网格点加 10 个虹膜点),再叠一个模型输出 52 个跟 ARKit 同名同序的表情分数。便宜、跨平台、什么摄像头都能跑,手机上也能跑。代价也很直白:它靠“看见”来推断,你看不见它,它也看不见你。侧脸、刘海挡眼、逆光、戴眼镜,都能让它当场躺平。

第三条路,音频包络。这条最土,也最便宜。麦克风音量进来,算个均方根,直接推下巴。它不分口型,只分“张多大”。但它的可用率是百分之百——没有摄像头、没有权限、没有网络,它都能跑。

这里要插一句体验层面的关键差异。VTuber 的观众知道“对面是个真人,设备可能很烂”,所以画面抖两下会被当成网卡了,弹幕还会刷“心疼主播”。游戏玩家不是这个心态。他们看到的是“这个角色在抽搐”,然后截图发论坛。

这就是我后面要反复用到的一个概念:面捕恐谷。角色的拟人度越高,一点点抖动、一点点跳变、一点点延迟,就越刺眼。VTuber 圈活得最稳的那批皮套,往往是大眼卡通比例——不是因为技术差,是因为卡通脸给了你容错的带宽。

信号源输出内容端到端延迟硬件门槛用户覆盖光照敏感度适合干什么
ARKit 结构光52 个表情系数,60fps约 15-25msiPhone X 及以后低,直接筛掉安卓和旧机型怕强光,不怕暗光玩家自建角色、表演录制
MediaPipe 视觉478 关键点 + 52 个同口径系数桌面 10-20ms,中端安卓 30-60ms任意摄像头高,接近全覆盖怕暗光、怕侧脸、怕遮挡PC 端小项目、WebGL
音频包络一个 0-1 的张口量小于 20ms麦克风全覆盖不敏感兜底方案、2D 风格化

这张表里最该被盯住的是“用户覆盖”那一列。用 TrueDepth 做面捕,等于把安卓用户和一堆老 iPhone 用户直接请出去。这不是技术判断,是产品判断,而且很多人是在做完 Demo 三个月之后才想起来的。

第二层:52 个系数不是口型,是肌肉

这一层是整篇文章最容易被搞混的地方,也是个能直接毁掉项目排期的认知错位。

ARKit 给你的 52 个系数,描述的是脸上的肌肉在干什么——下巴张开了多少、嘴唇噘起来多少、嘴角往上拉了多少。而传统 LipSync 里的 viseme(口型音素),描述的是你说的是哪一类音——这是 AA、这是 O、这是 M。

这两个东西的关系,像“表情”和“台词”。你可以做出一个完美的 O 形嘴,但一个字都没说;你也可以说一句“妈妈妈妈”,嘴几乎不动。

所以面捕做 LipSync,本质不是“识别你在说什么”,而是“复制你的嘴”。它的准确度天然极高,因为它是几何;它的可迁移性天然为零,因为几何只属于这张脸。

这就引出映射问题:怎么把 52 个肌肉信号,变成目标角色嘴上那几根滑块?

我见过三种做法。第一种是直通:角色也做 52 个 blendshape,一一对应。VRM 和 VRoid 的模型就是这么干的,因为 VTuber 生态本身就是这么长起来的。放到游戏里?先问问你们美术这两周还能不能腾出来。

第二种是粗暴降维:取最大值,哪个系数大就用哪个口型。你猜怎么着,O 和 U 分不开,M 和 B 也分不开。玩家看到的是“嘴在动,但不知道在说什么”,那种感觉特别像早期语音助手。

第三种是加一个中间层,我强烈推荐这条。先把 52 个肌肉信号归成 4 到 6 个“口腔自由度”,再由这些自由度去驱动口型。这才是把面捕变成工程而不是玄学的地方。

口腔自由度主要来源系数为什么需要它
张口度jawOpen 减去一部分 mouthClose口型信息量的大头,占六成以上
圆唇度mouthPucker、mouthFunnel区分 O 和 U 的关键,缺了就分不清
展唇度mouthStretch 左右、mouthUpperUp 左右区分 E 和 I 的关键
闭唇度mouthClose、mouthPressM、B、P 三个音全靠它,漏了就成“假唱”
舌位tongueOut大部分游戏项目可以不做,性价比低
左右偏移mouthLeft、mouthRight、jawLeft、jawRight表演用,LipSync 用不上,但录表演时很有味道

中间层最大的价值不是精度,是可重定向。你今天用 iPhone 录,明天换普通摄像头,后天客户送了台 Quest Pro,中间层一行不用改。而且中间层能存盘——存 5 条曲线,比存 52 条曲线省掉九成空间,换个角色也不用重录。

说个真实案例,VRChat。它的 Avatar 3.0 里有一组固定的嘴部参数,15 个,值域 0 到 100:静音、PP、FF、TH、DD、kk、CH、SS、nn、RR、aa、E、ih、oh、ou。这 15 个就是 Oculus 那套 viseme 集合的完整移植,一点没改。

普通桌面玩家说话的时候,VRChat 客户端自己用音频算这 15 个值。你插上麦克风说句话,Avatar 的嘴就动起来——这条链路是纯音频驱动,成本几乎为零,但它只分口型类别,不管你实际的嘴形长什么样。

戴面捕的人怎么接进来?社区在后台做了一层东西,把摄像头数据转成那 15 个参数,直接盖掉音频驱动的结果。

然后混乱就来了。每个 Avatar 作者起的参数名不一样,每个硬件厂商的输出格式不一样,每套表情包的逻辑不一样。于是社区自己定了一套标准,把 ARKit 的 52 个系数、Quest Pro 那套眼追面追、还有各种杂牌硬件的输出,统一到一套命名上。

我想在这里停一下。一个有几十万日活的平台,最后是志愿者把标准化这件事干完了。这在游戏行业基本不可想象——我们连“角色控制器要不要统一”都能吵三年。

这套标准的收益很明显:Avatar 作者少写一堆映射,新人进来照抄就行。代价也很明显:它把“ARKit 52”焊死成了事实标准。现在你在 Unity 里做一个 3D 角色,如果嘴部 blendshape 不按那套命名来,想接面捕就得多写一层翻译。这不是技术问题,是生态惯性,而且你拧不过它。

第二个代价是:15 个 viseme 是“音位”,面捕给的是“几何”,两者天生对不上。玩家发 F 音的时候,ARKit 给你的是嘴唇下卷加一点张口,你得想办法把它凑成 FF 那一个数值。凑不上的那部分,就是损耗,就是你看起来“有点假”的地方。

第三层:延迟账本——你的 30 毫秒是怎么变成 180 毫秒的

每个做面捕的人,第一次测延迟都会经历三个阶段:以为很快、测出来很慢、开始甩锅。

甩锅对象通常是“摄像头太烂”。但真凶往往是你自己加的那行平滑。

把账摊开算一遍就清楚了。

环节典型耗时备注
摄像头曝光与采集16-50ms60fps 是 16.7ms 一帧,但驱动常有一帧缓冲
人脸推理10-60msARKit 端侧约 10-20ms;MediaPipe 桌面 10-20ms,中端安卓 30-60ms
传输小于 1ms 到 60ms本机几乎为零;iPhone 经 Wi-Fi 到 PC,20-40ms 是常态,Wi-Fi 一抖能翻倍
平滑滤波的群延迟20-150ms隐形杀手,基本等于你设的时间常数
Unity 侧处理小于 1ms52 个浮点,忽略不计
渲染16-50ms一到三帧

全本机跑,60 到 120 毫秒。串流方案,120 到 200 毫秒。

对照一下行业标准。ITU-R BT.1359-1 给的容忍区间是:声音最多可以超前画面 45 毫秒,最多可以滞后画面 125 毫秒。注意这个区间是不对称的——观众对“声音比画面早”特别敏感,因为现实世界里声音永远比光慢,反过来的体验会让大脑直接报警。

所以结论很硬:实时面捕驱动口型,只有在“玩家自己在动嘴”的场景里才成立。那时候玩家脑子里的因果链是“我动、它就动”,容忍度高得多。一旦变成“音频先播、角色后动”,你就是在打一场必输的追赶仗。

这个结论能直接翻译成产品决策:

  • 玩家自建角色、捏脸、社交、沙盒、直播联动——上实时面捕,值得。
  • 剧情 NPC 的台词对话——别上实时,改成离线烘焙。

离线烘焙这条,我要单独说,因为它是这篇文章里我最想让你记住的一句话。

用面捕工具录表演,比手 K 帧快得多,而且大概率更好看。你戴上 iPhone,对着镜头念三十秒台词,工具把每帧的系数存下来,导进 Unity 变成一段曲线再转成动画,然后花二十分钟修一修——你就得到了一段有微表情、有停顿、有呼吸、有那种人类说话时会突然停半拍的表演。手 K 同样的东西要四到六小时,而且做完往往更假,因为人手 K 出来的嘴是“均匀”的,真人的嘴是“不均匀”的。

这就是“把 VTuber 工具当动画师的摇杆用”。我的判断是:这是目前独立团队在对话表演这个环节上,性价比最高的方案,没有之一。它还顺手绕开了“手工 vs 程序化”那个老争论——因为面捕录下来的是“人”的表演,程序化生成的是“规则”的表演,这两样东西根本不在一个维度上。

第四层:产品层——校准、降级,和那道面捕恐谷

技术跑通了,Demo 发给朋友,第二天收到一句话:“我的角色嘴是歪的。”

这一步几乎每个项目都会撞上,而且撞上的时候通常是发版前两周。要解决的是三件事。

第一,中性校准。人的脸天然不对称,笑起来一边高一边低,平时嘴角也一边紧一边松。你不做校准直接减基线,十个人里有三个一进游戏角色就歪嘴。做法不复杂:进场景之前让玩家“放松,别笑,看镜头两秒”,采两秒均值当基线,后面所有系数减掉它。两秒是极限,超过这个时间玩家会开始做鬼脸、眨眼、扭头,采出来的数据全废。

第二,失效降级。人脸丢失、数据丢包、暗光、手挡脸——这些东西一秒钟能发生好几次。硬切的结果是角色“面瘫”,比抖动还难看,因为观众的注意力正好被那个僵住的瞬间抓走。做法是设丢包超时,超过就用零点几秒把系数淡出到 idle 表情。这个淡出的时长是体验的分水岭,短了像跳帧,长了像发呆,0.15 到 0.3 秒之间去试。

第三,面捕恐谷。这个词是我造的,对应这个系列第 14 篇里聊过的“口型恐谷”。意思是:角色越像人,抖动、跳变、穿模越刺眼;角色越卡通,观众越宽容。你非要做一个毛孔可见的写实角色,那就得把平滑、死区、限速全拉到最狠,而拉满之后它又变糊了,嘴像隔着一层毛玻璃。这就是谷底,你得选边站。

说个特别能说明问题的案例:VTube Studio 和 Live2D。

Live2D 模型的嘴部标准参数就两个:一个控制开合,一个控制唇形(咧还是噘)。52 个 ARKit 系数要硬塞进两个参数里,理论上损失了百分之九十以上的信息。

但 VTube Studio 活得非常滋润。为什么?

因为它卖的不是“精确”,是“这个角色是我在演”。观众看的是一个插画脸跟着主播眨眼、歪头、笑,情绪价值在“我”身上,不在“嘴型准不准”上。主播发 O 的时候嘴没圆透,没人在意;主播突然笑了,那个笑是真的,这才是在意的东西。

顺着这个逻辑往下推,能给独立开发者省一大笔钱:

  • 你做 2D 或风格化,别碰 52 通道。做 2 到 4 通道就够了:张口、圆唇与展唇、闭唇,再加一个“情绪覆盖”(说话时按语境切表情)。
  • 省下来的时间去做眨眼、眉毛、脸红、呼吸起伏。这些才是玩家真正读得懂的情绪信号。
  • 2D 游戏做 LipSync 的核心从来不是“对齐音素”,是“对齐情绪节奏”。这一点第 14 篇会展开聊。

再补一个跨类对比,能把这个观点砸实:《My Talking Tom》。Outfit7 那只猫,从 2013 年开始,玩法核心就是“你说话,它用滑稽的嗓子复读,嘴跟着音量一张一合”。没有摄像头,没有神经网络,就是音量包络推下巴。全球下载量几十亿。

这事说明什么?口型的情感价值来自“它回应我了”,不来自“它对得准”。玩家对着麦克风喊一句浑话,猫用尖嗓子复读回来,嘴一张一合——这个瞬间的快乐,跟“你能精确区分 O 和 U”毫无关系。

我们这行花了太多时间在“准”上,花太少时间在“回应”上。面捕能给你的,如果只是“更准”,那它的 ROI 就得重新算;如果它能给你“回应”(玩家一动嘴,角色立刻跟着动),那这个钱花得值。

参数化设计工具:一张能直接当配置表初稿的东西

下面这些数字是起手值,不是真理。你的美术风格、角色头身比、目标平台都会让它偏移。但你可以先照这个跑通一版,再慢慢拨。

分组参数建议区间调它的理由
采集与滤波采集帧率30-60fps低于 24 抖动肉眼可见;60 是甜点,再高收益递减
滤波算法速度自适应低通低速稳、高速跟手,比固定低通好在不会把快速动作糊掉
低频截止0.8-1.5 Hz越小越稳越糊;大眼卡通角色可以下探到 0.6
速度自适应系数0.01-0.05越大越跟手,也越容易把抖动放大
死区0.03-0.08静止抖动的主要来源,低于 0.03 角色会“抖嘴”
最大变化速率每秒 6-12(归一化)防跳变,切场景和丢帧时尤其重要
映射口型通道数(2D)2-4别贪多,多一个通道就多一份抖动
口型通道数(3D 手游)5-8张口、圆唇、展唇、闭唇够用了
口型通道数(3D PC)12-15对齐 VRChat 那套 15 viseme,能少写一堆映射
张口映射曲线0.7-0.9 次幂小于 1,让小声说话也能张开嘴
闭唇优先级高闭唇系数高的帧必须压制张口度,否则 M/B/P 全漏
运行时端到端延迟预算小于 120ms超过就踩进音画同步的不适区
丢包超时150-300ms短了误判,长了角色会长时间僵住
淡出时长0.15-0.3s从丢失平滑过渡到 idle 表情
校准采样时长1.5-2.5s太短不稳,太长玩家开始做鬼脸
新增 blendshape 预算8-15 个每角色每一个都是实打实的 CPU,不是免费的
面捕 LOD 距离近景全量、中景半量、远景关闭多角色同屏时必须做,否则帧率直接崩

最后一行值得单独拎出来说。面捕本身的开销其实很小,52 个浮点数对 CPU 来说跟玩一样。真正贵的是你为了“接面捕”而把角色的 blendshape 从 8 个加到 52 个——一个两万顶点的角色,52 个 blendshape 全开,在中端手机上量级是好几毫秒,比大多数人预想的贵得多。这是面捕方案最容易被忽略的隐藏成本,而且它不会在你做 Demo 的时候暴露,只会在你上真机压测的那天暴露。

这张表里每一格都能吵起来。我的建议是:先做一版能跑通的,把抖动、延迟、降级这三件事按死,再去调精度。精度是最后百分之十的体验,抖动是前百分之九十的灾难。

双路径:你该走哪条,取决于你怕不怕麻烦

初级路径(1 到 3 人,PC 或 WebGL,预算 3 到 5 人日)

适合谁:只想让玩家角色“动动嘴”,不指望它成为卖点。

  • 普通摄像头加现成的视觉方案,Unity 侧有社区插件,网页端也有能跑的版本,别自己造轮子。
  • 只取 5 个信号:张口、圆唇、展唇、闭唇、吐舌(吐舌可选)。
  • 角色只做 4 个口型 blendshape,剩下的靠贴图假。
  • 三件套必须做:死区、滤波、中性校准。这三件事的代码量加起来不到一天,但它们决定了你的 Demo 是“能用”还是“能看”。
  • 兜底方案必须做:摄像头失败、权限被拒、暗光崩掉,就自动退回音频包络。这个切换逻辑半小时能写完,但它能救回一批玩家的体验。
  • 别碰:实时对话口型、多人同时面捕、原生移动端。

进阶路径(有 iOS 端,或要把它当生产力工具,预算 15 到 30 人日)

  • 直接上 iOS 的系统级面部追踪,只支持苹果真机,别指望模拟器。
  • 自建“口腔自由度”中间层,别把 52 个系数直接喂给最终口型。
  • 做一个离线烘焙工具:录制、曲线修正、烘成动画片段。这才是真生产力,也是我最推荐的投入方向。
  • 角色 blendshape 控制在 15 个以内。真想追求细节,用贴图、法线、材质切换去假,别堆 blendshape。
  • LOD 分级:超过一定距离直接关面捕,只留音频包络。多人同屏时这是帧率的救命稻草。
  • 一定要量 52 通道全开时的开销,别信“面捕很便宜”这句话——便宜的是信号,贵的是它生成出来的东西。

争议与常见坑:我翻过的车,你可以绕开

坑一:以为这是免费的午餐。面捕的成本不在你这边,在玩家那边。让玩家为了游戏里的口型专门买一台 iPhone,你自己算算转化率。凡是需要玩家额外装 App、额外配对设备的方案,先问一句“这个功能值不值这个动作”。

坑二:把 52 个 shape key 直接甩给美术。在 DCC 里刷 52 个 shape key 是两到三周的美术工作量,而且大部分项目根本用不上。我见过一个团队花了三周做完,最后上线只用到了 6 个。

坑三:平滑调太狠,以为在修抖动,其实在制造延迟。低通滤波的时间常数就约等于它贡献的延迟。你把截止频率压到 0.5Hz 的时候,恭喜你,你给整条链路白送了三百毫秒。

坑四:忘了音画同步是不对称的。声音晚 125 毫秒观众能忍,画面晚 45 毫秒就有人在评论区骂。所以延迟预算要往“画面不能落后”这个方向分配,而不是简单对半分。

坑五:直接存 52 通道的原始动画数据。数据量爆炸不说,换个角色、换套骨骼、想改美术风格的时候,你会发现自己手里全是垃圾。存中间层的自由度,别存原始肌肉系数。

坑六:平台与授权风险。想做跨设备面捕,一定会碰到各家的授权条款,这个坑第 06 篇专门聊过 Meta 那套的边界,别以为开源就等于随便用。

FAQ

Q1:没有 iPhone,普通摄像头能做到什么程度?

能到“玩家看得出它在动嘴”的程度,到不了“看得出它在说什么”的程度。而且关键往往不在算法,在光照——正面补一个两百块的环形灯,效果提升比你换一整套算法都大。另外别用笔记本自带那颗摄像头做基准测试,它会让所有算法看起来都很烂,然后你会做出错误的选型判断。我干过这事。

Q2:MediaPipe 的 468 或 478 个点,跟 52 个 blendshape 是一回事吗?

不是。关键点是“几何”,blendshape 是“肌肉系数”。你可以从关键点自己算系数,也可以直接用现成的系数输出模型。区别在于:自己算可控但费劲,用现成的省事但被它的口径绑住。建议先用现成的跑通,确认体验成立之后再考虑自己算——很多人顺序搞反了,先花两周自研,最后发现体验问题根本不在精度上。

Q3:面捕能不能替代预烘焙 LipSync 给剧情 NPC?

实时不行,离线强烈建议。实时意味着玩家说话时角色要实时跟,你得跟延迟和抖动打一场没有尽头的仗;离线意味着你录表演、烘焙成动画,玩家看到的是打磨过的结果。iOS 那套面部追踪最正确的用法,是“给动画师一台便宜的表演机”,不是“给玩家一个玩具”。这两者的 ROI 差着数量级。

Q4:移动端跑视觉方案会不会掉帧、烫手?

会。中端安卓上单帧推理的量级是三五十毫秒,你不能每帧都跑。常见做法是隔帧跑加中间插值,或者把输入分辨率压到很低。更现实的选择是移动端干脆不做面捕,只做音频包络。判断标准很简单:如果你的目标机型里包含三年前的中端机,就别硬上。

Q5:两个人的小团队,值不值得上这套东西?

看你做的是什么。如果是“玩家捏的角色加社交或直播元素”,值得,它是核心卖点。如果是线性剧情加固定主角,不值,把这笔时间花在关键帧表演上回报高得多。我不会为了“技术先进”去上一个玩家感知不到的系统——这话我主要是说给三年前的自己听的。

最后回到开头那个 K 口型 K 了三周的哥们。他后来没用面捕。他用了个更土的办法:把那段 40 秒的独白拆成 8 段 5 秒的短句,每段只做 3 个口型。玩家根本没发现区别,他省了两周。

这事跟面捕有什么关系?关系是:技术选型的第一问永远是“玩家能感知到什么”,不是“我能做到什么”。

面捕给你的最大礼物,其实不是“实时”,是“表演”。它让一个没有动捕棚的两人团队,能录到人脸上那种不规则的、不对称的、会突然停半拍的微表情。这个东西手工做不出来,程序也生成不出来。

至于要不要把它接进游戏实时跑——先问一句:玩家看着这个角色的时候,想看到的是“它像人”,还是“它是我”?这两个答案,会把你导向完全不同的技术路线。你的答案是什么?

文章标签
Unity LipSync口型同步VisemeBlend ShapeuLipSyncSalsa LipSyncROGO LipSyncOVR LipSyncTTS 口型同步AI NPC 对话神经网络口型Audio2Face
更多专题全部专题
觉得有价值?点赞或收藏支持内容持续产出。
← 返回专题:Unity LipSync 技术专题