音视频一次翻译到位，不走级联

01. 机器配音的级联时代是什么样？

机器配音起步时是一条级联流水线：四个工具排成一排，各自搭建、各自调优，每个都把自己的结果交给下一个。

1. 01

   转写。

   语音转文字，把说了什么记下来。
2. 02

   翻译。

   一个文本模型把转写稿译成新的语言，既听不到声音，也看不到脸。
3. 03

   配声音。

   文字转语音把译文念出来，用的常常是陌生人的声音。
4. 04

   对口型。

   等每个词都定死之后，再由另一个工具让嘴跟着新的音频动。

正是这条流水线让机器配音成为可能。它的局限就藏在它的结构里：每个环节都在不知道其他环节的情况下猜测。译文不可能知道这句台词得贴合一张闭着的嘴，声音不可能知道自己身处什么样的房间。一个听错的词、一句超长的台词被一路往下传，错误在之后的每个环节里不断叠加。

这些年，每个工具都在进步：转写更干净，译文更准确，声音更自然。成片配音却进步得慢得多，因为工具之间的接缝一直都在原处。

02. 买方如今面对的是什么？

落到实际，级联就是一摞工具：转写出自一家，译文出自另一家，声音出自第三家，口型和字幕出自第四家。改一句台词，就得把它之后的每个环节重跑一遍，还得有人在你的团队里把这些文件攒到一起。绕开这摞工具的方案，则要在质量和时间之间二选一。辅助工具靠一支视效团队啃下难拍的镜头，做到了质量：每个项目要数周，每种语言都是一个新项目。一键式工具快是快，其余的却都放弃了：声音跑偏，现场环境音消失；手挡在脸前、麦克风、虚焦、焦外虚化、侧脸，或者画面里有好几个人，口型就对不上；没有空间推理，也不理解真实世界。Familiar 一气呵成，质量也在。

另一条路是完整的人工配音，翻译加配音演员，每分钟成片 $70–150。成本、人手和时间，让世界上大多数内容都用不起它：即便是顶级制作，也只配少数几种语言；规模小一些的制作、剧集和竖屏短剧，大多干脆不配音。

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

如果你正在考虑 ElevenLabs 配音，下面是他们文档的原话，以及我们的研究结果：

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. 一个模型做所有决定，会改变什么？

Familiar 用多模态本地化决策模型（MLDM）来配音。MLDM 决定本地化什么、怎么本地化，覆盖文本、音频和画面；这些决定出自同一个模型，所以彼此一致。定义见首个多模态翻译基础模型。

你拿回来的是演员本人的表演，换了一种语言：他的声音、他的口型、他的表情和场景音，一起带了过去。上传一次，就同时发往每一种语言：配音输出 30 种语言，素材可以是 99 种源语言中的任意一种。

放在一起决定，也改变了可能出错的地方。一句可能超长的台词，在任何声音做出来之前，就已经按时长和嘴型译好。句子中间的一声笑，还是一声笑。两个人抢着说话时，模型知道哪句是谁说的，动的就是对的那张嘴。

04. 这会给成片配音带来什么变化？

我们把同一批片段分别交给两套系统，用同样的方法打分。每个数据都出自各自的研究，公布在基准测试上。

声音也做了测量：在上面引用的研究中，对比 ElevenLabs Dubbing v1，Familiar 的音色还原度高出 27.8%，全部 11 种语言都更接近说话人本人。

在 YouTube 自己的那项研究里，YouTube 自动配音的背景音错误多出 232.6%。场景之所以能保住，是因为 MLDM 听得到音轨里的一切，笑声、人群、音乐，它找出主要的那个声音，用说话人自己的声音把它带进新语言，其余的原样保留。

05. “先定翻译，再一气呵成做出配音”是什么意思？

++

先定翻译，再一气呵成做出配音：声音、口型和场景一并到位。

顺序很要紧。翻译先行，由你的创意总监审核：一句台词能听出不止一种意思时，他们会看到几种译法和各自背后的理由，从中挑一种。之后才做配音，只做一次。不编造任何新东西。不是“生成式 AI”，而是助力创作者的翻译。把繁琐的活儿交给 MLDM。

字幕按 Netflix《定时文本样式指南》的规范切分，这是业内通行的字幕模板标准。每一条配音都在 Familiar 自有的、价值八位数美元的 NVIDIA B300 GPU 集群上处理，就在加拿大多伦多，从不在 Google Cloud、AWS 这类公有云上，也从不经第三方推理服务商之手。文件详见输出文档，处理方式详见自有算力推理，对一个片库意味着什么，详见多模态翻译基础模型对影视公司和平台意味着什么。

06. 最后由谁拍板？

1. 现在

   你的创意总监审核翻译上的决定。

   几种译法连同各自背后的理由；发布之前，由他们挑定一种。
2. 现在

   不翻译清单和一句话说明随配音任务一起走。

3. 研发中

   音频和画面上的决定，放进同一个审核界面。

   哪些保留原语言，模型选错了说话人时换一张脸，以及画面里的文字。

对一个片库来说，变的是触达范围。一部本来只会有一种语言的剧，可以同时以 30 种语言发出去，带着演员自己的表演，而每个要紧的决定仍由你的团队来做。

这就是决策记录；完整的介绍见决策记录：创意总监如何指挥 MLDM，模型决定什么，见什么是多模态本地化决策模型（MLDM）？。背后的研究见开创多模态翻译：从音视频联合研究到首个基础模型。从人到人，让同一段表演走得更远。

常见问题