研究笔记

视频翻译，真正要紧的是什么

FAMILIAR 研究更新于 全部文章
语言版本EnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

摘要

一条配音站不站得住，取决于四件事：译文读起来像是用目标语言写的，声音听起来还是说话人本人，画面上的文字跟着转换，口型对得上。前两项决定了其余的一切。而这四件事归根结底是同一个问题：同一段表演，换一种语言。

四个问题

问一句“好的配音视频靠什么”，答案能列出一长串。压缩下来就是四项：

自然的翻译
做好是什么样用目标语言写出一份新脚本，把视频的意思讲好；而不是逐句对照搬过去。
自然的音频
做好是什么样同一个人、同样的情绪、同样的重音，只是换了语言。
画面文字
做好是什么样按目标语言和它出现的那一刻来改写，而且不伤到视频本身。
口型同步
做好是什么样看不出来。观众从头到尾都察觉不到它的存在。

前两项一旦失手，后面做得再好也没用：一句译错的台词、一个一听就不对的声音，单凭这一处就足以毁掉整条配音。后两项决定的是，成片看起来像原版，还是像配音。

自然的翻译：写一份新脚本，而不是逐句对照

每种语言都有自己的表达方式：用词、习语、句子结构、称呼，乃至哪些话根本不说出口。让模型去“翻译”，它就会把 A 语言的句子一对一地映射成 B 语言。人也一样：一旦把自己当成译者，任务就缩水成了句子转换。

这样翻出来的配音，听得懂，但不对。

观众需要的是一份用目标语言写成的新脚本，把视频的内容讲好。
  • 日语往往回避过于直白的说法；一句自然的台词常常得用委婉的方式重新组织，而不是逐字调软语气。
  • 韩语经常省略主语；按英语的频率把代词搬进韩语，哪怕每个词都没错，读起来也像外国话。
  • 语序、语体、敬语，以及一种文化里心照不宣的东西，每换一种语言都会变；字面意思保住了，不等于翻译就好。

“好”很难列成清单，所以我们把目标压缩成一句话：用目标语言把视频的内容讲好。这是可以衡量的：

100.3%

Familiar 达到的资深专业译者质量，对照专家修订的参考译文盲评打分

法语、中文、印地语、印尼语（资深专业译者的初译）
54.7%

同一批片段上，Familiar 少犯的重大翻译错误（29 次 vs 64 次）

对比 ELEVENLABS DUBBING V2 (ALPHA) · 111 组成对输出 · 3 种语言

自然的音频：同一个人，换一种语言

发音几乎已经解决了。真正有意思的失败，发生在发音之外：

  • 身份：同一个人在每种语言里听起来都还是同一个人。
  • 情绪：说话人当时的感受，换了语言依然在。
  • 重音、节奏、意图：一句话的落点在哪里，说得多快，想要达到什么。

这个目标和翻译的目标一样可以压缩：音频要和视频对得上。不是“用 A 语言里的那个声音生成 B 语言”，而是同一段表演，换一种新的语言。场景也是音频的一部分：笑声、音乐、现场环境音。

270%

ElevenLabs 多出的背景音损伤（11.92 vs 3.22 dB）：音乐、音效、环境音

DUBBING V2 (ALPHA) 研究 · 同一批片段
+27.8%

Familiar 高出的音色还原度（0.461 vs 0.360），全部 11 种语言都更接近说话人本人

对比 ELEVENLABS · DUBBING V1 研究 · 418 组成对输出
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

画面文字也是视频的一部分

如今的视频离不开画面文字：花字、笑点、表情包、卡在节拍上的一个词。每一处都是源语言里的一个视觉事件。要把它本地化，有两条要求：

  • 绝不能伤到视频。出现瑕疵或视觉干扰，成片就比原版更差。
  • 绝不能照字面翻。你得先弄明白这段文字为什么在这一刻、出现在这个位置，才谈得上改写它。

如今，Familiar 的多模态本地化决策模型（MLDM）是首个多模态翻译基础模型，全新范式，业界首创，它会和配音一起翻译标题、简介和字幕。画面里的文字正在研发中：手机屏幕或路牌，会沿用你已定下的译法；品牌或名字由它当场决定保持拍摄原样，所以一袋 Tostitos 还是 Tostitos；翻译哪些文字由你来选。原则不变：只要看得出改动，就还不够好。

首个多模态翻译基础模型

口型同步：成功就是不被察觉

口型同步也有同一条硬性要求：绝不能伤到视频。一条配音的口型能得到的最高评价，是观众一句“改了什么？”

在四项里，它看起来最不重要；放到最终的观看体验里，几乎恰恰相反。人是用眼睛在听的：同一段声音，配上不同的嘴型，会被听成不同的音，这就是麦格克效应。嘴型对不上，正是配音视频让人别扭、观众却说不出原因的一个缘由。
McGURK & MacDONALD, “HEARING LIPS AND SEEING VOICES,” NATURE 264 (1976)

这个效应也能为配音所用。一旦嘴型对上了，大脑会朝着一致的方向去消解歧义：发音听起来更清楚，音色也更像同一个人。

难点在于：画外音、多人同时说话、长相或声音相似的人，以及改动嘴部却不破坏整张脸。画面里一旦有两个人，如今的工具会让两张嘴同时对口型。

嘴唇只是起点。一个人说一句话，用的是整张脸，眼神、眉毛、脸颊、头部，还有身体：手势、点头、倾听时的那半拍停顿。

一个问题，而不是四个

每一项要求压缩到最后，都是同一句话。自然的翻译：用目标语言写出这条视频在说什么。自然的音频：用新的台词保住同一段表演。画面文字：动手之前先弄明白它为什么在那里。口型同步：改动这个人，却不把这个人改坏。

同一段表演，换一种语言。

这正是 MLDM 所做的决定，在同一批片段上实测，结果公布在 /benchmark。每个决定都随配音任务一并记录，都可以修改；现在，你的创意总监就能在几种译法中挑选。

参考资料

  1. [1]Familiar vs ElevenLabs 基准测试：完整结果、置信区间和试听样例
  2. [2]AI 翻译 vs 人工翻译：与专业译者同场测试（2026）
  3. [3]AI 口型同步：是什么、缺什么、什么更好（2026）
  4. [4]为什么配音在海外显得别扭，影视公司如何解决（本文论点的影视公司版本）
  5. [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)

多模态翻译

Familiar Labs 用多模态本地化决策模型（MLDM），让配音迎来代际飞跃。这是首个多模态翻译基础模型：一个模型决定本地化什么，覆盖文本、音频和画面，并把选择摆到你面前。你的声音与口型，带进新的语言。团队8人，汇聚多位博士；投资方包括 Samsung、RedBird、Gold House。 我们的使命

查看完整基准测试 →联系团队