研究

开创多模态翻译：从音视频联合研究到首个基础模型

FAMILIAR 研究更新于 全部文章
语言版本EnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

摘要

开创了音视频联合人物建模这一领域的团队，造出了首个多模态翻译基础模型。Familiar 的多模态本地化决策模型（MLDM）把一个人的台词、声音和口型同时带进 30 种语言，素材可以是 99 种语言中的任意一种。本文梳理从研究到模型的这条线：团队发表了什么，为什么配音一直要过好几道工具，新在哪里，你现在能选什么，哪些正在研发中。
首个多模态翻译基础模型

是谁开创了音视频联合人物建模？

一条配音站得住，前提是声音和脸始终属于同一个人。Familiar 的研究员是开创了音视频联合人物建模这一领域的博士们：他们发表于 ECCV 2026 的论文 JAM-Flow，是首个音视频联合人物模型，把一个说话的人的声音和脸当成同一个问题来解。

论文

22

每一篇都在研究总览里附有链接

同行评审

18

发表于 ICLR、CVPR、ICCV、ECCV、NeurIPS、ICML、ACM Multimedia 和 WACV

引用

超过 10,000

团队自 2021 年以来的记录

顾问

2

Xu Zheng 教授和 Youngjung Uh 教授

这些工作覆盖了多模态翻译所需的各个部分：音视频联合人物建模、快速视频模型、编辑和多模态感知。每篇论文和发表会议都列在我们的研究总览里。原因是私人的：CEO An Zhu Liu 小时候没法用英语和同学说话，是看电视学会的，这段故事写在我们的使命页面上。

为什么配音一直要过好几道工具？

因为每一块都是先单独解决的。机器配音是以流水线的形式出现的，也正是这条流水线让它得以成立。它同时也定下了上限，此后造出来的工具，仍然要在质量和时间之间二选一。辅助工具靠一支视效团队做到了质量，每个项目要数周，每种语言一个新项目。一键式工具快是快，其余的却都放弃了：手挡在脸前、麦克风、虚焦、焦外虚化、侧脸，或者画面里有好几个人，它们的口型就对不上；没有空间推理，也不理解真实世界。Familiar 一气呵成，质量也在。

级联时代

  • 先转写，再翻译，再配声音，最后对口型。
  • 每个工具都在不知道其他工具的情况下猜测。
  • 陌生人的声音，配在一张已经对不上的脸上。

一个基础模型

  • 台词、声音、口型和场景，一起带过去。
  • 译文知道它要贴合的是哪张嘴。
  • 声音知道它身处什么场景。
  • 人始终是原来那个人。
++
Familiar 是首个多模态翻译基础模型：一个模型，把台词、声音、口型和场景一起带进新的语言。

逐步的对比见音视频一次翻译到位，不走级联；定义见首个多模态翻译基础模型。

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

这里说的“开创”指什么？

音视频一次翻译到位，不走级联：业界首创。

三件事，第一次凑到了一起。第一，音频和画面由一个模型同时带进新语言，所以这些决定彼此一致：声音是演员自己的，口型跟着新的台词走，笑声、人群和音乐都留在原处。

第二，是顺序。先定翻译，再一气呵成做出配音：声音、口型和场景一并到位。台词先定下来，并由你的创意总监审核，然后才配声音。

第三，是记录。MLDM 做出的每个决定都随配音任务一并记录，任何一项你都可以改。完整的介绍见决策记录：创意总监如何指挥 MLDM；MLDM 是什么，见定义篇。

模型决定什么，你又选什么？

一项研究成果要变成产品，用它的人得始终说了算。把繁琐的活儿交给 MLDM。创作上的决定始终归你。

MLDM 决定 | 由你来选

翻译
MLDM 决定每句台词用哪种译法：术语，照原样保留的俚语，名字和品牌，观众熟悉的典故。
你来选现在：从几个选项中挑定译法，每个都附有背后的理由。
音频
MLDM 决定先决定哪些该翻译：主要的那个声音，用说话人自己的声音带过去；其余的原样保留。
你来选研发中：哪些保留原语言。
画面
MLDM 决定到底是谁在说话，口型和表情怎么跟着新台词走。
你来选研发中：模型选错了说话人时换一张脸，以及翻译画面里的哪些文字。

还有什么正在研发中？

开创，意味着这是第一版，不是最后一版。翻译上的选择现在已经开放；记录的其余部分会分步开放。

  1. 现在

    你的创意总监审核翻译上的决定。

    几种译法连同各自背后的理由；不翻译清单和一句话说明随配音任务一起走。
  2. 研发中

    音频和画面上的决定，放进同一个审核界面。

  3. 研发中

    画面里的文字。

    手机屏幕、书的封面、路牌，沿用你已定下的译法；品牌或名字由它当场决定保持拍摄原样：一袋 Tostitos 还是 Tostitos。
  4. 研发中

    直播配音。

它给画面里的人带来了什么？

人工配音是世界上大多数内容用不起的。即便是顶级制作，也只配少数几种语言，因为成本、人手和时间都扛不住；规模小一些的制作、剧集和竖屏短剧，大多干脆不配音。多模态翻译基础模型让他们每一个都能拿到换一种语言的同一段表演：演员的声音、口型和表情进入 30 种语言，交付最高 4K 画面，原生 5.1 环绕声或立体声混音，24 位 PCM（输出说明）。

每一条配音都在多伦多一个价值八位数美元的 NVIDIA B300 GPU 集群上处理，用的是我们自有的算力，从不用公有云。详情见自有算力推理文档。
自有算力推理 · 加拿大多伦多

翻译实测达到资深专业译者质量的 100.3%，打平；研究详见 /benchmark。不是“生成式 AI”，而是助力创作者的翻译。从人到人，让同一段表演走得更远。对一个片库意味着什么，见写给影视公司和平台的那一篇。

常见问题

Familiar 的基础模型是谁造的？

一支 8 人的博士团队，开创了音视频联合人物建模这一领域：22 篇论文，其中 18 篇经过同行评审，被引用超过 10,000 次。Xu Zheng 教授和 Youngjung Uh 教授担任顾问。Familiar 获得 Samsung、RedBird、Gold House 的投资。

什么是多模态翻译基础模型？

一个模型，把台词、声音、口型和场景一起带进新的语言。Familiar 的多模态本地化决策模型（MLDM）是业界首创：它决定本地化什么，覆盖文本、音频和画面，并把每个决定随配音任务一并记录。

“不走级联”是什么意思？

机器配音过去要让一条视频过好几道独立的工具：先转写，再翻译，再配声音，最后对口型，每一道都在不知道其他环节的情况下猜测。Familiar 把音频和画面同时带进新语言，所以这些决定彼此一致，人也始终是原来那个人。

Familiar 是生成式 AI 吗？

不是传统意义上的生成式 AI。没有提示词，也不编造任何新东西：演员、节奏和场景都不变，台词、声音和口型被带进新的语言。不是“生成式 AI”，而是助力创作者的翻译。

我现在能选什么？

翻译。一句台词能听出不止一种意思时，在配声音之前，你的创意总监会看到几种译法和各自背后的理由，从中挑一种。音频上的选择、画面上的选择和画面里的文字，正在研发中。

参考资料

  1. [1]JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching (ECCV 2026)
  2. [2]团队发表的研究
  3. [3]多模态本地化决策模型（MLDM）
  4. [4]决策记录
  5. [5]Familiar 基准测试
  6. [6]我们的使命

多模态翻译

Familiar Labs 用多模态本地化决策模型（MLDM），让配音迎来代际飞跃。这是首个多模态翻译基础模型：一个模型决定本地化什么，覆盖文本、音频和画面，并把选择摆到你面前。你的声音与口型，带进新的语言。团队8人，汇聚多位博士；投资方包括 Samsung、RedBird、Gold House。 我们的使命

查看完整基准测试 →联系团队