定义

首个多模态翻译基础模型

FAMILIAR 研究更新于 全部文章
语言版本EnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

摘要

Familiar 是首个多模态翻译基础模型：一个模型，把台词、声音、口型和场景一起带进新的语言。在此之前，机器配音要过好几道各自为政的工具，每一道都在不知道其他环节的情况下猜测。多模态本地化决策模型（MLDM）把这些决定放在一起做，所以同一位演员在每种语言里都是同一段表演。先定翻译，再一气呵成做出配音：声音、口型和场景一并到位。
首个多模态翻译基础模型

什么是多模态翻译基础模型？

一个模型，把台词、声音、口型和场景一起带进新的语言。

一条视频说的，不只是它的台词。说话人的声音、嘴的动作、现场的笑声、一场戏底下的音乐，都在传达意思。把视频翻译好，就是把这一切都带过去，而且让它们彼此一致：台词要贴合嘴型，声音要融进场景，画面里的人要始终是原来那个人。

多模态翻译基础模型，就是一个模型包办这整件事。它把素材当成一个整体，决定每个部分在新语言里该怎么呈现。Familiar 造出了第一个，叫它 MLDM。

为什么配音一直要过好几道工具？

人工配音一直是世界上大多数内容用不起的。即便是顶级制作，也只配少数几种语言，因为成本、人手和时间都扛不住；规模小一些的制作、剧集和竖屏短剧干脆不配音。一次完整的人工配音，翻译加配音演员，每分钟成片 $70 到 $150。

机器配音一开始是一条流水线：先转写，再翻译，再配声音，最后对口型。

正是这条流水线让机器配音成为可能，链上的每个工具也都把自己那一环做得越来越好。可每个环节都是各干各的。译文从没见过它要贴合的那张嘴，声音从没听过它所在的场景。开头一个小错误，在之后的每个环节里越滚越大，最后就成了陌生人的声音配在一张对不上的脸上。

一个模型一起包办，会改变什么？

级联时代

  • 一个接一个的独立工具。
  • 每个环节都在不知道其他环节的情况下猜测。
  • 一个新的声音，配在原来的脸上。

首个基础模型

  • 一个模型，一组决定。
  • 译文知道它要贴合的是哪张嘴。
  • 声音知道它身处什么场景。
  • 人始终是原来那个人。
++
音视频一次翻译到位，不走级联：业界首创。

传过去的是同一位演员的表演：他自己的声音，跟着新台词动的嘴唇，他的表情，以及他周围的场景音。笑声、人群和音乐都原样保留。在同一批片段上，YouTube 的背景音错误比 Familiar 多出 232.6%。单看文字，译文与资深专业译者的初译打平：达到其质量的 100.3%。完整数据见基准测试。

它也改变了配音周边的工作。如今做到高质量的路线是辅助式的：一支视效团队逐个镜头忙上数周，每种语言都是一个新项目。如今的一键式工具，快是快，其余的却都放弃了：译文改不了，音乐和现场环境音消失，口型在最平常的镜头上就出问题，手挡在脸前、麦克风、虚焦、焦外虚化、侧脸，或者画面里有好几个人。没有空间推理，不理解真实世界。Familiar 一气呵成，质量也在：上传一次，一条视频就同时带进你选的每一种语言；这些决定出自同一个模型，所以彼此一致，不必再靠人工一块块拼回去。

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

MLDM 决定什么，你又选什么？

多模态本地化决策模型就是这个模型本身。MLDM 决定本地化什么、怎么本地化，覆盖文本、音频和画面。完整定义见什么是多模态本地化决策模型（MLDM）？

它决定，你来选

翻译
MLDM 决定一句台词用哪种译法带进新语言：术语、俚语、名字、典故。
你来选发布之前，你的创意总监在几种译法中挑选，每种都附有理由。
音频
MLDM 决定先决定哪些该翻译：主要的那个声音用说话人自己的声音带过去，其余的原样保留。
你来选哪些保留原语言。正在研发中。
画面
MLDM 决定到底是谁在说话，口型和表情怎么跟上。
你来选模型选错了说话人时换一张脸，以及翻译画面里的哪些文字。正在研发中。
  1. 现在

    翻译上的决定，由你的创意总监审核。

    每个决定都随配音任务一并记录。任何一项你都可以改。
  2. 研发中

    音频和画面上的决定，放进同一个审核界面。

  3. 研发中

    画面里的文字，以及直播配音。

    手机屏幕或路牌，沿用你已定下的译法；品牌或名字由它当场决定保持拍摄原样：一袋 Tostitos 还是 Tostitos。

这些选择的记录，见决策记录：创意总监如何指挥 MLDM。

影视公司能从基础模型得到什么？

把繁琐的活儿交给 MLDM。创作上的决定留给做出作品的人；其余的，由模型同时带进每一种语言。

语言

30 种输出，99 种输入

配音输出 30 种语言，素材可以是 99 种源语言中的任意一种。

成片

最高 4K

完整混音

原生 5.1 环绕声或立体声

由你选择，24 位 PCM。

字幕

.srt 和 .vtt

按 Netflix《定时文本样式指南》的规范切分，这是业内通行的字幕模板标准。

自有算力推理

加拿大多伦多

我们自有的、价值八位数美元的 NVIDIA B300 GPU 集群，从不用公有云。

每一条配音都在这个集群上处理，从不经第三方推理服务商之手，所以你的素材绝不会外泄。详情见自有算力推理文档和输出文档。背后的团队是开创了音视频联合人物建模这一领域的博士们：22 篇论文，被引用超过 10,000 次，由 Xu Zheng 教授和 Youngjung Uh 教授担任顾问，获得 Samsung、RedBird 和 Gold House 的投资。论文见我们的研究。

翻译基础模型算生成式 AI 吗？

不算传统意义上的生成式 AI。IBM 是这样定义生成式 AI 的：

生成式 AI，有时简称 gen AI，是一种人工智能（AI），能够根据用户的提示词或请求，创作文本、图像、视频、音频或软件代码等原创内容。
IBM, What is generative AI?

这是做新东西的利器。MLDM 没有提示词，也不编造任何新东西：它把已有的内容带进另一种语言。不是“生成式 AI”，而是助力创作者的翻译。从人到人，让同一段表演走得更远。

本系列的其他几篇：音视频一次翻译到位，不走级联、多模态翻译基础模型对影视公司和平台意味着什么和开创多模态翻译：从音视频联合研究到首个基础模型。

常见问题

什么是多模态翻译基础模型？

一个模型，把一条视频的台词、声音、口型和场景一起带进新的语言。Familiar 的多模态本地化决策模型（MLDM）是业界首创：这些决定出自同一个模型，所以彼此一致，画面里的人也始终是原来那个人。

它和以往的机器配音有什么不同？

以往的机器配音是一串独立的工具：先转写，再翻译，再配声音，最后对口型，每一环都在不知道其他环节的情况下猜测。MLDM 把这些决定放在一起做。先定翻译，再一气呵成做出配音：声音、口型和场景一并到位。

多模态翻译基础模型算生成式 AI 吗？

不算传统意义上的生成式 AI。没有提示词，也不编造任何新东西：MLDM 决定的是如何本地化已有的素材。生成式 AI 是做新东西的利器；这是助力创作者的翻译，从人到人，让同一段表演走得更远。

我能审核模型做的决定吗？

能。每个决定都随配音任务一并记录，任何一项你都可以改。现在，你的创意总监就能在几种译法中挑选，每种都附有理由。音频和画面上的选择正在研发中。

它覆盖哪些语言？

配音输出 30 种语言，素材可以是 99 种源语言中的任意一种。上传一次，一条视频就同时带进你选的每一种语言，交付最高 4K 画面，原生 5.1 环绕声或立体声混音。

我的素材在哪里处理？

在 Familiar 自有的、价值八位数美元的 NVIDIA B300 GPU 集群上，就在加拿大多伦多：自有算力推理，从不用公有云，也不经第三方推理服务商之手，所以你的素材绝不会外泄。

参考资料

  1. [1]IBM，What is generative AI?，2026 年 10 月 27 日查阅
  2. [2]Netflix《定时文本样式指南：字幕模板》，2026 年 10 月 30 日查阅
  3. [3]Familiar 基准测试
  4. [4]我们的使命

多模态翻译

Familiar Labs 用多模态本地化决策模型（MLDM），让配音迎来代际飞跃。这是首个多模态翻译基础模型：一个模型决定本地化什么，覆盖文本、音频和画面，并把选择摆到你面前。你的声音与口型，带进新的语言。团队8人，汇聚多位博士；投资方包括 Samsung、RedBird、Gold House。 我们的使命

查看完整基准测试 →联系团队