指南

多模态翻译基础模型对影视公司和平台意味着什么

FAMILIAR 研究更新于 全部文章
语言版本EnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

摘要

对影视公司、流媒体平台、内容平台、电视网或短剧公司来说，多模态翻译基础模型意味着：上传一次就能覆盖每一种语言，演员保留自己的声音和口型，场景原样不动。Familiar 是首个多模态翻译基础模型：一个模型，把台词、声音、口型和场景一起带进新的语言。翻译先由你的创意总监审核，每个决定都随配音任务一并记录，配音交付最高 4K 画面、原生 5.1 混音，在 Familiar 位于多伦多的自有 GPU 上处理。
首个多模态翻译基础模型

基础模型给配音带来了什么改变？

机器配音过去是一串级联的独立工具：先转写，再翻译，再配声音，最后对口型。每个环节都在不知道其他环节的情况下猜测，错误一环传给下一环。买方如今面对的方案，都要在质量和时间之间二选一。辅助工具靠一支视效团队做到了质量：每个项目要数周，每种语言都是一个新项目。一键式工具快是快，其余的却都放弃了：译文改不了，声音跑偏，音乐和现场环境音消失；手挡在脸前、麦克风、虚焦、焦外虚化、侧脸，或者画面里有好几个人，口型就对不上。没有空间推理，不理解真实世界，也无从掌控。Familiar 用一个多模态本地化决策模型（MLDM）取代整条流水线：一气呵成，质量也在。

级联时代

  • 四个工具，各自调优。
  • 写译文时，看不到它要贴合的那张嘴。
  • 陌生人的声音，配在原来的脸上。

一个基础模型

  • 一个模型把这些决定放在一起做，所以彼此一致。
  • 译文知道嘴型；声音知道场景。
  • 画面里的人始终是原来那个人。
++
先定翻译，再一气呵成做出配音：声音、口型和场景一并到位。

音视频一次翻译到位，不走级联：业界首创。定义见首个多模态翻译基础模型；与级联的逐步对比，见音视频一次翻译到位，不走级联。

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

上传一次，能覆盖我们发行的每个市场吗？

能。素材可以是 99 种源语言中的任意一种，只需放进去一次，配音就按你订的语言，从 30 种输出语言里出片：上传一次，覆盖每一种语言，每一种都是同一段表演。一整季剧、一个片库，或者一批竖屏剧集，走的都是同一条路；一次定下的术语，下一集也会沿用。

完整的人工配音，翻译加配音演员，每分钟成片 $70 到 $150。按这个价格，世界上大多数内容都用不起。即便是顶级制作，也只配少数几种语言，因为成本、人手和时间都扛不住。

规模小一些的制作、剧集和竖屏短剧，基本上干脆不配音。

Familiar 补上的正是这个缺口。不是“生成式 AI”，而是助力创作者的翻译。把繁琐的活儿交给 MLDM。从人到人，让同一段表演走得更远。

一句台词在另一种语言里怎么落地，由谁决定？

MLDM 决定本地化什么、怎么本地化，覆盖文本、音频和画面。要紧的选择仍由你的团队掌控。翻译先行；一句台词能听出不止一种意思时，在做配音之前，你的创意总监会看到几个选项和各自背后的理由。

它决定，你来选

翻译
MLDM 决定每句台词用哪种译法：术语，照原样保留的俚语，名字和品牌，观众熟悉的典故。
你的团队来选现在：从几个选项和理由中挑定译法；不翻译清单和一句话说明。
音频
MLDM 决定先决定哪些该翻译：主要的那个声音用说话人自己的声音带过去，笑声和人群声保留。
你的团队来选研发中：哪些保留原语言。
画面
MLDM 决定画面里是谁在说话，口型和表情怎么跟上。
你的团队来选研发中：模型选错了说话人时换一张脸，以及翻译画面里的哪些文字。

每个决定都随配音任务一并记录，任何一项你都可以改。完整的介绍见决策记录：创意总监如何指挥 MLDM。单看文字，翻译与资深专业译者打平：达到其质量的 100.3%，实测结果见基准测试。

一条配音交付时附带什么？

一套你的后期团队可以直接放进发行版本的交付物，符合流媒体平台要求的规格。场景音原样保留：音乐、环境音和笑声都在，只有人声换了语言。

视频

最高 4K

每次视频渲染都包含口型同步。

混音

原生 5.1 环绕声或立体声

由你选择，24 位 PCM。流媒体平台要求配音与原版混音一致：5.1 进，5.1 出。

场景音

保留

音乐、环境音、笑声和人群声都在。

字幕

.srt 和 .vtt

最多两行，每行 42 个字符，每秒最多 17 个字符。

字幕根据审核过的译文生成，按 Netflix《定时文本样式指南》的规范切分，这是业内通行的字幕模板标准。所有文件和格式都列在输出文档里。

我们的素材在哪里处理？

未上映的素材，是影视公司最要护住的资产。每一条配音都在 Familiar 自有的、价值八位数美元的 NVIDIA B300 GPU 集群上处理，就在加拿大多伦多，用的是 Familiar 自有的算力。

从不在 Google Cloud、AWS 这类公有云上处理，也从不经第三方推理服务商之手。
自有算力推理 · 加拿大多伦多

一条配音的处理路径，以及应对你们安全审查的答复，见自有算力推理文档。

哪些现在就能用，哪些正在研发中？

  1. 现在

    上传一次覆盖每一种语言，演员保留自己的声音和口型。

    30 种输出语言，99 种源语言输入；最高 4K，原生 5.1 或立体声混音，附带字幕。
  2. 现在

    你的创意总监审核翻译上的决定。

    几个选项连同各自背后的理由，随配音任务一并记录。
  3. 研发中

    音频和画面上的决定，放进同一个审核界面。

    哪些保留原语言，换一张脸，翻译画面里的哪些文字。
  4. 研发中

    直播配音。

通过 Studio 合约开通，按你的片库量身定制：和团队聊聊你的作品、你的语言和你的交付规格。团队成员是开创了音视频联合人物建模这一领域的博士们：22 篇论文，被引用超过 10,000 次，由 Xu Zheng 教授和 Youngjung Uh 教授担任顾问，获得 Samsung、RedBird 和 Gold House 的投资。研究成果见我们的论文和开创多模态翻译：从音视频联合研究到首个基础模型；创始人的故事见我们的使命。

常见问题

多模态翻译基础模型给影视公司带来什么改变？

上传一次，就把台词、声音、口型和场景一起带进你订的每一种语言。演员保留自己的声音和脸，场景音原样保留，每个决定都随配音任务一并记录。

我们的团队能在做配音之前审核译文吗？

能。翻译先行。一句台词能听出不止一种意思时，你的创意总监会看到几种译法和各自背后的理由，从中挑一种。不翻译清单和一句话说明随配音任务一起走。

我们会拿到哪些文件？

最高 4K 的配音视频，原生 5.1 环绕声或立体声混音（24 位 PCM），以及按 Netflix《定时文本样式指南》规范切分的 .srt 和 .vtt 字幕。播客和人声音轨也可以只做音频配音。

我们的素材在哪里处理？

每一条配音都在 Familiar 自有的、价值八位数美元的 NVIDIA B300 GPU 集群上处理，就在加拿大多伦多，用的是 Familiar 自有的算力。从不在 Google Cloud、AWS 这类公有云上处理，也不经第三方推理服务商之手。

这是生成式 AI 吗？

不是。没有提示词，也不编造任何新东西。Familiar 是一个多模态本地化决策模型（MLDM），决定的是如何本地化已有的素材：演员、节奏和场景都不变；变的是台词、人声音轨和口型。

怎么开通？

通过 Studio 合约开通，按你的片库量身定制。和团队聊聊你的作品、你的语言和你的交付规格，先用你自己的素材做一次试点。没有公开价目表。

参考资料

  1. [1]Netflix《定时文本样式指南：字幕模板》，2026 年 10 月 30 日查阅
  2. [2]Familiar 基准测试
  3. [3]什么是多模态本地化决策模型（MLDM）？
  4. [4]自有算力推理文档
  5. [5]输出文档

多模态翻译

Familiar Labs 用多模态本地化决策模型（MLDM），让配音迎来代际飞跃。这是首个多模态翻译基础模型：一个模型决定本地化什么，覆盖文本、音频和画面，并把选择摆到你面前。你的声音与口型，带进新的语言。团队8人，汇聚多位博士；投资方包括 Samsung、RedBird、Gold House。 我们的使命

查看完整基准测试 →联系团队