什么是多模态本地化决策模型（MLDM）？

FAMILIAR 研究2026-10-27更新于 2026-11-01全部文章

摘要

首个多模态翻译基础模型，全新范式，业界首创。MLDM 是一个模型，决定本地化什么、怎么本地化，覆盖文本、音频和画面，并把关键的选择摆到你面前。先定翻译，再一气呵成做出配音：声音、口型和场景一并到位。这些决定出自同一个模型，所以彼此一致。人始终是原来那个人。

首个多模态翻译基础模型音视频一次翻译到位，不走级联

MLDM 决定什么？

翻译

一句台词用哪种译法带进新语言。MLDM 会权衡多种译法，选出最好的一种：一个笑点、一段故事、一句接话，换一个词，意图和情绪就变了。同样由它决定的还有：术语，哪些不用翻译，俚语照原样保留，名字和品牌保留不译，典故换成观众熟悉的，避开当地文化的忌讳，面向低龄观众的版本把脏话调轻。

音频

先决定哪些该翻译。音轨里的一切 MLDM 都听得到：笑声、人群、一声大喊、背景里听不清是谁在说的话。它找出主要的那个声音，用说话人自己的声音把它带进新语言，其余的原样保留。

画面

到底是谁在说话。音频和画面放在一起决定，所以 MLDM 知道谁在旁白、谁在画外发声、该动的是谁的嘴。每一句台词，口型都跟着新的词走；在需要强调或文化有讲究时，表情和手势也会跟上。

你能看到的选择

翻译

现在一句台词能听出不止一种意思时，你的创意总监会拿到几种译法和各自背后的理由，从中挑一种。一期播客、一集剧或一部电影，可能有很多这样的片段。

研发中

音频

现在

研发中选择哪些保留原语言。一段口号、一声呐喊或一句话，你想保留原样，就能照原样保留。

画面

现在

研发中模型选错了说话人时换一张脸，以及选择翻译画面里的哪些文字。这些文字，比如手机屏幕、书的封面、路牌、店招，会沿用你已定下的译法；哪些保持拍摄原样，由它当场决定：品牌、名字、俚语，一袋 Tostitos 还是 Tostitos。

为什么是一个模型？

一串工具

先语音转文字，再翻译，再配声音，最后对口型，每个环节各自调优。
正是这条流水线，让机器配音成为可能。
可每个环节仍在不知道其他环节的情况下各自猜测，错误一环叠一环。

一个基础模型，业界首创

MLDM 把这些决定放在一起做。
译文知道它要贴合的是哪张嘴。
声音知道它身处什么场景。
人始终是原来那个人。

先定翻译，再一气呵成做出配音：声音、口型和场景一并到位，出自同一组决定。

音视频一次翻译到位，不走级联：业界首创。正因如此，MLDM 才是首个多模态翻译基础模型：一个模型，把台词、声音、口型和场景一起带进新的语言。如今做到高质量的路线是辅助式的：每个项目需要一支视效团队忙上数周，每种语言都是一个新项目。如今的一键式工具，快是快，其余的却都放弃了。Familiar 一气呵成，质量也在。

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

本地化和翻译有什么区别？

翻译管的是字句。本地化管的是一种文化需要这些字句做到什么。

用对的术语，俚语，照原样保留的名字，换成观众熟悉的典故，避开那种文化的忌讳，合适的脏话尺度。这些都由 MLDM 决定；画面需要改的时候，以后也由它来决定。

MLDM 是生成式 AI 吗？

不是。IBM 是这样定义生成式 AI 的：

生成式 AI，有时简称 gen AI，是一种人工智能（AI），能够根据用户的提示词或请求，创作文本、图像、视频、音频或软件代码等原创内容。

IBM, What is generative AI?

这是做新东西的利器。MLDM 没有提示词，也不编造任何新东西：它决定的是如何本地化已有的内容。完整的立场见为什么 Familiar 不是传统意义上的生成式 AI和翻译不是生成。

这些决定归谁？

归你。MLDM 做出的每个决定，都随配音一并记在决策记录里。

现在
你的创意总监审核翻译上的决定。
几种译法连同各自背后的理由；发布之前，由他们挑定一种。
现在
不翻译清单和一句话说明随配音任务一起走。
研发中
音频和画面上的决定，放进同一个审核界面。
研发中
决策记忆。
为某位创作者记下的修改，下一条配音会优先沿用，一次定下的选择，下一集也会沿用。

完整的介绍见决策记录：创意总监如何指挥 MLDM；规划中的 API 见决策文档。

常见问题

MLDM 是什么的缩写？

MLDM 是 Multimodal Localization Decision Model 的缩写，即多模态本地化决策模型，全新范式，业界首创：一个模型，决定本地化什么、怎么本地化，覆盖文本、音频和画面。它决定一句台词用哪种译法、音频里翻译什么、画面里是谁在说话，以及口型、表情和手势怎么跟上。

MLDM 是视频模型吗？

不是通常意义上的视频模型。MLDM 处理的是已经存在的素材，决定如何本地化它：台词、声音、口型和表情。画面里的人在每种语言里都还是原来那个人。

MLDM 会生成新的画面吗？

不会。没有提示词，也不编造任何新东西。MLDM 决定的是如何本地化已有的内容：演员、节奏和场景都不变，变的是台词、人声音轨和口型，以贴合新的语言。

MLDM 在音频上决定什么？

先决定哪些该翻译。它找出主要的那个声音，用说话人自己的声音把它带进新语言。笑声、人群、喊声，以及背景里听不清是谁在说的话，都原样保留。

MLDM 会改动表情吗？

在需要强调或文化有讲究时会。每一句台词，口型都跟着新的词走；一句话在新语言里的落点不同时，表情和手势也会跟上。人始终是原来那个人。

MLDM 会翻译画面上的文字吗？

暂时还不会。画面里的文字，比如手机屏幕、书的封面、路牌或店招，正在接入，会沿用你已定下的译法；哪些保持拍摄原样，由它当场决定：品牌、名字、俚语，一袋 Tostitos 还是 Tostitos。如今本地化的是台词、声音、口型、表情和手势。

模型做的决定，我能改吗？

能。每个决定都随配音任务一并记录，你都可以改。现在，你的创意总监就能在几种译法中挑选，每种都附有理由；一次定下的选择，下一集也会沿用。

模型会展示它在音频和画面上的选择吗？

翻译上的选择现在就能看到。音频上的选择，比如哪些保留原语言，以及画面上的选择，比如换一张脸、翻译画面里的哪些文字，正在研发中。

参考资料

多模态翻译

Familiar Labs 用多模态本地化决策模型（MLDM），让配音迎来代际飞跃。这是首个多模态翻译基础模型：一个模型决定本地化什么，覆盖文本、音频和画面，并把选择摆到你面前。你的声音与口型，带进新的语言。团队8人，汇聚多位博士；投资方包括 Samsung、RedBird、Gold House。我们的使命

查看完整基准测试 →联系团队