概念解读

翻译不是生成

FAMILIAR 研究更新于 全部文章

摘要

不是“生成式 AI”,而是助力创作者的翻译。生成和翻译是两个不同的动词。生成,是拿一段提示词做出此前不存在的东西。翻译,是拿已经存在的东西,也就是一场表演,把它带进另一种语言。Familiar 是一种全新范式,业界首创:多模态本地化决策模型(MLDM),首个多模态翻译基础模型。演员、节奏和场景都不变;变的是台词、口型和人声音轨,以贴合新的语言。
首个多模态翻译基础模型

两个动词

生成式 AI 很适合做新东西:放进提示词,出来新内容,要的就是结果是新的。翻译的目标恰恰相反。

翻译另一个动词

放进去的是一场表演,出来的是同一场表演,换了一种语言。

生成

  • 输入:提示词
  • 输出:新内容
  • 衡量标准:结果有多新、有多好

翻译

  • 输入:一场完成的表演
  • 输出:同一场表演,换了一种语言
  • 衡量标准:对原作有多忠实

无论是人还是机器,评判一位译者,看的是它编造得有多少。

什么不变,什么改变

演员
改变台词
面孔
改变口型
节奏
改变人声音轨,换成新的语言
场景音:笑声、音乐、环境音
改变

新语言里的声音,是演员自己的声音,取自片段本身。名字和口头禅借助「不翻译清单」完全按原话保留;笑点则会重写,让它在目标语言里同样好笑。

为什么口型同步是翻译的一部分

人听话,不只靠耳朵。在麦格克效应里,把说 [b] 的声音配到说 [g] 的脸上,人通常会听成 [d],一个两条通道都没有传出的音(Tiippana, 2014,介绍 McGurk 与 MacDonald 1976 年的研究)。大脑会把看到的和听到的融合在一起。
VOICE [b] + FACE [g] = HEARD [d]

只换声音的配音,会把这种错位留在每一帧里:嘴说的是一种语言,声音却是另一种,理解就会变得吃力。所以嘴型也是信息的一部分。翻译一场表演,意味着把口型和台词一起翻译过去,这正是 Familiar 的配音会让口型跟着新台词走的原因(常见问题:“口型同步为什么重要?”)。

上线之前,由创意总监审核

有些台词能有不止一种落点:一个笑点,一句挖苦,一句话读来既可以真诚也可以冷幽默。这类台词会给出三种译法,意图和情绪各不相同;俚语照原样保留,面向低龄观众的版本把脏话调轻,也是同样的做法。团队挑定一种,对照原文修改任何一句,然后才开始渲染。

把繁琐的活儿交给 MLDM。

配音里繁琐的部分,是为每种语言的每一句台词决定用哪个声音、口型怎么跟上。这些由 MLDM 来决定,每个决定都随配音任务一并记录,你的团队都可以改。研发中的还有:选择哪些声音保留原语言,比如一段口号或一声呐喊,以及翻译哪张脸、画面里的哪些文字。那些让配音出彩的选择,哪个笑点能落地,什么语气合适,哪个名字保留,始终留在创作这部作品的人手里。

++
我们训练用的所有数据,其实都出自 Familiar 团队之手。

我们是创作流程中的又一个工具。

常见问题

Familiar 是生成式 AI 吗?

不是。Familiar 是多模态本地化决策模型(MLDM):它决定的是如何本地化已有的内容,没有提示词。你的视频放进去,出来的是同一场表演换了一种语言。我们训练用的所有数据,其实都出自 Familiar 团队之手。我们是创作流程中的又一个工具。

我的音乐和音效会怎样?

都会保留。笑声、音乐和低音、音效以及环境音,都留在新对白之下。

译文能改吗?

能。每条视频都会先停在审核界面,渲染之前,你可以对照原文修改任何一句。

参考资料

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725,2026 年 10 月 24 日查阅
  2. [2]Familiar 常见问题:口型同步为什么重要?
  3. [3]AI 口型同步:是什么、缺什么、什么更好(2026)
  4. [4]为什么 Familiar 不是传统意义上的生成式 AI
  5. [5]创作流程中的又一个工具

多模态翻译

Familiar Labs 用多模态本地化决策模型(MLDM),让配音迎来代际飞跃。这是首个多模态翻译基础模型:一个模型决定本地化什么,覆盖文本、音频和画面,并把选择摆到你面前。你的声音与口型,带进新的语言。团队8人,汇聚多位博士;投资方包括 Samsung、RedBird、Gold House。 我们的使命