掌控

决策记录:创意总监如何指挥 MLDM

FAMILIAR 研究更新于 全部文章

摘要

MLDM 是首个多模态翻译基础模型,全新范式,业界首创。它做出的每个决定都随配音一并记录:你能看到,也能修改,并把选择留给下一集。翻译上的决定现在就能审核;音频和画面上的决定正在研发中。
首个多模态翻译基础模型

现在就由你掌控的决定

  1. 01

    译文先返回。

  2. 02

    一句台词能听出不止一种意思时,审核环节会返回三版译文,各自对应不同的意图和情绪,并附上每一版背后的理由。

  3. 03

    你的创意总监挑定一版,或者自己写一版,然后渲染。

同一轮审核也涵盖本地化上的取舍,首先是哪些不用翻译:俚语照原样保留,名字和品牌保留不译,典故换成观众熟悉的,避开那种文化的忌讳,面向低龄观众的版本把脏话调轻。

一个双关,韩译英

“사과하려고 사과 사 왔어.”的妙处在于,사과 既是“道歉”,也是“苹果”。返回的三版译文:

  • "Apples. I'm sorry, right down to the core." 保住双关。
  • "I came to say sorry. I brought apples." 只译意思。
  • "An apple a day keeps the silent treatment away." 换一个新笑话。

创意总监选了第一版,又改了改。

一句反话,中译英

“你可真行啊。”是夸奖还是挖苦,要看场景:

  • "Wow. You're incredible." 真心夸奖。
  • "Well, aren't you something." 反讽,选的是这一版。
  • "Look at you, hotshot." 打趣。

一期播客、一集剧或一部电影里,这样的片段有很多:笑点、对话、故事。

音频上的决定

MLDM 先决定哪些该翻译。它找出主要的那个声音,用说话人自己的声音把它带进新语言,其余的原样保留。把音频里每一个拿不准的取舍都摆给你的团队看,这项功能正在研发中。

哪些保留原语言:球场上的一段韩语口号,照原样保留;厨房里隔空一声喊;粉丝都熟悉的一句口头禅。背景里听不清是谁在说的话,原样保留,或者作为一项选择返回,由你决定是否照样翻译。

画面上的决定

研发中

到底是谁在说话
记录下什么一句台词出自哪张脸,谁在旁白,谁在画外发声。
你能做什么模型选错了说话人时,你从候选的脸里挑出那一张,口型就会落在对的人身上。
画面里的文字
记录下什么手机屏幕上的“내일 봐”、一块路牌、一块店招,以及它当场决定保持拍摄原样的内容:一袋 Tostitos 上的品牌、一个名字。
你能做什么每一处都沿用你已定下的译法,写成“See you tomorrow”,或者保持拍摄原样。
表情和手势
记录下什么它们跟着新台词的重音或文化走。
你能做什么新观众会读出别的意味的一次挑眉,可以保持拍摄原样。

随配音一并记录

正是这份记录,让 MLDM 成为全新范式、业界首创:一个会亮出自己决定的模型。

++
决策记录正在研发中,它会保存每一个决定:有哪些选项、理由是什么、最终选了哪个、由谁选定,是模型、是你,还是记忆。

它在审核时开放,在渲染时锁定。对一条已交付的配音改动某个决定,再渲染一次;只有受影响的语言会重新渲染。以 review=auto 渲染的配音同样会写入记录,内容是模型的选择。配音本身就是依据这些决定一气呵成做出来的:声音、口型和场景一并到位。如今的一键式工具走的是另一条路:上传一次,出来什么就是什么。高质量路线则靠人工保住掌控:用辅助工具,配一支视效团队,每个项目忙上数周。Familiar 一气呵成,质量也在。

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

一次定下的选择,下一集也会沿用

  1. 现在

    现在已有两项长期生效的决定。

    不翻译清单让一句话照原样保留,一句话说明交代背景;两者都在配音之前设好。记录里保存的是配音过程中模型做出的决定。
  2. 研发中

    决策记忆。

    为某位创作者,也就是一部剧、一个频道或一个人,记下一项修改;同一句台词、术语、名字、口号、路牌或同一张脸再次出现时,下一条配音会优先沿用。保留原语言的那句口头禅,第 2 集也照样保留,不必再审一遍。

在审核界面和 API 里

正在研发中:审核界面会多出一条决策栏。整集的时间轴上,每个决定都有一个标记,可以按翻译、音频或画面筛选;每张卡片显示那一刻、各个选项和理由,模型的选择会高亮。点一下就能换成另一个选项、自己输入、保留原样,或者为这位创作者记住这个选择。

API 返回的是同一份记录,所以在界面上做的选择会出现在 API 里,反过来也一样。规划中的接口如下,全部正在研发中:

GET /v1/dubs/{dub_id}/decisions
作用读取记录。
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
作用修改其中一个决定。
decisions.*
作用新配音上的设置,决定返回几版译文、脏话的尺度,以及哪些取舍要交回给你。
dub.decisions_ready
作用记录开放时触发的 Webhook。
decisions.json
作用随每条交付的配音附上完整记录。

参考文档见决策;如今的审核环节见转写与审核。

常见问题

现在我能改哪些决定?

翻译上的决定。一句能听出不止一种意思的台词,会返回三版译文,各附理由;你的创意总监挑定一版,或者自己写一版,然后渲染。音频和画面上的决定正在研发中。

一段口号能保留原语言吗?

这项选择正在研发中。球场上的一段口号、一声呐喊或一句口头禅,会作为音频上的决定返回,你可以选择保留源语言,这个选择也可以沿用到下一集。

模型选错了脸怎么办?

换一张脸的功能正在研发中。这句台词会连同候选的几张脸一起返回;你选出对的说话人,口型就会落在那个人身上。

一个选择会沿用到下一集吗?

决策记忆正在研发中:为某位创作者记下的修改,下一条配音会优先沿用。如今,不翻译清单和一句话说明会在你设定的范围内,沿用到之后的每一条配音。

review=auto 也会记录决定吗?

会。在规划中的记录里,不经审核渲染的配音同样会写入每一个决定和模型的选择,渲染之后也能查看。你可以改动其中一个,再渲染一次。

这是生成式 AI 吗?

不是。MLDM 是全新范式,业界首创。没有提示词,也不编造任何新东西:它决定的是如何本地化已有的内容,并把这些决定摆给你看。

参考资料

  1. [1]什么是多模态本地化决策模型(MLDM)?
  2. [2]API:决策
  3. [3]API:转写与审核

多模态翻译

Familiar Labs 用多模态本地化决策模型(MLDM),让配音迎来代际飞跃。这是首个多模态翻译基础模型:一个模型决定本地化什么,覆盖文本、音频和画面,并把选择摆到你面前。你的声音与口型,带进新的语言。团队8人,汇聚多位博士;投资方包括 Samsung、RedBird、Gold House。 我们的使命