決策紀錄：創意總監如何指揮 MLDM

FAMILIAR 研究2026-10-28更新於 2026-11-01全部文章

摘要

MLDM 是首個多模態翻譯基礎模型，屬全新範式，業界首創。它作出的每一個決定都會連同配音一併記錄：你可以查閱，可以推翻，也可以保留選擇，留給下一集。翻譯上的決定現時已可審閱；聲音和畫面上的決定正在開發中。

首個多模態翻譯基礎模型

現時由你指揮的決定

01
譯文最先交回。
02
凡是可以有多於一種解讀的對白，審閱步驟都會交回三個譯本，意圖和情緒各不相同，並附上各自背後的理由。
03
你的創意總監選定一個或自己改寫，然後觸發配音。

同一個審閱步驟亦涵蓋本地化上的判斷，首先是哪些不用翻譯：俚語照原話保留、名字和品牌不改、典故換成觀眾熟悉的、避開那種文化忌諱的說法，以及為面向年輕觀眾的版本收斂粗口。

一個相關語，韓語譯英語

「사과하려고 사과 사 왔어.」的笑位在於 사과 同時解作道歉和蘋果。交回來的有三個譯本：

"Apples. I'm sorry, right down to the core." 保留相關語。
"I came to say sorry. I brought apples." 只保留意思。
"An apple a day keeps the silent treatment away." 換一個新笑話。

創意總監選了第一個，再作修改。

一句挖苦，中文譯英語

「你可真行啊。」看場景而定，可以是稱讚，也可以是挖苦：

"Wow. You're incredible." 真心。
"Well, aren't you something." 挖苦，最後選定這個。
"Look at you, hotshot." 調侃。

一集播客、一集劇集或一部電影，會有很多這樣的段落：笑話、對話、故事。

聲音上的決定

MLDM 先決定要翻譯甚麼。它找出主要人聲，用說話者自己的聲音帶進新的語言，其餘原封不動保留。把聲音上每一個難以取捨的判斷展示給你的團隊，正在開發中。

哪些保留原來的語言：球場上的口號，保留韓語；廚房裡隔空的一聲叫喊；粉絲耳熟能詳的口頭禪。誰也聽不清的背景說話者原封不動保留，或者作為一個選擇交回給你，最終決定翻譯。

畫面上的決定

開發中

真正在說話的是誰

記錄甚麼一句對白出自哪張臉、旁白、鏡頭外的聲音。

你可以做甚麼模型選錯說話者時，你可以從候選臉孔中選出正確的一張，唇形就會在對的人身上動。

畫面中的文字

記錄甚麼顯示著 내일 봐 的手機屏幕、一塊路牌、一個店舖招牌，以及它即場決定保留拍攝原貌的內容：一包 Tostitos 上的品牌、一個名字。

你可以做甚麼每一項都會沿用你已選定的譯法，例如寫成 "See you tomorrow"，或者保留拍攝原貌。

表情和手勢

記錄甚麼按新台詞的重音或文化需要調整。

你可以做甚麼一個新觀眾會理解成另一個意思的揚眉動作，可以保留拍攝原貌。

連同配音一併記錄

正是這份紀錄，令 MLDM 成為全新範式，業界首創：一個會展示自己決定的模型。

決策紀錄正在開發中，會保存每一個決定，連同各個選項、背後的理由、最後選了甚麼，以及由誰選定：模型、你，還是記憶。

它在審閱時開放，在渲染時鎖定。在已交付的配音上更改一個決定，再渲染一次；只有受影響的語言會重新渲染。以 review=auto 渲染的配音同樣會寫入紀錄，記下模型的選擇。配音本身由這些決定一次過完成：聲音、唇形和場景一併到位。現時一次過完成的工具則反其道而行：上載一次，出來甚麼就是甚麼。追求高質素的做法則改為人手保住掌控，靠輔助工具、一隊 VFX 特效師，每個項目花上幾個星期。Familiar 是一次過，同時保住質素。

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

某個選擇一旦定下，下一集自動沿用

現時
現時有兩項常設決定。
不翻譯清單把一句短語照原話保留，背景說明則提供一句簡介；兩者都在配音前設定。紀錄保存的是模型在配音過程中作出的決定。
開發中
決定記憶。
為某位創作者、某套節目、某個頻道或某個人記住一個推翻決定，同一句對白、用詞、名字、口號、招牌或臉孔再次出現時，下一次配音就會優先套用。保留原話的口頭禪，第 2 集會自動沿用，不用再審閱一次。

在審閱畫面和 API 裡

開發中：審閱畫面會加入一條決策欄。整集的時間軸上，每個決定都有一個標記，可按翻譯、聲音或畫面篩選；每張卡顯示那一刻、各個選項連同理由，以及亮起的模型選擇。輕按一下，就可以改選另一個選項、自己輸入、保留原文，或者為這位創作者記住這個選擇。

API 會交回同一份紀錄，所以在畫面上作出的選擇會在 API 裡顯示，反之亦然。規劃中的介面，全部正在開發中：

GET /v1/dubs/{dub_id}/decisions

用途讀取紀錄。

PATCH /v1/dubs/{dub_id}/decisions/{decision_id}

用途推翻一個決定。

decisions.*

用途新配音上的設定，決定交回多少個譯本、粗口程度，以及哪些判斷交回給你。

dub.decisions_ready

用途紀錄開放時觸發這個 webhook。

decisions.json

用途每一段交付的配音都附上完整紀錄。

參考文件見於決策；現時的審閱步驟見於文字稿與審閱。

常見問題

現時我可以更改哪些決定？

翻譯上的決定。一句可以有多於一種解讀的對白，會交回三個譯本，每個都附有理由；你的創意總監選定一個或自己改寫，然後觸發配音。聲音和畫面上的決定正在開發中。

一段口號可以保留原來的語言嗎？

這項選擇正在開發中。球場上的口號、一聲叫喊或一句口頭禪，會作為聲音上的決定交回給你，你可以保留原文，而這個選擇可以沿用到下一集。

模型選錯了臉孔怎麼辦？

改選另一張臉的功能正在開發中。那句對白會連同候選臉孔一併交回；你選出正確的說話者，唇形就會在那個人身上動。

一個選擇會沿用到下一集嗎？

決定記憶正在開發中：為某位創作者記住的推翻決定，會在下一次配音時優先套用。現時，不翻譯清單和背景說明會沿用到你設定的各段配音。

review=auto 仍然會記錄各個決定嗎？

會。在規劃中的紀錄裡，沒有經過審閱就渲染的配音，同樣會寫下每一個決定和模型的選擇，渲染後可以查閱。你可以更改其中一個，再渲染一次。

這是生成式 AI 嗎？

不是。MLDM 屬全新範式，業界首創。沒有提示詞，也不會憑空捏造任何東西：它決定怎樣把原有的內容本地化，並把這些決定展示給你。

參考資料

多模態翻譯

Familiar Labs 以多模態本地化決策模型（MLDM），打造高出一個世代的配音。這是首個多模態翻譯基礎模型：一個模型橫跨文字、聲音和畫面，決定本地化甚麼，並把選擇交給你過目。你的聲音和唇形，帶進新的語言。團隊 8 人，當中有博士，獲 Samsung、RedBird、Gold House 支持。我們的使命

查看完整基準測試 →聯絡團隊