甚麼是多模態本地化決策模型（MLDM）？

FAMILIAR 研究2026-10-27更新於 2026-11-01全部文章

摘要

首個多模態翻譯基礎模型，屬全新範式，業界首創。MLDM 是一個模型，橫跨文字、聲音和畫面，決定本地化甚麼、怎樣本地化，並把關鍵的選擇交給你過目。先翻譯，再一次過完成配音：聲音、唇形和場景一併到位。各個決定互相吻合，因為都出自同一個模型。人始終是原來那個人。

首個多模態翻譯基礎模型影音翻譯一次過完成，不是逐層串接

MLDM 決定甚麼？

文字

一句對白用哪個譯法帶進新的語言。MLDM 會權衡幾個譯法，選出最好的一個：在一個笑位、一個故事或一句對答裡，改一個字，意圖和情緒就變了。同一套決定亦涵蓋用詞、哪些不用翻譯、俚語照原話保留、名字和品牌不改、典故換成觀眾熟悉的、避開當地文化忌諱的說法，以及為面向年輕觀眾的版本收斂粗口。

聲音

先決定要翻譯甚麼。音軌裡的一切 MLDM 都聽得到：笑聲、人群、一聲大叫、一個在背景說話而誰也聽不清的人。它找出主要人聲，用說話者自己的聲音帶進新的語言，其餘原封不動保留。

畫面

真正在說話的是誰。聲音和畫面一併決定，所以 MLDM 知道誰是旁白、誰在鏡頭外說話、誰的嘴唇應該動。每一句對白，唇形都會跟著新的台詞；當語氣需要加重或文化有需要時，表情和手勢也會跟著調整。

你看得到的選擇

文字

現時凡是可以有多於一種解讀的對白，你的創意總監都會收到幾個譯本和各自背後的理由，再選定一個。一集播客、一集劇集或一部電影，可以有很多這樣的段落。

開發中

聲音

現時

開發中選擇哪些內容保留原來的語言。一段口號、一聲叫喊或一句短語，你想保留原話就可以保留。

畫面

現時

開發中模型選錯說話者時改選另一張臉，以及決定畫面中哪些文字要翻譯。這些文字，例如手機屏幕、書本封面、路牌、店舖招牌，會沿用你已選定的譯法；它會即場決定哪些保留拍攝原貌，例如品牌、名字、俚語：一包 Tostitos 依然是 Tostitos。

為何只用一個模型？

一連串工具

先語音轉文字，再翻譯，再配聲音，再做唇形同步，每個環節各自調校。
這條流水線令機器配音成為可能。
但每個環節仍然在不知道其他環節的情況下估計，所以錯誤一環接一環累積。

一個基礎模型，業界首創

MLDM 把各個決定放在一起作出。
翻譯知道它要配合的那張嘴。
聲音知道它身處的場景。
人始終是原來那個人。

先翻譯，再一次過完成配音：聲音、唇形和場景出自同一套決定，一併到位。

影音翻譯一次過完成，不是逐層串接：業界首創。正因如此，MLDM 是首個多模態翻譯基礎模型：一個模型把台詞、聲音、唇形和場景一次過帶進新的語言。現時追求高質素的做法是輔助式的：每個項目要一隊 VFX 特效師花上幾個星期，每多一種語言就是一個新項目。現時一次過完成的工具快是快，代價是其餘一切。Familiar 是一次過，同時保住質素。

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

本地化和翻譯有甚麼分別？

翻譯處理的是字句。本地化處理的是一種文化需要從這些字句得到甚麼。

恰當的用詞、俚語、照原話保留的名字、換成觀眾熟悉的典故、那種文化忌諱的說法、合適的粗口程度。這一切都由 MLDM 決定，日後畫面需要改動時，畫面也一樣。

MLDM 是生成式 AI 嗎？

不是。IBM 是這樣定義的：

生成式 AI，有時稱為 gen AI，是能夠按用戶的提示或要求，創作原創內容（例如文字、圖像、影片、音訊或軟件程式碼）的人工智能（AI）。

IBM, What is generative AI?

要創作新東西，這是一件強大的工具。MLDM 沒有提示詞，也不會憑空捏造任何東西：它決定怎樣把原有的內容本地化。完整的立場見於為何 Familiar 不是傳統意義上的生成式 AI 和翻譯不是生成。

這些決定屬於誰？

屬於你。MLDM 作出的每一個決定，都會連同配音記錄在決策紀錄裡。

現時
你的創意總監審閱翻譯上的決定。
幾個譯本，連同各自背後的理由；任何內容發出前，由他們選定一個。
現時
一份不翻譯清單和一句背景說明，隨工作一併傳送。
開發中
聲音和畫面上的決定，放在同一個審閱畫面。
開發中
決定記憶。
為某位創作者記住的推翻決定，會在下一次配音時優先套用，所以某個選擇一旦定下，同一套劇的下一集會自動沿用。

完整的說明見於決策紀錄；規劃中的 API 見於決策文件。

常見問題

MLDM 代表甚麼？

MLDM 是多模態本地化決策模型（Multimodal Localization Decision Model）的縮寫，屬全新範式，業界首創：一個模型橫跨文字、聲音和畫面，決定本地化甚麼、怎樣本地化。它選定一句對白的譯法、聲音裡翻譯甚麼、鏡頭上是誰在說話，以及唇形、表情和手勢怎樣跟著調整。

MLDM 是影片模型嗎？

不是一般意義上的影片模型。MLDM 處理已經存在的片段，決定怎樣把它本地化：台詞、聲音、唇形和表情。鏡頭上的人，在每一種語言裡都始終是原來那個人。

MLDM 會製作新的片段嗎？

不會。沒有提示詞，也不會憑空捏造任何東西。MLDM 決定怎樣把原有的內容本地化：演員、節奏和場景不變，台詞、聲軌和唇形則按新的語言調整。

MLDM 在聲音上決定甚麼？

先決定要翻譯甚麼。它找出主要人聲，用說話者自己的聲音帶進新的語言。笑聲、人群、一聲叫喊，以及誰也聽不清的背景說話者，都原封不動保留。

MLDM 會改變表情嗎？

當語氣需要加重或文化有需要時會。每一句對白，唇形都會跟著新的台詞；當一句對白在新的語言裡效果不同，表情和手勢也會跟著調整。人始終是原來那個人。

MLDM 會翻譯畫面上的文字嗎？

暫時未會。畫面中的文字，例如手機屏幕、書本封面、路牌或店舖招牌，現正整合中，會沿用你已選定的譯法；它會即場決定哪些保留拍攝原貌，例如品牌、名字、俚語：一包 Tostitos 依然是 Tostitos。現時本地化的是台詞、聲音、唇形、表情和手勢。

模型作出的決定，我可以更改嗎？

可以。每一個決定都會連同該次配音工作一併記錄，你可以推翻。現時你的創意總監可以在幾個譯本之中揀選，每個都附有理由，而某個選擇一旦定下，同一套劇的下一集會自動沿用。

模型會展示它在聲音和影像上的選擇嗎？

翻譯上的選擇現時已經展示。聲音上的選擇，例如哪些內容保留原來的語言，以及畫面上的選擇，例如改選另一張臉或決定翻譯畫面中哪些文字，正在開發中。

參考資料

多模態翻譯

Familiar Labs 以多模態本地化決策模型（MLDM），打造高出一個世代的配音。這是首個多模態翻譯基礎模型：一個模型橫跨文字、聲音和畫面，決定本地化甚麼，並把選擇交給你過目。你的聲音和唇形，帶進新的語言。團隊 8 人，當中有博士，獲 Samsung、RedBird、Gold House 支持。我們的使命

查看完整基準測試 →聯絡團隊