定義

首個多模態翻譯基礎模型

FAMILIAR 研究更新於 全部文章
語言版本EnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

摘要

Familiar 是首個多模態翻譯基礎模型：一個模型把台詞、聲音、唇形和場景一次過帶進新的語言。直到現在，機器配音都要經過多件獨立工具，每件都在不知道其他工具的情況下估計。多模態本地化決策模型（MLDM）把各個決定放在一起作出，所以同一位演員在每一種語言裡都交出同一場演出。先翻譯，再一次過完成配音：聲音、唇形和場景一併到位。
首個多模態翻譯基礎模型

甚麼是多模態翻譯基礎模型？

一個模型，把台詞、聲音、唇形和場景一次過帶進新的語言。

一段影片說的，不只是它的台詞。說話者的聲音、嘴巴的動作、現場的笑聲、一場戲底下的音樂，全都帶著意思。要把影片翻譯好，就要把這一切都帶過去，而且要彼此吻合：台詞要配合嘴形，聲音要融入場景，鏡頭上的人要始終是原來那個人。

多模態翻譯基礎模型，就是一個模型包辦整件工作。它把片段當作一個整體，決定每個部分在新的語言裡應該怎樣呈現。Familiar 建立了首個這樣的模型，稱之為 MLDM。

配音為何一直要經過多件獨立工具？

世界上大部分地方，一直都用不上人工配音。即使是頂級製作，也因成本、人手和時間只配幾種語言；規模較小的製作、節目和微短劇，根本不配音。完整的人工配音，翻譯加聲音，每分鐘成片要 $70 至 $150。

機器配音由一條流水線起步：先轉錄，再翻譯，再配聲音，再做唇形同步。

這條流水線令機器配音成為可能，當中每件工具也各自做得愈來愈好。但每個環節都在沒有其他環節的情況下運作。翻譯從來看不到它要配合的那張嘴。聲音從來聽不到它身處的場景。前段一個小錯誤，在之後每個環節不斷放大，結果就是一把陌生人的聲音，配上一張對不上的臉。

一個模型一次過包辦，改變了甚麼？

串接年代

  • 多件獨立工具，一件接一件。
  • 每個環節都在不知道其他環節的情況下估計。
  • 一把新的聲音，配上原來的臉。

首個基礎模型

  • 一個模型，一套決定。
  • 翻譯知道它要配合的那張嘴。
  • 聲音知道它身處的場景。
  • 人始終是原來那個人。
++
影音翻譯一次過完成，不是逐層串接：業界首創。

同一位演員的演出完整保留下來：他自己的聲音、跟著新台詞動的嘴唇、他的表情，以及身邊的場景聲音。笑聲、人群和音樂原封不動。在相同片段上，YouTube 的背景聲音錯誤比 Familiar 多 232.6%。單看台詞，翻譯與資深專業譯者的初稿旗鼓相當：達到他們質素的 100.3%。完整數字見於基準測試。

它亦改變了配音前後的工作。現時追求高質素的做法是輔助式的：一隊 VFX 特效師逐個鏡頭處理幾個星期，每多一種語言就是一個新項目。現時一次過完成的工具快是快，代價是其餘一切：譯文不能修改，音樂和現場環境聲消失，遇上最普通的鏡頭唇形就會失準：手擋在臉前、咪高峰、畫面模糊、散景、側面鏡頭、畫面裡有幾個人。沒有空間推理，不理解真實世界。Familiar 是一次過，同時保住質素：上載一次，影片就一次過帶進你選的每一種語言，而且各個決定出自同一個模型，彼此吻合，所以不用再靠人手逐段拼接回去。

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

MLDM 決定甚麼，你又選擇甚麼？

多模態本地化決策模型就是模型本身。MLDM 橫跨文字、聲音和畫面，決定本地化甚麼、怎樣本地化。完整定義見於甚麼是多模態本地化決策模型（MLDM）？

模型決定，你來選擇

文字
MLDM 決定一句對白用哪個譯法帶進新的語言：用詞、俚語、名字、典故。
你選擇任何內容發出前，你的創意總監在幾個譯本之中揀選，每個都附有理由。
聲音
MLDM 決定先決定要翻譯甚麼：用說話者自己的聲音說出主要人聲，其餘原封不動保留。
你選擇哪些內容保留原來的語言。開發中。
畫面
MLDM 決定真正在說話的是誰，以及唇形和表情怎樣跟著調整。
你選擇模型選錯說話者時改選另一張臉，以及畫面中哪些文字要翻譯。開發中。
  1. 現時

    翻譯上的決定，由你的創意總監審閱。

    每一個決定都會連同該次配音工作一併記錄。任何一項都可以由你推翻。
  2. 開發中

    聲音和畫面上的決定，放在同一個審閱畫面。

  3. 開發中

    畫面中的文字，以及直播配音。

    手機屏幕或路牌會沿用你已選定的譯法；品牌或名字即場決定保留拍攝原貌：一包 Tostitos 依然是 Tostitos。

這些選擇的紀錄，見於決策紀錄：創意總監如何指揮 MLDM。

製作公司從基礎模型得到甚麼？

把繁瑣的部分交給 MLDM。創作上的判斷留給創作這部作品的人；其餘的，由模型一次過帶進每一種語言。

語言

輸出 30 種，輸入 99 種

配音輸出 30 種語言，素材可以是 99 種來源語言中的任何一種。

成品影片

最高 4K

完整混音

真正的 5.1 環繞聲或立體聲

由你揀選，24-bit PCM。

字幕

.srt 和 .vtt

依 Netflix Timed Text Style Guide 的規範切分，這是業界通用的字幕範本標準。

私有推理

加拿大多倫多

我們自家擁有、價值八位數美元的 NVIDIA B300 GPU 集群，絕不經公有雲。

每一段配音都在這個集群上處理，絕不交給第三方推理服務商，所以你的媒體絕不會外洩。詳情見於私有推理文件和輸出文件。背後是一群開創了聯合視聽人類模型領域的博士：22 篇論文、超過 10,000 次引用，由 Xu Zheng 教授和 Youngjung Uh 教授擔任顧問，並獲 Samsung、RedBird 和 Gold House 支持。論文見於我們的研究。

翻譯基礎模型是生成式 AI 嗎？

不是傳統意義上的生成式 AI。IBM 是這樣定義生成式 AI 的：

生成式 AI，有時稱為 gen AI，是能夠按用戶的提示或要求，創作原創內容（例如文字、圖像、影片、音訊或軟件程式碼）的人工智能（AI）。
IBM, What is generative AI?

要創作新東西，這是一件強大的工具。MLDM 沒有提示詞，也不會憑空捏造任何東西：它把原有的內容帶進另一種語言。不是「生成式 AI」，是成就創作人的翻譯。由人到人，觸及更多觀眾。

這個系列的其他文章：影音翻譯一次過完成，不是逐層串接、多模態翻譯基礎模型對製作公司和平台意味著甚麼，以及開拓多模態翻譯。

常見問題

甚麼是多模態翻譯基礎模型？

一個模型，把影片的台詞、聲音、唇形和場景一次過帶進新的語言。Familiar 的多模態本地化決策模型（MLDM）是業界首創：各個決定出自同一個模型，所以彼此吻合，而鏡頭上的人始終是原來那個人。

它和以往的機器配音有甚麼分別？

以往的機器配音是一連串獨立工具：先轉錄，再翻譯，再配聲音，再做唇形同步，每件都在不知道其他工具的情況下估計。MLDM 把各個決定放在一起作出。先翻譯，再一次過完成配音：聲音、唇形和場景一併到位。

多模態翻譯基礎模型是生成式 AI 嗎？

不是傳統意義上的生成式 AI。沒有提示詞，也不會憑空捏造任何東西：MLDM 決定怎樣把已經存在的片段本地化。生成式 AI 是創作新東西的強大工具；這是成就創作人的翻譯，由人到人，觸及更多觀眾。

我可以審閱模型作出的決定嗎？

可以。每一個決定都會連同該次配音工作一併記錄，任何一項都可以由你推翻。現時你的創意總監可以在幾個譯本之中揀選，每個都附有理由。聲音和畫面上的選擇正在開發中。

它涵蓋哪些語言？

配音輸出 30 種語言，素材可以是 99 種來源語言中的任何一種。上載一次，影片就帶進你選的每一種語言，最高 4K 交付，配真正的 5.1 環繞聲或立體聲混音。

我的片段在哪裡處理？

在 Familiar 位於加拿大多倫多、價值八位數美元的自家 NVIDIA B300 GPU 集群上。這就是私有推理：絕不經公有雲或第三方推理服務商，所以你的媒體絕不會外洩。

參考資料

  1. [1]IBM, What is generative AI?，2026 年 10 月 27 日查閱
  2. [2]Netflix, Timed Text Style Guide: Subtitle Templates，2026 年 10 月 30 日查閱
  3. [3]Familiar 基準測試
  4. [4]我們的使命

多模態翻譯

Familiar Labs 以多模態本地化決策模型（MLDM），打造高出一個世代的配音。這是首個多模態翻譯基礎模型：一個模型橫跨文字、聲音和畫面，決定本地化甚麼，並把選擇交給你過目。你的聲音和唇形，帶進新的語言。團隊 8 人，當中有博士，獲 Samsung、RedBird、Gold House 支持。 我們的使命

查看完整基準測試 →聯絡團隊