研究

開拓多模態翻譯：從聯合視聽研究到首個基礎模型

FAMILIAR 研究更新於 全部文章
語言版本EnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

摘要

開創聯合視聽人類模型領域的團隊，建立了首個多模態翻譯基礎模型。Familiar 的多模態本地化決策模型（MLDM）把一個人的台詞、聲音和唇形一次過帶進 30 種語言，素材可以是 99 種語言中的任何一種。本文追溯由研究到模型的脈絡：團隊發表了甚麼、配音為何一直要經過多件獨立工具、甚麼是新的、現時由你選擇甚麼，以及哪些正在開發中。
首個多模態翻譯基礎模型

誰開創了聯合視聽人類模型？

一段配音要站得住，聲音和臉孔必須始終是同一個人。Familiar 的研究員是一群開創了聯合視聽人類模型領域的博士：他們在 ECCV 2026 發表的論文 JAM-Flow，是首個聯合視聽人類模型，把說話者的聲音和臉孔當作同一個問題處理。

論文

22

每一篇都在研究總覽中附有連結

同行評審

18

發表於 ICLR、CVPR、ICCV、ECCV、NeurIPS、ICML、ACM Multimedia 和 WACV

引用

超過 10,000

團隊自 2021 年起的紀錄

顧問

2

Xu Zheng 教授和 Youngjung Uh 教授

這些研究涵蓋多模態翻譯所需的各個部分：聯合視聽人類模型、快速影片模型、編輯和多模態感知。每一篇論文和發表場合都列於我們的研究總覽。原因很個人：行政總裁 An Zhu Liu 小時候無法用英語和同學交談，是看電視學會英語的，這個故事記在我們的使命。

配音為何一直要經過多件獨立工具？

因為每個部分都是先各自解決的。機器配音以一條流水線的形式出現，也正是這條流水線令它成為可能。它同時劃下了限制，而之後建立的工具，仍然要在質素和時間之間取捨。輔助工具靠一隊 VFX 特效師達到質素，每個項目幾個星期，每多一種語言就是一個新項目。一次過完成的工具快是快，代價是其餘一切：遇上手擋在臉前、咪高峰、畫面模糊、散景、側面鏡頭或畫面裡有幾個人，唇形就會失準，既沒有空間推理，也不理解真實世界。Familiar 是一次過，同時保住質素。

串接年代

  • 先轉錄，再翻譯，再配聲音，再做唇形同步。
  • 每件工具都在不知道其他工具的情況下估計。
  • 一把陌生人的聲音，配上一張已經對不上的臉。

一個基礎模型

  • 台詞、聲音、唇形和場景，一次過帶過去。
  • 翻譯知道它要配合的那張嘴。
  • 聲音知道它身處的場景。
  • 人始終是原來那個人。
++
Familiar 是首個多模態翻譯基礎模型：一個模型把台詞、聲音、唇形和場景一次過帶進新的語言。

逐步的對比見於影音翻譯一次過完成，不是逐層串接；定義見於首個多模態翻譯基礎模型。

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

這裡所說的開拓是甚麼意思？

影音翻譯一次過完成，不是逐層串接：業界首創。

三件事首次結合在一起。第一，聲音和畫面由同一個模型一次過帶進新的語言，所以各個決定彼此吻合：聲音是演員自己的，唇形跟著新的台詞動，笑聲、人群和音樂留在原處。

第二是次序。先翻譯，再一次過完成配音：聲音、唇形和場景一併到位。台詞先定稿，並經你的創意總監審閱，然後才配上聲音。

第三是紀錄。MLDM 作出的每一個決定都會連同該次配音工作一併記錄，任何一項都可以由你推翻。完整的說明見於決策紀錄：創意總監如何指揮 MLDM；MLDM 是甚麼，見於定義文章。

模型決定甚麼，你又選擇甚麼？

一項研究成果要成為產品，用它的人必須仍然掌握主導權。把繁瑣的部分交給 MLDM。創作上的判斷仍然由你作主。

由 MLDM 決定 | 由你選擇

文字
MLDM 決定每句對白用哪個譯法：用詞、照原話保留的俚語、名字和品牌、觀眾熟悉的典故。
你選擇現時：從各個選項和背後的理由之中選定譯法。
聲音
MLDM 決定先決定要翻譯甚麼：主要人聲用說話者自己的聲音帶過去；其餘原封不動保留。
你選擇開發中：哪些內容保留原來的語言。
畫面
MLDM 決定真正在說話的是誰，以及唇形和表情怎樣跟著新的台詞調整。
你選擇開發中：模型選錯說話者時改選另一張臉，以及畫面中哪些文字要翻譯。

哪些仍在開發中？

開拓的意思是第一個版本，不是最後一個。翻譯上的選擇現時已經開放；紀錄的其餘部分會分階段開放。

  1. 現時

    你的創意總監審閱翻譯上的決定。

    幾個譯本，連同各自背後的理由；一份不翻譯清單和一句背景說明隨工作一併傳送。
  2. 開發中

    聲音和畫面上的決定，放在同一個審閱畫面。

  3. 開發中

    畫面中的文字。

    手機屏幕、書本封面、路牌，會沿用你已選定的譯法；品牌或名字即場決定保留拍攝原貌：一包 Tostitos 依然是 Tostitos。
  4. 開發中

    直播配音。

這對鏡頭上的人改變了甚麼？

世界上大部分地方都用不上人工配音。即使是頂級製作，也因成本、人手和所需時間只配幾種語言；規模較小的製作、節目和微短劇，大多根本不配音。多模態翻譯基礎模型讓每一部作品都有同一場演出，換成另一種語言：演員的聲音、唇形和表情帶進 30 種語言，最高 4K 交付，配 24-bit PCM 的真正 5.1 環繞聲或立體聲混音（輸出規格）。

每一段配音都在多倫多一個價值八位數美元的 NVIDIA B300 GPU 集群上處理，用的是我們自己擁有的算力，絕不經公有雲。詳情見於私有推理文件。
私有推理 · 加拿大多倫多

翻譯的量度結果達到資深人工翻譯質素的 100.3%，旗鼓相當；研究見於 /benchmark。不是「生成式 AI」，是成就創作人的翻譯。由人到人，觸及更多觀眾。對內容庫的意義，見於寫給製作公司和平台的文章。

常見問題

Familiar 的基礎模型由誰打造？

一支 8 人團隊，成員是開創了聯合視聽人類模型領域的博士：22 篇論文，當中 18 篇經同行評審，超過 10,000 次引用。Xu Zheng 教授和 Youngjung Uh 教授擔任顧問。Familiar 獲 Samsung、RedBird、Gold House 支持。

甚麼是多模態翻譯基礎模型？

一個模型，把台詞、聲音、唇形和場景一次過帶進新的語言。Familiar 的多模態本地化決策模型（MLDM）是業界首創：它橫跨文字、聲音和畫面決定本地化甚麼，並把每一個決定連同該次配音工作一併記錄。

「不是逐層串接」是甚麼意思？

機器配音以往要把影片交給多件獨立工具：先轉錄，再翻譯，再配聲音，再做唇形同步，每件都在不知道其他工具的情況下估計。Familiar 把聲音和畫面一次過帶進新的語言，所以各個決定彼此吻合，人始終是原來那個人。

Familiar 是生成式 AI 嗎？

不是傳統意義上的生成式 AI。沒有提示詞，也不會憑空捏造任何東西：演員、節奏和場景不變，台詞、聲音和唇形則帶進新的語言。不是「生成式 AI」，是成就創作人的翻譯。

現時我可以選擇甚麼？

翻譯。凡是可以有多於一種解讀的對白，你的創意總監都會看到幾個譯本和各自背後的理由，在配上聲音之前選定一個。聲音上的選擇、畫面上的選擇和畫面中的文字，正在開發中。

參考資料

  1. [1]JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching (ECCV 2026)
  2. [2]團隊已發表的研究
  3. [3]甚麼是多模態本地化決策模型（MLDM）？
  4. [4]決策紀錄：創意總監如何指揮 MLDM
  5. [5]Familiar 基準測試
  6. [6]我們的使命

多模態翻譯

Familiar Labs 以多模態本地化決策模型（MLDM），打造高出一個世代的配音。這是首個多模態翻譯基礎模型：一個模型橫跨文字、聲音和畫面，決定本地化甚麼，並把選擇交給你過目。你的聲音和唇形，帶進新的語言。團隊 8 人，當中有博士，獲 Samsung、RedBird、Gold House 支持。 我們的使命

查看完整基準測試 →聯絡團隊