研究筆記

影片翻譯，甚麼才最重要

FAMILIAR 研究更新於 全部文章
語言版本EnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

摘要

一段配音站不站得住，取決於四件事：譯文讀起來像用目標語言寫成，聲音聽起來仍然是那位說話者，畫面上的文字一併轉換，唇形對得上。前兩項決定其餘一切。四件事歸根究柢是同一個問題：換一種語言，保住同一場演出。

四個問題

問一段配音影片怎樣才算好，答案可以列出一長串，濃縮起來就是四項：

自然的翻譯
怎樣才算好用目標語言寫出一份新劇本，把影片的內容好好傳達出來，而不是逐句對譯。
自然的聲音
怎樣才算好同一個人、同一份情緒、同樣的重音，換成新的語言。
畫面文字
怎樣才算好按語言和出現的時刻改寫，而且不損害影片。
唇形同步
怎樣才算好看不出來。觀眾根本察覺不到有改動過。

前兩項一旦失手，後面的都不重要了：一句譯錯的對白，或者一把明顯不對的聲音，單憑自己就足以毀掉整段配音。後兩項則決定成品看起來像原作，還是像配音。

自然的翻譯：一份新劇本，不是逐句對譯

每種語言都有自己的表達方式：用詞、慣用語、句子結構、稱呼，甚至哪些話根本不會說出口。叫一個模型「翻譯」，它就會把 A 語言的句子逐句對應到 B 語言。人也一樣：一旦定位成譯者，工作就會縮窄成轉換句子。

這樣譯出來的配音，聽得懂，但不對。

觀眾需要的是一份新劇本，以目標語言寫成，把影片的內容好好傳達出來。
  • 日語傾向避開太直接的說法；一句自然的對白，往往要整句以間接方式重寫，而不是逐字放軟語氣。
  • 韓語經常省略主語；把英語的代名詞照英語的頻率搬進韓語，即使每個字都正確，讀起來仍然像外語。
  • 語序、語域、敬語，以及一種文化不會說出口的東西，每種語言都不同；字面意思保住了，不代表翻譯就好。

「好」很難變成一張清單，所以我們把目標濃縮成一句：用目標語言把影片的內容好好傳達出來。這是可以量度的：

100.3%

Familiar 達到資深專業譯者的翻譯質素，以專家修訂稿為標準盲測評分

法語、中文、印地語、印尼語（資深專業譯者初稿）
54.7%

在相同片段上，Familiar 的重要翻譯錯誤較少（29 vs 64）

對比 ELEVENLABS DUBBING V2 (ALPHA) · 111 組配對配音 · 3 種語言

自然的聲音：同一個人，換一種語言

發音已經差不多解決了。真正有意思的失誤，都在發音之後：

  • 身份：同一個人在每一種語言裡，聽起來都仍然是同一個人。
  • 情緒：說話者當時的感受，換了語言依然保得住。
  • 重音、節奏、意圖：句子的重心落在哪裡、說得多快、想達到甚麼。

這個目標可以像翻譯的目標一樣濃縮：聲音要配合影片。不是「用 A 語言的聲音生成 B 語言」，而是同一場演出，換一種新的語言。場景本身也是聲音的一部分：笑聲、音樂、現場的空間感。

270%

ElevenLabs 對背景聲音的破壞較多（11.92 vs 3.22 dB）：音樂、音效、環境聲

DUBBING V2 (ALPHA) 研究 · 相同片段
+27.8%

Familiar 的說話者相似度較高（0.461 vs 0.360），11 種語言全部更接近

對比 ELEVENLABS · DUBBING V1 研究 · 418 組配對配音
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

畫面文字也是影片的一部分

現代影片很倚重畫面上的文字：字幕、笑話、迷因，一個踩著節拍出現的字。每一樣都是原語言裡的一個視覺事件。要改寫它，有兩個要求：

  • 絕不損害影片。出現瑕疵或者分散視線，成品就比原作更差。
  • 絕不照字面翻譯。你要先明白這段文字為何在這一刻、這個位置出現，才能改寫它。

現時，Familiar 的多模態本地化決策模型（MLDM）是首個多模態翻譯基礎模型，屬全新範式，業界首創，會連同配音一併翻譯標題、描述和字幕。畫面中的文字正在開發中：手機屏幕或者一塊路牌，會沿用你已選定的譯法，品牌或名字則即場決定保留拍攝原貌，所以一包 Tostitos 依然是 Tostitos，而翻譯哪些文字由你揀選。原則不變：改動若能被察覺，就不夠好。

首個多模態翻譯基礎模型

唇形同步：不被察覺才算成功

唇形同步有同一個硬性要求：絕不損害影片。一段配音的唇形同步能得到的最高讚賞，就是觀眾問一句「改了甚麼？」

它看似是四項之中最不重要的一項；放到完整的觀看體驗裡，幾乎恰恰相反。人是用眼睛去聽的：同一段聲音，配上不同的口部動作，會被聽成不同的音，這就是麥格克效應。口形對不上，正是配音影片令人不自在、觀眾又說不出原因的理由之一。
McGURK & MacDONALD，〈HEARING LIPS AND SEEING VOICES〉，NATURE 264（1976）

這個效應也可以幫配音一把。口形一旦對上，大腦會把含糊之處往一致的方向理解：發音聽起來更清楚，音色也更像同一個人。

難處在於：畫外的聲音、多人重疊說話、樣貌或聲線相似的人，以及修改嘴巴而不弄壞整張臉。畫面上有兩個人，現時的工具就會讓兩張嘴同時對上口形。

嘴唇只是起點。一個人說一句話，用的是整張臉（眼睛、眉毛、面頰、頭部），還有身體：手勢、點頭、聆聽時那半拍的停頓。

一個問題，不是四個

每一項要求，最後都濃縮成同一句話。自然的翻譯：用目標語言寫出這段影片在說甚麼。自然的聲音：新的台詞裡保住同一場演出。畫面文字：動手之前先明白它為何在那裡。唇形同步：修改這個人，但不弄壞他。

同一場演出，換一種語言。

這就是 MLDM 所作的決定，在相同片段上量度，結果發表於 /benchmark。每一個決定都會連同該次配音工作一併記錄，並且可以推翻；現時你的創意總監可以在幾個譯本之中揀選。

參考資料

  1. [1]Familiar vs ElevenLabs 基準測試：完整結果、置信區間和試聽例子
  2. [2]AI 翻譯 vs 人工翻譯：與專業譯者對比測試（2026）
  3. [3]AI 唇形同步：是甚麼、欠甚麼、甚麼更好（2026）
  4. [4]配音在海外為何不對勁？製作公司如何解決（同一論點的製作公司版本）
  5. [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)

多模態翻譯

Familiar Labs 以多模態本地化決策模型（MLDM），打造高出一個世代的配音。這是首個多模態翻譯基礎模型：一個模型橫跨文字、聲音和畫面，決定本地化甚麼，並把選擇交給你過目。你的聲音和唇形，帶進新的語言。團隊 8 人，當中有博士，獲 Samsung、RedBird、Gold House 支持。 我們的使命

查看完整基準測試 →聯絡團隊