影音翻譯一次過完成，不是逐層串接

01. 機器配音的串接年代是怎樣的？

機器配音由逐層串接起步：四件工具排成一列，每件各自開發、各自調校，再把結果交給下一件。

1. 01

   轉錄。

   語音轉文字，把說過的話寫下來。
2. 02

   翻譯。

   一個文字模型把文字稿譯成新的語言，既聽不到聲音，也看不到臉孔。
3. 03

   配聲音。

   文字轉語音把譯文讀出來，往往是一把陌生人的聲音。
4. 04

   唇形同步。

   每個字都定下來之後，再由另一件工具按新的音訊移動嘴巴。

這條流水線令機器配音成為可能。它的局限就在它的結構：每個環節都在不知道其他環節的情況下估計。翻譯無從得知這句對白要配合一張閉著的嘴。聲音無從得知它身處的空間。一個聽錯的字、一句過長的對白，會一路傳下去，錯誤在之後每個環節不斷累積。

多年來每件工具都在進步：文字稿更準，翻譯更到位，聲音更自然。完成的配音卻進步得較慢，因為工具之間的接縫一直都在原處。

02. 買家現時面對的是甚麼？

實際上，逐層串接是以一堆工具的形式出現：文字稿來自一件，翻譯來自另一件，聲音來自第三件，唇形同步和字幕來自第四件。改一句對白，就要把之後每個環節重新跑一次，還要有人在你的團隊裡把檔案拼湊起來。跳過這堆工具的方案，則要在質素和時間之間取捨。輔助工具靠一隊 VFX 特效師處理難搞的鏡頭來達到質素：每個項目幾個星期，每多一種語言就是一個新項目。一次過完成的工具快是快，代價是其餘一切：聲音走樣，現場環境聲消失，遇上手擋在臉前、咪高峰、畫面模糊、散景、側面鏡頭或畫面裡有幾個人，唇形就會失準，既沒有空間推理，也不理解真實世界。Familiar 是一次過，同時保住質素。

另一條路是完整的人工配音，翻譯加聲音，每分鐘成片 $70–150。成本、人手和時間，令世界上大部分地方都用不上：即使是頂級製作也只配幾種語言，規模較小的製作、節目和微短劇大多根本不配音。

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

如果你正在考慮 ElevenLabs Dubbing，以下是他們文件的原文引述，旁邊是我們的研究結果：

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. 一個模型作出所有決定，改變了甚麼？

Familiar 以多模態本地化決策模型（MLDM）配音。MLDM 橫跨文字、聲音和畫面，決定本地化甚麼、怎樣本地化，而各個決定出自同一個模型，所以彼此吻合。定義見於首個多模態翻譯基礎模型。

你收回的是演員自己的演出，換成另一種語言：他的聲音、嘴唇、表情和場景聲音，一併帶過去。上載一次，就同時推出每一種語言：配音輸出 30 種語言，素材可以是 99 種來源語言中的任何一種。

放在一起決定，也改變了可能出錯的地方。一句會過長的對白，在製作任何聲音之前，已按時間和嘴形譯得剛好。句子中間的一下笑聲，依然是笑聲。兩個人同時說話時，模型知道哪句是誰說的，所以動的是對的嘴唇。

04. 這對完成的配音改變了甚麼？

我們把相同片段交給兩個系統處理，用同一方法評分。每個數字都來自各自的研究，發表於基準測試。

聲音也有量度：在上文引述的研究中，Familiar 的聲音像真人說話者的程度比 ElevenLabs Dubbing v1 高 27.8%，11 種語言全部更接近。

在 YouTube 自動配音自己的研究中，它的背景聲音錯誤多 232.6%。場景得以保留，是因為 MLDM 聽得到音軌裡的一切，笑聲、人群、音樂，它找出主要人聲，用說話者自己的聲音帶進新的語言，其餘原封不動保留。

05. 「先翻譯，再一次過完成配音」是甚麼意思？

++

先翻譯，再一次過完成配音：聲音、唇形和場景一併到位。

次序很重要。翻譯先完成，由你的創意總監審閱：凡是可以有多於一種解讀的對白，他們都會看到幾個譯本和各自背後的理由，再選定一個。之後才製作配音，只做一次。不會憑空捏造任何東西。不是「生成式 AI」，是成就創作人的翻譯。把繁瑣的部分交給 MLDM。

字幕依 Netflix Timed Text Style Guide 的規範切分，這是業界通用的字幕範本標準。每一段配音都在 Familiar 位於加拿大多倫多、價值八位數美元的自家 NVIDIA B300 GPU 集群上處理，絕不經 Google Cloud 或 AWS 這類公有雲，也不會交給第三方推理服務商。檔案見於輸出文件，處理方式見於私有推理，對內容庫的意義則見於多模態翻譯基礎模型對製作公司和平台意味著甚麼。

06. 最後由誰拍板？

1. 現時

   你的創意總監審閱翻譯上的決定。

   幾個譯本，連同各自背後的理由；任何內容發出前，由他們選定一個。
2. 現時

   一份不翻譯清單和一句背景說明，隨工作一併傳送。

3. 開發中

   聲音和畫面上的決定，放在同一個審閱畫面。

   哪些內容保留原來的語言、模型選錯說話者時改選另一張臉，以及畫面中的文字。

對內容庫來說，改變的是覆蓋範圍。一套原本只會有一種語言的節目，可以一次過推出 30 種語言，保住演員自己的演出，而每一個重要的判斷仍然由你的團隊作出。

這就是決策紀錄；完整的說明見於決策紀錄：創意總監如何指揮 MLDM，模型決定甚麼則見於甚麼是多模態本地化決策模型（MLDM）？。背後的研究見於開拓多模態翻譯：從聯合視聽研究到首個基礎模型。由人到人，觸及更多觀眾。

常見問題