量度指南

全球最好的 AI 配音：如何量度

FAMILIAR 研究更新於 全部文章
語言版本EnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

摘要

最好的 AI 配音，就是以相同片段在六個維度上得分最高的那一個：口語語意、聲音複製、臉孔（唇形同步及以外）、場景聲音、人聲事件和時間點，以及工作流程和交付。完整數據、置信區間和試聽範例：配音基準測試總覽。

「最好」是可以量度的

表 01 · 配音質素的六個維度

口語語意
如何評分配音說的，是否就是你說的？每個輸出的重要翻譯錯誤數目。
失敗是甚麼樣子配音改變或遺漏了重要的意思。
聲音複製
如何評分閉上眼睛：這是同一個人嗎？與真人說話者的相似度。
失敗是甚麼樣子YouTube 自動配音把說話者的聲音換成一把現成的陌生人聲音。
臉孔
如何評分嘴巴、下顎和表情是否配合新的台詞？搜尋字眼是 AI 唇形同步；嘴唇只是最低要求。
失敗是甚麼樣子只有音訊的工具完全略過這個維度。
場景聲音
如何評分聲底（音樂、環境聲、音效）在配音後是否保留下來？配音背景與來源背景之間的頻譜錯誤。
失敗是甚麼樣子音樂、環境聲或音效消失了。
人聲事件和時間點
如何評分笑聲、嘆息和節拍，是否在原來的位置、以原來的方式出現？事件形態相關度；瞬態時間點 F1。
失敗是甚麼樣子一聲笑、一聲嘆息或一個節拍來遲了，或者變得平板。
工作流程和交付
如何評分工具是否接受你的片段，交回的又是甚麼？片段長度下限、批次上限、語言數目、解像度和音訊聲道：輸出 4K，輸出真正的 5.1。串流平台要求配音跟原版混音一致：5.1 進，5.1 出。
失敗是甚麼樣子被拒絕的片段，在該片段上得零分。

配音對比字幕和旁白配音：影片翻譯：完整指南。

令比較公平的方法

  1. 01

    配對與黑盒。

    相同的來源片段和相同的目標語言送到每套系統；只評估用戶最終聽到的音訊。
  2. 02

    一份經核准的語意。

    每條配音都按字詞時間碼轉寫，並對照這份語意審閱，有效的意譯亦會接受。
  3. 03

    聲學量度把配音與來源場景比較。

  4. 04

    每段來源片段權重相同。

    95% 區間以來源片段重新抽樣。
  5. 05

    被拒絕的片段記錄為拒絕。

    不同的產品分開作為不同的研究。

最新數據

我們在 2026 年 8 月 5 日，用這個方法對 ElevenLabs Dubbing 進行了兩次測試。
研究 A · DUBBING V1 · 418 組配對輸出 · 38 段片段 · 11 種語言 研究 B · DUBBING V2 (ALPHA)，他們最新的產品 · 111 組配對輸出 · 普通話 · 西班牙語 · 日語
圖 01 · 說話者相似度，配音對比真人說話者 · 穩定版 DUBBING V1 · 418 組配對輸出 · 11 種語言
Familiar0.4605
ElevenLabs0.3604
圖 02 · 經審閱標出的口語輸出錯誤 · 穩定版 DUBBING V1 · 418 組配對輸出
ElevenLabs258
Familiar132
  • Familiar 的聲音像真人說話者的程度高 27.8%；11 種語言全部以 Familiar 較佳。
  • ElevenLabs 經審閱標出的錯誤多 95.5%。
  • Familiar 的預測自然度高 10.2%（探索性）。
261%

ElevenLabs 的背景頻譜錯誤多 261%。

12.27 VS 3.40 DB · DUBBING V1
+243.7%

Familiar 的笑聲和反應形態相關度較高。

0.759 VS 0.221 · DUBBING V1
+24.3%

Familiar 的音效和節拍時間點 F1 較高。

0.947 VS 0.762 · DUBBING V1

在他們最新的產品上，同樣的規律依然成立：

圖 03 · 重要口語翻譯錯誤 · DUBBING V2 (ALPHA) · 111 組配對輸出
ElevenLabs64
Familiar29
270%

ElevenLabs 的背景聲音錯誤多 270%：笑聲、音樂、環境聲。

11.92 VS 3.22 DB · DUBBING V2 (ALPHA)
221%

ElevenLabs 的笑聲和反應音量錯誤多 221%。

3.32 VS 1.04 DB · 18 段片段，54 次比較 · DUBBING V2 (ALPHA)
+28.2%

Familiar 的笑聲和反應形態相關度較高。

0.960 VS 0.749 · DUBBING V2 (ALPHA)
56.5%

整體而言，ElevenLabs 被標出問題的配音多 56.5%。

36 VS 23
37/38

ElevenLabs 的來源片段覆蓋率；它拒絕了短於 11 秒的片段。

FAMILIAR 38/38

逐段片段的細分：Familiar vs ElevenLabs Dubbing：兩項配對研究。

ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

翻譯文字另有一項研究（2026 年 8 月）：把 Familiar 與資深專業譯者對比，以專家修訂稿為標準盲測評分。

圖 04 · 翻譯質素對比資深專業譯者初稿 · 虛線 = 專業譯者的 100%
法語100.0%
中文98.2%
印地語103.3%
印尼語99.6%
資深專業譯者初稿
  • 四種語言平均 100.3%：Familiar 生產流程的翻譯與專業譯者初稿的質素旗鼓相當。
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

暫時還沒有人做得好的部分

自己動手測試

一聲笑、背景音樂、一句急促的旁白：這三樣東西最容易令配音出事。

不用相信任何人的數字，包括我們的。整季或整個內容庫的試行，見如何進行 AI 配音試行（2026）；多人對話的電影場景，見電影最好的 AI 配音是甚麼？

  • 揀一段你認識的說話者的片段，三樣東西齊備。
  • 用兩件工具配音：相同片段，相同目標語言。
  • 檢查字詞。請一位母語人士，或者用回譯，把配音與原話對照。
  • 閉上眼睛，問自己是誰在說話。如果答案是「一位旁白員」，聲音複製就失敗了。
  • 留意現場的聲音。音樂還在嗎？環境聲呢？那聲笑還在嗎，聽來像不像說話者本人？再問清楚交付的混音是 5.1、立體聲還是單聲道。
  • 看嘴巴。唇形同步是否站得住，整張臉是否配合新的台詞？
圖 05 · 每種目標語言每分鐘成片價格 · ELEVENLABS = 結帳頁報價每分鐘 $3 · 2026 年 8 月 5 日 · 價格範圍取中位數
ElevenLabs$3 只有音訊
人工配音$39–94
完整人工配音$70–150
  • 完整人工配音，翻譯加聲音，每分鐘成片要 $70 至 $150，所以世界上大部分地方都用不上。輔助式視覺配音工具要靠一隊 VFX 特效師、每個項目花上幾個星期，才達到發行質素，而每多一種語言就是一個新項目；現時一次過完成的工具速度快，代價是其餘一切：無從掌控，遇上手擋在臉前、咪高峰、畫面模糊、散景、側面鏡頭或者畫面裡有幾個人，唇形同步就會失準。Familiar 是一次過，同時保住質素：它的多模態本地化決策模型（MLDM）是首個多模態翻譯基礎模型，屬全新範式，業界首創，以 Studio 合約按發行規格出售：一次渲染，包含翻譯、說話者自己的聲音、場景聲音和唇形同步，交付最高 4K，真正的 5.1 或立體聲混音。你的審閱人員可以在它的幾個譯本中揀選，每一個決定都會連同該次配音工作一併記錄。
  • 先看示範：首頁。
  • 用你自己的影片測試：電郵聯絡團隊。合約按你的內容庫規模定制，30 種語言全部可以任意互譯（價格）。
首個多模態翻譯基礎模型
評估一個內容庫還有一項準則：配音在哪裡處理。Familiar 的每條配音，都在它位於加拿大多倫多、價值八位數美元的自家 NVIDIA B300 GPU 集群上處理，絕不經 Google Cloud 或 AWS 這類公有雲，亦絕不經第三方推理供應商。
私有推理 · 加拿大多倫多

參考資料

  1. [1]Familiar vs ElevenLabs 基準測試：完整結果、置信區間與試聽範例
  2. [2]ElevenLabs Dubbing 官方文件
  3. [3]AI 翻譯 vs 人工翻譯：與專業譯者對比測試（2026）

多模態翻譯

Familiar Labs 以多模態本地化決策模型（MLDM），打造高出一個世代的配音。這是首個多模態翻譯基礎模型：一個模型橫跨文字、聲音和畫面，決定本地化甚麼，並把選擇交給你過目。你的聲音和唇形，帶進新的語言。團隊 8 人，當中有博士，獲 Samsung、RedBird、Gold House 支持。 我們的使命

查看完整基準測試 →聯絡團隊