正面對比基準測試

Familiar vs YouTube 自動配音:固定樣本組研究

FAMILIAR 研究更新於 全部文章

摘要

在一個固定的 50 組配對樣本組上(阿拉伯語、西班牙語、法語、印地語、韓語;2026 年 8 月 8 日擷取),Familiar 的說話者相似度比 YouTube 自動配音高 182.9%(0.399 vs 0.141),改變或遺漏的重要意思少 70.3%(528 個中 43 個 vs 145 個)。YouTube 的背景聲音錯誤多 232.6%(11.21 vs 3.37 dB)。Familiar 在人聲事件上同樣領先。43 段來源片段中,只有 25 段有可用的自動配音;Familiar 全部 43 段都配了。完整數據和六段同步試聽範例:完整的 YouTube 基準測試。

方法

配對

50

固定樣本組;一段來源片段 × 一種目標語言。

語言

5

阿拉伯語、西班牙語、法語、印地語、韓語。

擷取日期

2026 年 8 月 8 日

可用率

43 段中 25 段

有可用 YouTube 自動配音的來源片段;Familiar 全部 43 段都配了。

配對、黑盒
評分方式一段來源片段 × 一種目標語言;兩套系統的完整最終音訊。
對時間敏感的指標
評分方式只計經獨立核實來源時間軸對齊的 31 組配對(40 ms 標準;無法確定的音軌一律不計)。
事件指標
評分方式經人手核實笑聲或反應區段的 14 條音軌。
YouTube 沒有提供的音軌
評分方式明確列出,從不當作零分計算。
語意審閱
評分方式評判實際交付的語音;合理的意譯和細微的背景反應不算錯誤;不採用 CER/WER。

聲音:他們的是陌生人的聲音

YouTube 的自動配音用的是陌生人的聲音;Familiar 留住原說話者的聲音。

在 31 組完全對齊的配對上,與真人說話者的相似度:

圖 01 · 說話者相似度(SIM-O)· 31 條對齊的配音 · FAMILIAR +182.9%
FAMILIAR0.399
YOUTUBE0.141

語意

在 50 條經審閱的配音中,共有 528 個重要的來源意思;YouTube 改變或遺漏了 145 個,Familiar 43 個。

圖 02 · 改變或遺漏的重要來源意思 · 共 528 個 · FAMILIAR 少 70.3%
YOUTUBE145
FAMILIAR43
34/50

出現重要口語語意問題的 YouTube 配音

18/50

出現重要口語語意問題的 Familiar 配音

12 vs 0

嚴重語意失誤,YouTube vs Familiar

場景與反應

圖 03 · 背景頻譜錯誤 · 無語音區段 · YOUTUBE +232.6%
YOUTUBE11.21 dB
FAMILIAR3.37 dB
0.998 vs 0.236

笑聲/反應形態相關度 · 14 條事件音軌

0.11 vs 3.36 dB

笑聲/反應音量錯誤 · 14 條事件音軌

25/43

有可用 YouTube 自動配音的來源片段;Familiar 全部 43 段都配了

Familiar 交付的成品配音最高 4K,配真正的 5.1 環繞聲或立體聲混音。

研究限制

針對所擷取樣本組的固定黑盒研究,並不代表每一條 YouTube 配音、每一種語言或平台日後的任何版本。
只限此樣本組
這是模型診斷,不是真人試聽研究;不確定性很大。
預測自然度 · UTMOS 2.12 vs 1.85
僅作描述;其區間觸及零。
瞬態時間點 · F1 1.000 vs 0.789

參考資料

  1. [1]Familiar vs YouTube 自動配音:完整結果、方法與試聽範例
  2. [2]Familiar 全部基準測試:ElevenLabs、YouTube、人工翻譯
  3. [3]YouTube 說明:使用自動配音
  4. [4]YouTube 自動配音評測:我們量度了甚麼(2026)

多模態翻譯

Familiar Labs 以多模態本地化決策模型(MLDM),打造高出一個世代的配音。這是首個多模態翻譯基礎模型:一個模型橫跨文字、聲音和畫面,決定本地化甚麼,並把選擇交給你過目。你的聲音和唇形,帶進新的語言。團隊 8 人,當中有博士,獲 Samsung、RedBird、Gold House 支持。 我們的使命