實測評測

YouTube 自動配音評測:我們量度了甚麼(2026)

FAMILIAR 研究更新於 全部文章

摘要

YouTube 自動配音在平台內為合資格影片免費生成翻譯音軌。我們在一個固定的 50 組配對樣本組上(阿拉伯語、西班牙語、法語、印地語、韓語;2026 年 8 月 8 日),把它交付的配音與來源及 Familiar 對比量度。三項發現:配音用的是陌生人的聲音,超過四分之一的重要意思被改變或消失,而且背景場景被抹平了。完整數據:完整的 YouTube 基準測試。

它是甚麼

  • 替代音軌:合資格頻道的影片可加上支援語言的音軌,由觀眾自行選擇。
  • 完全免費,不需要任何工作流程。
  • 能否使用由平台決定:在我們的片庫中,43 段中只有 25 段來源片段有可用的自動配音。

我們量度了甚麼

配音配對

50

2026 年 8 月 8 日固定

語言

5

阿拉伯語、西班牙語、法語、印地語、韓語

對齊配對

31

說話者相似度

來源意思

528

語意審閱

聲音
評分方式聲音不是說話者本人的。與來源的說話者相似度 0.141;Familiar 0.399,在 31 組完全對齊的配對上高 182.9%。
語意
評分方式語意走樣。528 個重要來源意思中,有 145 個被改變或遺漏(27.5%);Familiar 43 個(8.1%)。12 條配音出現嚴重語意失誤;Familiar 0 條。
場景
評分方式場景被抹平。背景頻譜錯誤 11.21 dB,Familiar 為 3.37 dB;笑聲和反應的形態相關度只有 0.236,Familiar 為 0.998。
圖 01 · 改變或遺漏的重要來源意思 · 共 528 個 · 50 條經審閱的配音
YOUTUBE145
FAMILIAR43
0.141

與真人說話者的相似度:一把陌生人的聲音

232.6%

背景聲音錯誤比 Familiar 多

25/43

有可用自動配音的來源片段;Familiar 全部 43 段都配了

甚麼時候它是合適的選擇

要測試翻譯版本到底有沒有觀眾:免費、零功夫,就是合適的代價。

當頻道的核心就是那個人(聲音、語氣、反應),聲音 + 唇形同步配音就能補上這個缺口,交付最高 4K,配真正的 5.1 或立體聲混音。

研究限制

只限此樣本組。針對所擷取樣本組的固定黑盒研究,並不代表每一條 YouTube 配音、每一種語言或日後的任何版本。
預測自然度(UTMOS 2.12 vs 1.85)是模型診斷,不確定性很大。不採用 CER/WER;語意審閱接受合理的意譯。

參考資料

  1. [1]Familiar vs YouTube 自動配音:完整結果、方法與試聽範例
  2. [2]Familiar vs YouTube 自動配音:固定樣本組研究
  3. [3]YouTube 說明:使用自動配音
  4. [4]Familiar 全部基準測試

多模態翻譯

Familiar Labs 以多模態本地化決策模型(MLDM),打造高出一個世代的配音。這是首個多模態翻譯基礎模型:一個模型橫跨文字、聲音和畫面,決定本地化甚麼,並把選擇交給你過目。你的聲音和唇形,帶進新的語言。團隊 8 人,當中有博士,獲 Samsung、RedBird、Gold House 支持。 我們的使命