語言版本EnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu
摘要
YouTube 自動配音在平台內為合資格影片免費生成翻譯音軌。我們在一個固定的 50 組配對樣本組上(阿拉伯語、西班牙語、法語、印地語、韓語;2026 年 8 月 8 日),把它交付的配音與來源及 Familiar 對比量度。三項發現:配音用的是陌生人的聲音,超過四分之一的重要意思被改變或消失,而且背景場景被抹平了。完整數據:完整的 YouTube 基準測試。
它是甚麼
- 替代音軌:合資格頻道的影片可加上支援語言的音軌,由觀眾自行選擇。
- 完全免費,不需要任何工作流程。
- 能否使用由平台決定:在我們的片庫中,43 段中只有 25 段來源片段有可用的自動配音。
我們量度了甚麼
配音配對
50
2026 年 8 月 8 日固定
語言
5
阿拉伯語、西班牙語、法語、印地語、韓語
對齊配對
31
說話者相似度
來源意思
528
語意審閱
維度評分方式
聲音
評分方式聲音不是說話者本人的。與來源的說話者相似度 0.141;Familiar 0.399,在 31 組完全對齊的配對上高 182.9%。
語意
評分方式語意走樣。528 個重要來源意思中,有 145 個被改變或遺漏(27.5%);Familiar 43 個(8.1%)。12 條配音出現嚴重語意失誤;Familiar 0 條。
場景
評分方式場景被抹平。背景頻譜錯誤 11.21 dB,Familiar 為 3.37 dB;笑聲和反應的形態相關度只有 0.236,Familiar 為 0.998。
YOUTUBE145
FAMILIAR43
0.141
與真人說話者的相似度:一把陌生人的聲音
232.6%
背景聲音錯誤比 Familiar 多
25/43
有可用自動配音的來源片段;Familiar 全部 43 段都配了
甚麼時候它是合適的選擇
要測試翻譯版本到底有沒有觀眾:免費、零功夫,就是合適的代價。
當頻道的核心就是那個人(聲音、語氣、反應),聲音 + 唇形同步配音就能補上這個缺口,交付最高 4K,配真正的 5.1 或立體聲混音。
研究限制
只限此樣本組。針對所擷取樣本組的固定黑盒研究,並不代表每一條 YouTube 配音、每一種語言或日後的任何版本。
預測自然度(UTMOS 2.12 vs 1.85)是模型診斷,不確定性很大。不採用 CER/WER;語意審閱接受合理的意譯。
參考資料
多模態翻譯
Familiar Labs 以多模態本地化決策模型(MLDM),打造高出一個世代的配音。這是首個多模態翻譯基礎模型:一個模型橫跨文字、聲音和畫面,決定本地化甚麼,並把選擇交給你過目。你的聲音和唇形,帶進新的語言。團隊 8 人,當中有博士,獲 Samsung、RedBird、Gold House 支持。 我們的使命
