語言版本EnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu
摘要
在一個固定的 50 組配對樣本組上(阿拉伯語、西班牙語、法語、印地語、韓語;2026 年 8 月 8 日擷取),Familiar 的說話者相似度比 YouTube 自動配音高 182.9%(0.399 vs 0.141),改變或遺漏的重要意思少 70.3%(528 個中 43 個 vs 145 個)。YouTube 的背景聲音錯誤多 232.6%(11.21 vs 3.37 dB)。Familiar 在人聲事件上同樣領先。43 段來源片段中,只有 25 段有可用的自動配音;Familiar 全部 43 段都配了。完整數據和六段同步試聽範例:完整的 YouTube 基準測試。
方法
配對
50
固定樣本組;一段來源片段 × 一種目標語言。
語言
5
阿拉伯語、西班牙語、法語、印地語、韓語。
擷取日期
2026 年 8 月 8 日
可用率
43 段中 25 段
有可用 YouTube 自動配音的來源片段;Familiar 全部 43 段都配了。
維度評分方式
配對、黑盒
評分方式一段來源片段 × 一種目標語言;兩套系統的完整最終音訊。
對時間敏感的指標
評分方式只計經獨立核實來源時間軸對齊的 31 組配對(40 ms 標準;無法確定的音軌一律不計)。
事件指標
評分方式經人手核實笑聲或反應區段的 14 條音軌。
YouTube 沒有提供的音軌
評分方式明確列出,從不當作零分計算。
語意審閱
評分方式評判實際交付的語音;合理的意譯和細微的背景反應不算錯誤;不採用 CER/WER。
聲音:他們的是陌生人的聲音
YouTube 的自動配音用的是陌生人的聲音;Familiar 留住原說話者的聲音。
在 31 組完全對齊的配對上,與真人說話者的相似度:
FAMILIAR0.399
YOUTUBE0.141
語意
在 50 條經審閱的配音中,共有 528 個重要的來源意思;YouTube 改變或遺漏了 145 個,Familiar 43 個。
YOUTUBE145
FAMILIAR43
34/50
出現重要口語語意問題的 YouTube 配音
18/50
出現重要口語語意問題的 Familiar 配音
12 vs 0
嚴重語意失誤,YouTube vs Familiar
場景與反應
YOUTUBE11.21 dB
FAMILIAR3.37 dB
0.998 vs 0.236
笑聲/反應形態相關度 · 14 條事件音軌
0.11 vs 3.36 dB
笑聲/反應音量錯誤 · 14 條事件音軌
25/43
有可用 YouTube 自動配音的來源片段;Familiar 全部 43 段都配了
Familiar 交付的成品配音最高 4K,配真正的 5.1 環繞聲或立體聲混音。
研究限制
針對所擷取樣本組的固定黑盒研究,並不代表每一條 YouTube 配音、每一種語言或平台日後的任何版本。
只限此樣本組
這是模型診斷,不是真人試聽研究;不確定性很大。
預測自然度 · UTMOS 2.12 vs 1.85
僅作描述;其區間觸及零。
瞬態時間點 · F1 1.000 vs 0.789
參考資料
多模態翻譯
Familiar Labs 以多模態本地化決策模型(MLDM),打造高出一個世代的配音。這是首個多模態翻譯基礎模型:一個模型橫跨文字、聲音和畫面,決定本地化甚麼,並把選擇交給你過目。你的聲音和唇形,帶進新的語言。團隊 8 人,當中有博士,獲 Samsung、RedBird、Gold House 支持。 我們的使命
