语言版本EnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu
摘要
在一个固定样本集(50 组成对配音;阿拉伯语、西班牙语、法语、印地语、韩语;2026 年 8 月 8 日采集)上,Familiar 的音色还原度比 YouTube 自动配音高出 182.9%(0.399 vs 0.141),被改动或漏掉的要点少 70.3%(528 个中 43 个 vs 145 个)。YouTube 的背景音错误多出 232.6%(11.21 vs 3.37 dB)。在笑声等人声事件上,Familiar 同样领先。43 个源片段中只有 25 个有可用的自动配音;Familiar 配完了全部 43 个。完整数据和六组同步试听示例见YouTube 基准测试全文。
方法
成对配音
50
固定样本集;一个源片段 × 一种目标语言。
语言
5
阿拉伯语、西班牙语、法语、印地语、韩语。
采集日期
2026 年 8 月 8 日
可用性
43 个中 25 个
有可用 YouTube 自动配音的源片段;Familiar 配完了全部 43 个。
维度怎么打分
成对、黑盒
怎么打分一个源片段 × 一种目标语言;两套系统都交付完整的最终音频。
对时间敏感的指标
怎么打分只用源时间轴经过独立核验对齐的 31 组配对(40 ms 容差;不确定的通道一律判为不通过)。
事件指标
怎么打分14 条经人工核验含笑声或反应声片段的通道。
YouTube 无配音的通道
怎么打分单独标明,从不按零分计。
语义审核
怎么打分评判交付的语音;合理的意译和细微的背景反应不算错误;不计 CER/WER。
声音:他们用的是陌生人的声音
YouTube 自动配音用的是陌生人的声音;Familiar 留住的是说话人本人的声音。
在 31 组严格对齐的配对上,与真实说话人的音色还原度:
FAMILIAR0.399
YOUTUBE0.141
语义
在 50 条审核配音的 528 个重要源要点中,YouTube 改动或漏掉了 145 个;Familiar 是 43 个。
YOUTUBE145
FAMILIAR43
34/50
存在重要口语语义问题的 YouTube 配音
18/50
存在重要口语语义问题的 Familiar 配音
12 vs 0
严重意思错误,YouTube vs Familiar
场景与反应声
YOUTUBE11.21 dB
FAMILIAR3.37 dB
0.998 vs 0.236
笑声与反应声的形态相关度 · 14 条事件通道
0.11 vs 3.36 dB
笑声与反应声的响度误差 · 14 条事件通道
25/43
有可用 YouTube 自动配音的源片段;Familiar 配完了全部 43 个
Familiar 交付的成片最高 4K,配原生 5.1 环绕声或立体声混音。
局限
这是对所采集样本集的固定黑盒研究,并不代表每一条 YouTube 配音、每一种语言或平台未来的版本。
只针对这一样本集
这是模型诊断指标,不是真人听感研究;不确定性很大。
预测自然度 · UTMOS 2.12 VS 1.85
仅作描述;其置信区间触及零。
瞬态时间对齐 · 1.000 VS 0.789 F1
参考资料
多模态翻译
Familiar Labs 用多模态本地化决策模型(MLDM),让配音迎来代际飞跃。这是首个多模态翻译基础模型:一个模型决定本地化什么,覆盖文本、音频和画面,并把选择摆到你面前。你的声音与口型,带进新的语言。团队8人,汇聚多位博士;投资方包括 Samsung、RedBird、Gold House。 我们的使命
