摘要
人物视频领域的钱,流向了数字人:给软件配上新的脸和新的声音。开创音视频联合人物模型的研究者,走了另一条路:Familiar Labs 把一个人已经交出的表演带进 13 种语言,声音和脸都原样保留。
团队里都是谁?
全职
7
在多伦多
论文
22
每一篇都在研究总览里
同行评审
18
ICLR、CVPR、ECCV、NeurIPS 等
引用
超过 10,000
自 2021 年以来
三位联合创始人:CEO Andrew Liu,CTO Mingi Kwon,首席科学家 Jibin Song;和他们并肩的,还有一位首席研究员和几位技术团队成员,Xu Zheng 教授和 Youngjung Uh 教授担任顾问。他们发表于 ECCV 2026 的 JAM-Flow,是首个音视频联合人物模型;每一篇论文都在我们的研究总览里。
人物视频的钱,都去了哪里?
去了数字人:培训视频里的主讲人,能和你面对面对话的智能体。
数字人与虚拟人融资,据公开报道
Synthesia
融资
2 亿美元 E 轮,估值 40 亿美元
公布时间
2026 年 1 月 26 日
Nuance Labs
融资
5,000 万美元 A 轮
公布时间
2026 年 9 月 14 日
Tavus
融资
4,000 万美元 B 轮
公布时间
2025 年 11 月 12 日
Hedra
融资
3,200 万美元 A 轮
公布时间
2025 年 5 月 15 日
HeyGen
融资
6,000 万美元 A 轮,估值 5 亿美元
公布时间
2024 年 6 月
DeepBrain AI(首尔)
融资
4,400 万美元 B 轮
公布时间
2021 年 8 月
硅基智能(南京)
融资
十余轮累计超过 10 亿元人民币
公布时间
2025 年 7 月 5 日报道
| 公司 | 融资 | 公布时间 |
|---|---|---|
| Synthesia | 2 亿美元 E 轮,估值 40 亿美元 | 2026 年 1 月 26 日 |
| Nuance Labs | 5,000 万美元 A 轮 | 2026 年 9 月 14 日 |
| Tavus | 4,000 万美元 B 轮 | 2025 年 11 月 12 日 |
| Hedra | 3,200 万美元 A 轮 | 2025 年 5 月 15 日 |
| HeyGen | 6,000 万美元 A 轮,估值 5 亿美元 | 2024 年 6 月 |
| DeepBrain AI(首尔) | 4,400 万美元 B 轮 | 2021 年 8 月 |
| 硅基智能(南京) | 十余轮累计超过 10 亿元人民币 | 2025 年 7 月 5 日报道 |
都是好公司,各自在做自己相信的东西;出处列在参考资料里。
团队为什么离开了数字人?
++
我们从不凭空生成一个人,也从不取代演员。
一支开创了音视频联合人物模型的团队,做数字人不会比任何人差;它选了与创造新人物相反的方向。一个照片级逼真的人顶替演员,只会让人觉得空洞:一旦知道是 AI,共情就会打折扣(从人到人,不是数字人)。
从这一边看,前沿是什么样子?
传递一个人,本身就是一道研究难题;已发表的研究,量出了团队离这个目标有多近。
182.9%
音色还原度比 YouTube 自动配音高出的幅度
50 组成对配音 · 5 种语言 · 2026 年 8 月 8 日固定70.3%
被改动或漏掉的要点比 YouTube 自动配音少的幅度
同样的 50 组成对配音 · 2026 年 8 月 8 日100.3%
相当于资深专业译者的质量:打平
法语 · 中文 · 印地语 · 印尼语 · 2026 年 8 月团队接下来要推进什么?
- 现在
13 种语言的配音
最高 4K,5.1 或立体声;翻译上的选择交给你审核。 - 研发中
画面里的文字,以及更多可选项
招牌和屏幕上的文字本地化;音频和画面上的决定,都可以由你改。 - 研发中
实况转播
体育赛事、新闻和直播。 - 之后
双向翻译,在会议里,也在面对面的现场
凡是人工口译员能到的地方。
参考资料
- [1]Synthesia 完成由 GV 领投的 2 亿美元 E 轮融资:Synthesia raises $200M Series E led by GV(Built In,2026 年 1 月 26 日)
- [2]Nuance Labs 获 5,000 万美元融资:Nuance Labs bags $50M in funding(SiliconANGLE,2026 年 9 月 14 日)
- [3]Tavus 完成由 CRV 领投的 4,000 万美元 B 轮融资:Tavus raises $40M Series B led by CRV(Scale Venture Partners,2025 年 11 月 12 日)
- [4]Hedra 融资 3,200 万美元:Hedra raises $32 million(Cartoon Brew,2025 年 5 月)
- [5]HeyGen 融资 6,000 万美元,估值 5 亿美元:HeyGen raises $60M valued at $500M(Maginative,2024 年 6 月)
- [6]DeepBrain AI 完成 4,400 万美元 B 轮融资:DeepBrain AI raises $44M Series B(DeepBrain AI,2021 年 8 月)
- [7]硅基智能完成 D 轮融资(36氪,2025 年 7 月 5 日)
- [8]JAM-Flow(ECCV 2026)
- [9]Familiar Labs vs YouTube 自动配音:固定样本集研究
多模态翻译
Familiar Labs 用多模态本地化基础模型(MLFM),让配音迎来代际飞跃。这是首个多模态翻译基础模型:一个模型决定本地化什么,覆盖文本、音频和画面,并把选择摆到你面前。你的声音与口型,带进新的语言。团队7人,汇聚多位博士;投资方包括 Samsung、RedBird、Gold House。 我们的使命
投资方
Stanford
Yonsei


