团队

转身离开数字人的团队

FAMILIAR LABS 研究全部文章

摘要

人物视频领域的钱,流向了数字人:给软件配上新的脸和新的声音。开创音视频联合人物模型的研究者,走了另一条路:Familiar Labs 把一个人已经交出的表演带进 13 种语言,声音和脸都原样保留。

团队里都是谁?

全职

7

在多伦多

论文

22

每一篇都在研究总览里

同行评审

18

ICLR、CVPR、ECCV、NeurIPS 等

引用

超过 10,000

自 2021 年以来

三位联合创始人:CEO Andrew Liu,CTO Mingi Kwon,首席科学家 Jibin Song;和他们并肩的,还有一位首席研究员和几位技术团队成员,Xu Zheng 教授和 Youngjung Uh 教授担任顾问。他们发表于 ECCV 2026 的 JAM-Flow,是首个音视频联合人物模型;每一篇论文都在我们的研究总览里。

人物视频的钱,都去了哪里?

去了数字人:培训视频里的主讲人,能和你面对面对话的智能体。

数字人与虚拟人融资,据公开报道

Synthesia
融资
2 亿美元 E 轮,估值 40 亿美元
公布时间
2026 年 1 月 26 日
Nuance Labs
融资
5,000 万美元 A 轮
公布时间
2026 年 9 月 14 日
Tavus
融资
4,000 万美元 B 轮
公布时间
2025 年 11 月 12 日
Hedra
融资
3,200 万美元 A 轮
公布时间
2025 年 5 月 15 日
HeyGen
融资
6,000 万美元 A 轮,估值 5 亿美元
公布时间
2024 年 6 月
DeepBrain AI(首尔)
融资
4,400 万美元 B 轮
公布时间
2021 年 8 月
硅基智能(南京)
融资
十余轮累计超过 10 亿元人民币
公布时间
2025 年 7 月 5 日报道
数字人与虚拟人融资,据公开报道
公司融资公布时间
Synthesia2 亿美元 E 轮,估值 40 亿美元2026 年 1 月 26 日
Nuance Labs5,000 万美元 A 轮2026 年 9 月 14 日
Tavus4,000 万美元 B 轮2025 年 11 月 12 日
Hedra3,200 万美元 A 轮2025 年 5 月 15 日
HeyGen6,000 万美元 A 轮,估值 5 亿美元2024 年 6 月
DeepBrain AI(首尔)4,400 万美元 B 轮2021 年 8 月
硅基智能(南京)十余轮累计超过 10 亿元人民币2025 年 7 月 5 日报道

都是好公司,各自在做自己相信的东西;出处列在参考资料里。

团队为什么离开了数字人?

++

我们从不凭空生成一个人,也从不取代演员。

一支开创了音视频联合人物模型的团队,做数字人不会比任何人差;它选了与创造新人物相反的方向。一个照片级逼真的人顶替演员,只会让人觉得空洞:一旦知道是 AI,共情就会打折扣(从人到人,不是数字人)。

从这一边看,前沿是什么样子?

传递一个人,本身就是一道研究难题;已发表的研究,量出了团队离这个目标有多近。

图 01 · 已发表的研究 · 2026 年 8 月
182.9%

音色还原度比 YouTube 自动配音高出的幅度

50 组成对配音 · 5 种语言 · 2026 年 8 月 8 日固定
70.3%

被改动或漏掉的要点比 YouTube 自动配音少的幅度

同样的 50 组成对配音 · 2026 年 8 月 8 日
100.3%

相当于资深专业译者的质量:打平

法语 · 中文 · 印地语 · 印尼语 · 2026 年 8 月

团队接下来要推进什么?

  1. 现在

    13 种语言的配音

    最高 4K,5.1 或立体声;翻译上的选择交给你审核。
  2. 研发中

    画面里的文字,以及更多可选项

    招牌和屏幕上的文字本地化;音频和画面上的决定,都可以由你改。
  3. 研发中

    实况转播

    体育赛事、新闻和直播。
  4. 之后

    双向翻译,在会议里,也在面对面的现场

    凡是人工口译员能到的地方。

参考资料

  1. [1]Synthesia 完成由 GV 领投的 2 亿美元 E 轮融资:Synthesia raises $200M Series E led by GV(Built In,2026 年 1 月 26 日)
  2. [2]Nuance Labs 获 5,000 万美元融资:Nuance Labs bags $50M in funding(SiliconANGLE,2026 年 9 月 14 日)
  3. [3]Tavus 完成由 CRV 领投的 4,000 万美元 B 轮融资:Tavus raises $40M Series B led by CRV(Scale Venture Partners,2025 年 11 月 12 日)
  4. [4]Hedra 融资 3,200 万美元:Hedra raises $32 million(Cartoon Brew,2025 年 5 月)
  5. [5]HeyGen 融资 6,000 万美元,估值 5 亿美元:HeyGen raises $60M valued at $500M(Maginative,2024 年 6 月)
  6. [6]DeepBrain AI 完成 4,400 万美元 B 轮融资:DeepBrain AI raises $44M Series B(DeepBrain AI,2021 年 8 月)
  7. [7]硅基智能完成 D 轮融资(36氪,2025 年 7 月 5 日)
  8. [8]JAM-Flow(ECCV 2026)
  9. [9]Familiar Labs vs YouTube 自动配音:固定样本集研究

多模态翻译

Familiar Labs 用多模态本地化基础模型(MLFM),让配音迎来代际飞跃。这是首个多模态翻译基础模型:一个模型决定本地化什么,覆盖文本、音频和画面,并把选择摆到你面前。你的声音与口型,带进新的语言。团队7人,汇聚多位博士;投资方包括 Samsung、RedBird、Gold House。 我们的使命

投资方

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo