使命

我们的使命,是打破阻碍理解的每一道壁垒。

01我们的故事

这一切的由来。

我们的 CEO Andrew Liu 刚进学校时,没法用英语和同学交流。整所学校只有他一个亚洲人。他一个朋友也没有。 他是看电视学会英语的:屏幕,成了英语终于走近他的地方。这段经历,他从未忘记。

这就是 Familiar Labs 存在的原因:让屏幕上播放的一切,都能用每个人听得懂的语言抵达他们。

我们不取代创作者,只翻译创作者。

02那条界线

守住真人。

到 2030 年,娱乐将成为一个 4.2 万亿美元的产业。

普华永道(PwC),《2026–2030 年全球娱乐及媒体行业展望》。

它的未来走在一条细线上,一边是批量生产,一边是艺术;Familiar Labs 站在艺术这一边:守住人的表演,以及表演所承载的共情。

艺术艺术是什么

心血与创意,有其一,或兼而有之。

AI 也能在自己的赛道里做出艺术,就是动画早已占据的那一条:把小说、漫画和韩漫搬上银幕,里面没有任何真实演员的身份。可一旦 AI 追求照片级的逼真,去顶替本该出演的那位演员,结果只剩空洞,因为观众是冲着人来的。

唱歌和说唱,我们想听真人来。

一首歌,是从真实人生里唱出来的表演。哪怕词是别人写的,歌手也在用自己的方式诠释,我们感受到的正是这个。完全生成的歌曲,放在没人细听的地方也无妨:一段广告,商场里的背景音乐。
03为什么是年轻人

最年轻的观众,要的是真的。

Z 世代是史上品味最好的一代观众。他们追随创作者,是因为对方真实的性格;他们看的,是真实的人。

主播
体育
新闻
带货达人

我们渴望与人相连:一个人的性格,那份说不清道不明的魅力。人只会和人共情,而一旦知道是 AI,共情就会打折扣。

04表演者

演员和歌手,仍是真人。大多如此。

哪怕再过几十年,没有真人表演者的电影、电视剧和音乐,也只会是少数。那些真正活在角色里的艺术家,AI 又为什么要取代?

前景,仍属于人
表演者,就是吸引我们注意力的那个人:演员、歌手,或是用一段 riff 撑起整首歌的吉他手。
背景,交给 AI
CGI、视觉特效,可能还有群众演员,等技术足够成熟,都会交给 AI。那是制作,这没问题。
用 AI 创作的艺术
AI 会做出一些真正了不起的作品,投入巨大,极富创意。我们乐见其成。
比如这样一幕
“如果我知道那是 AI,我就没法有同样的感动。”
Andrew Liu | CEO

就算有一天 AI 能做到这种水准,共情依然缺席:人与人之间的连接,还有想去支持创作者的那份心意。

《爱乐之城》(2016)结尾,从 7:47 开始

我们选择支持的,大多仍会是人。我们对一个人的共情,不是一种会慢慢褪去的偏见;它就是我们生活、去爱、使用语言的方式。

05那道墙

语言,一直是人与人之间的那道墙。

  • 和孩子的老师说不上话的家长。

  • 描述不清自己症状的病人。

  • 在只讲另一种语言的法庭上,无人听懂的证人。

06它是什么

把繁琐的活儿交给 MLFM。

首个多模态翻译基础模型
  • 你的素材、你的声音、你的脸。不凭空捏造任何内容。
  • 没有提示词,也不随机生成新东西。
  • 我们训练用的所有数据,其实都出自 Familiar Labs 团队之手。

一个模型,决定本地化什么、怎么本地化,覆盖文本、音频和画面,并把关键的选择摆到你面前。先定翻译,再一气呵成做出配音:声音、口型和场景一并到位。所有决定出自同一个模型,所以彼此一致。人,始终还是那个人。

不是“生成式 AI”,而是助力创作者的翻译。

我们是创作流程中的又一个工具。

翻译

每句台词用哪种译法。

现在
  • 权衡多种译法;创意总监能看到每个选项和背后的理由,再做选择。
  • 哪些不用翻译:俚语照原样保留,名字和品牌保留不译。
  • 典故换成观众熟悉的,避开当地文化的忌讳,面向低龄观众的版本把脏话调轻。
音频

哪些该翻译。

现在
  • 找出主要的那个声音,用说话人自己的声音说出来。
  • 笑声、人群、一声大喊、听不清是谁在说的话:原样保留。
研发中
  • 一段口号、一声呐喊、一句话,保留原语言。
画面

画面上该本地化什么。

现在
  • 到底是谁在说话:谁在旁白,谁在画外发声。
  • 口型,包括遮挡与空间推理。
  • 在需要强调或文化有讲究时,表情和手势也跟上。
研发中
  • 画面里的文字,比如手机屏幕、书的封面、路牌、店招,沿用你已定下的译法。
  • 哪些保持拍摄原样,当场决定:一袋 Tostitos 还是 Tostitos。
  • 一句台词属于哪张脸,哪些文字要翻译。
07起点

我们从这道墙代价最大的地方做起:视频。

74%的互联网用户不说英语

真人配音,世界上大多数地方都用不上:就连顶级制作也只配少数几种语言,因为成本、人力和时间都撑不住。小一些的制作、剧集和竖屏短剧,干脆就不配音。

这一点早已得到验证:我们 CTO 曾执掌的公司,多年来一直运营着 Veritasium、3Blue1Brown 和 Welch Labs 的国际频道。

▚ 一气呵成,不必数周 ▞

FAMILIAR LABS · 一气呵成
Familiar LabsFamiliar Labs
辅助式视觉配音 · 数周
FlawlessFlawless
一键式工具 · 无从掌控
HeyGenHeyGenElevenLabsElevenLabs

如今业内用的辅助工具,每个项目都需要一支视效团队忙上数周,而且每种语言都是一个新项目。

上传
FAMILIAR LABS · 一气呵成上传一次,每种语言都能出片。
辅助式视觉配音 · 数周每种语言都要一份母版加一条配音音轨,再做数周视效。
一键式工具 · 无从掌控上传一次,出来什么就是什么。质量很差。无法审核译文。
翻译
FAMILIAR LABS · 一气呵成配音制作前先由你的创意总监审核;能听出不止一种意思的台词,会返回三版译文。
辅助式视觉配音 · 数周工具运行前就已做好,就在你自带的配音音轨里。
一键式工具 · 无从掌控在当前模型上,Enterprise API 之外都改不了;能改的编辑器用的是旧模型,处于维护模式。
声音
FAMILIAR LABS · 一气呵成说话人自己的声音;音乐、笑声和现场环境音都还在。
辅助式视觉配音 · 数周你自带的配音音轨里有什么,就是什么。
一键式工具 · 无从掌控声音偏离说话人本人;音乐和环境音消失。
谁在说话
FAMILIAR LABS · 一气呵成由模型判断画面里是谁在说。
辅助式视觉配音 · 数周视效师逐帧裁出每一张脸,再靠人工判断。
一键式工具 · 无从掌控口型靠猜;画面里有好几个人时,动的是错的那张嘴。
高难镜头
FAMILIAR LABS · 一气呵成手、麦克风、快速运动、虚焦、多人同时说话:遮挡与空间推理,同一个镜头里一气呵成。
辅助式视觉配音 · 数周每一处都得在审片前手工修好。
一键式工具 · 无从掌控手挡在脸前、麦克风、虚焦、焦外虚化、侧脸:口型就崩了。

如今的一键式工具,快是快,其余的却都放弃了:译文改不了,音乐和现场环境音消失,声音跑偏;手挡在脸前、麦克风、虚焦、焦外虚化、侧脸,或者画面里有好几个人,口型就对不上。没有空间推理,不理解真实世界,也无从掌控。

Familiar Labs 对比 Flawless TrueSync →
08我们的角色
++
从人到人,让同一段表演走得更远。

我们把一个人交出的表演带进每一种语言,他的声音、他的脸,连同每一次爆发和每一句低语,都原样保留。

我们从不凭空生成一个人。我们从不取代演员。

  1. 现在

    13 种语言的配音。

  2. 研发中

    实况转播:体育赛事、新闻、直播。

  3. 之后

    双向翻译:在会议里,也在面对面的现场。

有能力生成全新人物的研究者,选择了传递真实的人。

09歌曲

是配音,不是生成。

我们和 AI 音乐生成恰恰相反。我们反对取代人。AI 就该用在这样的地方:让不同文化的人,听懂同一首歌。

我们的 CEO Andrew Liu 是个音响发烧友,也是个音乐人:钢琴、大提琴、贝斯都会。他的妈妈常和他分享自己喜欢的歌,还唱给他听。他能听懂一些普通话,可歌一唱起来,词就从耳边溜走了。爸妈和家人爱听的歌,我们听不懂;我们爱听的英文歌,他们也听不懂。歌曲配音让两边都能听懂:把他们的歌带给我们,也把我们的歌用韩语和中文带给他们,让他们听得懂,也会一起听。整个团队都爱唱歌,也爱唱 K。我们都想听懂自己听的每一句歌词。

这些翻译过来的歌,我想加进自己的歌单。
Jaeseok Jeong | 首席研究员

歌曲配音首个真正意义上的歌曲配音

你熟悉的那首歌,还是同一位歌手的声音,换成了另一种语言。在此之前,一首歌要唱进另一种语言,只能重新唱一遍,由艺人本人、另一位歌手,或为它另做的一段人声来唱;而在这里,一句都不用重唱,原本的演唱原样带了过去。

面向唱片公司和旗下艺人,一张专辑一张专辑地做,专人全程、亲力亲为。每一句都译成能唱的样子,守住音节、押韵、律动和原意;每种语言的歌词,都要先经艺人认可,才会发布。

10为什么是加拿大

立足加拿大,面向全球。

Familiar Labs 扎根多伦多,和欧盟乃至世界各地的朋友们一起合作。我们的根,让我们想打破每一处语言障碍,一直深入到越来越小众的语言。

现在

13 种语言,任意互译。

  • 阿拉伯语
  • 德语
  • 俄语
  • 法语(法国)
  • 韩语
  • 葡萄牙语(巴西)
  • 日语
  • 泰语
  • 西班牙语(拉丁美洲)
  • 意大利语
  • 印地语
  • 英语
  • 中文
规划中
魁北克法语。
规划中
加拿大原住民语言。

安大略北部,蒂明斯。

我们的 CEO 就在那里长大,他上的小学里,只有白人孩子和第一民族的孩子。他的朋友要么是混血,要么是第一民族,来自常被忽视的社区,他们的语言也一样少有人顾及。安大略北部,其实很好玩。

我们的愿景:一个人人都能被听懂的世界。

11价值观

我们反对 AI 垃圾内容与深度伪造。

忠于真人,拒绝合成。

你自己的声音与面容。

拒绝垃圾内容,一切基于同意。

只翻译,不取代。所有内容都有同意记录,来源可查。

经过验证,不是纸上谈兵。

基准测试已公开发布:对照 ElevenLabs、YouTube 与专业译者,同一批片段实测。

把关,产品自带。

默认先审核,再发布;品牌名称和专有名词都原样保留。

无深度伪造只做翻译
▚ 团队 ▞

用心研究与打造

Andrew Liu
Andrew LiuCEO访问审批人
Jibin Song
Jibin Song首席科学家第二密钥保管人 | 变更审批人
Mingi Kwon
Mingi KwonCTO安全负责人 | 密钥保管人 | 删除签核人
Google Scholar ↗
Jaeseok Jeong
Jaeseok Jeong首席研究员内容处理人
Google Scholar ↗
Michael Chan
Michael ChanCBO事件响应负责人
Taehwan Lee
Taehwan Lee技术团队成员
Tonghyun Lee
Tonghyun Lee技术团队成员
Prof. Xu Zheng
Prof. Xu Zheng顾问
Prof. Youngjung Uh
Prof. Youngjung Uh顾问
Google Scholar ↗
▚ 研究 ▞
音视频联合生成

声音与脸出自同一个模型,身份永远不会割裂:这个领域由我们以 JAM-Flow 开创。

实时人像动画

当今最逼真的实时人像动画:SoulX-LiveAct 以每秒 20 帧驱动人像,可稳定运行一小时。

快速视频生成

蒸馏、引导与采样:让扩散模型快到足以实时运行的研究。

扩散模型内的编辑

在冻结的扩散模型内部做编辑:从发现 h-space,到控制风格、抹去画面文字。

多模态感知

先读懂场景,再动手编辑:在任何环境里,结合画面与声音判断谁在说话。

2021 年以来,被引用超过 10,000 次,在 ICLR、NeurIPS、CVPR、ECCV 等顶会发表论文 100 余篇。

投资方

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo