观点

从人到人,不是从 AI 到 AI

为什么优质内容始终属于人。

FAMILIAR 研究全部文章

摘要

我们没法和一个 AI 人物共情,至少大多数人做不到同样的程度。我们看一场表演,是因为知道真实的人在演绎真实的情绪。AI 可以做得再逼真;一旦知道是 AI,共情就会打折扣。这正是 Familiar 选择品质赛道的全部理由。

共情

关键在情绪。我们知道是真实的人在演绎真实的情绪,于是跟着一起感受。有一部分观众只想听到声音;大多数人分得出来。何况标注迟早会来:各大平台都会给 AI 制作的内容打上标记。所以画面再精细,这道差距也不会消失。只有人是真的,它才会消失。

明星效应

我们喜欢明星。我们追一部剧,是冲着一张熟悉的脸和一场精彩的表演。一旦不是本人,明星的号召力就会打折,围绕明星打造的大制作也会跟着打折。

声音
仍是本人明星自己的表演,在制作方授权下带进另一种语言。
不是本人一个不属于他们的声音,念着他们的台词。
脸
仍是本人同一张脸,同一条镜头,口型跟着新台词走。
不是本人一个不是本人的演员。
已故的演员
仍是本人他们自己录下的表演,由版权方决定是否本地化。
不是本人一个他们从未同意过的新项目,哪怕遗产管理方已经签了字。我们不碰。

配音留住了什么

从人到人,不是从 AI 到 AI。

配音让一切保持不变:人、表演、场景、音乐。变的只有语言。所以我们做的是决策模型,而不是视频模型:画面里是谁在说这句台词,情绪从耳语到大喊,哪个名字或品牌保持原样,画面里的文字写的是什么。没有任何东西是编出来的,全都是原样带过去的。

用心做的 AI 内容

未来会有 AI 辅助的内容,也会有 AI 制作的内容,其中一些是真正花了心思做的。这样的内容照样需要配音。通用模型没法用一种新语言把同一场戏重来一遍,还让对的人开口说话,笑声和音乐原样保留,画面上的文字也一并替换。而翻译,恰恰是最强的通用模型单打独斗时最先失手的地方:笑点传不过去,名字被翻译了,俚语在新语言里成了不好的意思,碰到当地文化忌讳的话题。不怎么用心的内容不值得配音,按每种文化重做一版就行。这没问题。我们不做这一块。

还有一些内容,根本没法重做:

体育赛事
比赛只发生一次,没有什么可以重来。
直播
实时进行,还有弹幕。是一个瞬间,不是一个文件。
真人秀
没有剧本的真人。这一条就是唯一的一条。
纪录片
真实的人说真实的话,只说一次。

现场的那一刻,只能原样带过去。我们的下一个版本正朝这个方向走。

两条赛道

快车道:上传一次,出来什么就是什么,无从掌控,译文也没法审核。品质赛道:人、表演和场景都留住,每个决定都有记录,你都可以改,而且一气呵成。我们是有意选了第二条。

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

为什么品质赛道会越走越宽

每一部作品都会让记录更厚一点:那种文化忌讳什么,哪些俚语会变味,脏话能到什么尺度,该用哪些译法,一个笑点怎么才能传过去。一次定下的选择,下一集也会沿用。通用视频模型能用某种语言生成内容,远早于它能本地化到这种语言;我们覆盖 30 种语言,这些细微之处会不断积累。

++
从人到人,让同一段表演走得更远。
从人到人品质赛道

多模态翻译

Familiar Labs 用多模态本地化决策模型(MLDM),让配音迎来代际飞跃。这是首个多模态翻译基础模型:一个模型决定本地化什么,覆盖文本、音频和画面,并把选择摆到你面前。你的声音与口型,带进新的语言。团队8人,汇聚多位博士;投资方包括 Samsung、RedBird、Gold House。 我们的使命