觀點

由人到人,不是由 AI 到 AI

為甚麼優質內容始終屬於人。

FAMILIAR 研究全部文章

摘要

我們無法對 AI 人物產生共鳴。至少大多數人做不到同等程度。我們看一場演出,是因為知道有一個真人在演繹最真實的情感。AI 可以逼真到任何程度,但一旦知道是 AI,共鳴就會減退。Familiar 走優質路線,原因就在這裡。

共鳴

關鍵在情感。我們明白眼前是一個真人在演繹最真實的情緒,於是跟著他一起感受。有一部分觀眾只想聽到聲音;大多數人卻分辨得出來。而且標示遲早會來:各大平台都會標明 AI 製作的內容。所以畫面再精細,差距也不會因此收窄。只有當那個人是真的,差距才會消失。

明星效應

我們喜歡明星。我們看一套劇,是為了一張熟悉的臉和一場精彩的演出。當那個人其實不是他本人,明星效應就會減弱,圍繞他打造的大製作也一樣。

聲音
依然是本人明星自己的演出,在製作方同意下帶進另一種語言。
已不是本人一把不屬於他的聲音,讀著他的台詞。
臉孔
依然是本人同一張臉、同一個鏡次,唇形跟著新的台詞開合。
已不是本人一個不是他本人的演員。
已離世的演員
依然是本人他自己錄下的演出,由版權持有人決定是否本地化。
已不是本人一個他從未同意過的新項目,即使遺產管理方已經簽署。我們不會這樣做。

配音留住甚麼

由人到人,不是由 AI 到 AI。

配音讓一切保持不變:那個人、那場演出、那個場景、那段音樂。改變的只有語言。所以我們打造的是決策模型,而不是影片模型:鏡頭上是誰在說這句台詞,情緒由耳語到大叫,哪個名字或品牌保持原樣,畫面中的文字寫著甚麼。沒有任何東西是憑空捏造的,全都是原樣帶過去。

用心製作的 AI 內容

將來會有 AI 輔助的內容,也會有 AI 製作的內容,其中一些會是真正用心製作的。這些內容同樣需要配音。通用模型無法用新的語言重演同一個場景,同時讓對的人說話、保留笑聲和音樂、替換畫面上的文字。而翻譯正是連最好的通用模型也會自己失手的地方:一個笑話帶不過去,一個名字被翻譯了,一個俚語在新語言裡有不好的意思,一個題材是當地文化避諱的。不花心思的內容不值得配音;它們只會按每種文化重新製作一次。這沒有問題。我們不是為這類內容而設的。

而有些內容根本無法重新製作:

體育
比賽只會發生一次,沒有甚麼可以重來。
直播
現場進行,連同留言。是一個時刻,不是一個檔案。
真人騷
沒有劇本的真人。拍到的那一鏡,就是唯一的一鏡。
紀錄片
真實的人說真實的話,只有一次。

現場的時刻只能原樣帶過去。我們的下一個版本正朝這個方向發展。

兩條路線

快速路線:上載一次,出來甚麼就是甚麼,無從掌控,譯文也無法審閱。優質路線:那個人、那場演出和那個場景都留住,每一個決定都有記錄,由你推翻,一次過完成。我們刻意選擇了第二條路。

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

為甚麼優質路線會愈走愈強

每一部作品都會累積到記錄裡:那種文化避諱甚麼,哪個俚語會變味,粗口可以去到幾盡,用詞怎樣才對,笑話怎樣才帶得過去。某個選擇一旦定下,下一集會自動沿用。通用影片模型能用某種語言生成內容,遠早於它們能本地化成那種語言;我們處理 30 種語言,這些細節會一直累積。

++
由人到人,觸及更多觀眾。
由人到人優質路線

多模態翻譯

Familiar Labs 以多模態本地化決策模型(MLDM),打造高出一個世代的配音。這是首個多模態翻譯基礎模型:一個模型橫跨文字、聲音和畫面,決定本地化甚麼,並把選擇交給你過目。你的聲音和唇形,帶進新的語言。團隊 8 人,當中有博士,獲 Samsung、RedBird、Gold House 支持。 我們的使命