解說

翻譯不是生成

FAMILIAR 研究更新於 全部文章

摘要

不是「生成式 AI」,是成就創作人的翻譯。生成和翻譯是兩個不同的動詞。生成,是拿一個提示詞,製作出本來不存在的東西。翻譯,是拿一樣本來已經存在的東西,即一場演出,把它帶進另一種語言。Familiar 屬全新範式,業界首創:多模態本地化決策模型(MLDM),首個多模態翻譯基礎模型。演員、時間點和場景不變;台詞、嘴形和聲軌則換成配合新語言的版本。
首個多模態翻譯基礎模型

兩個動詞

要製作新東西,生成式 AI 是很好的工具:放進提示詞,出來新內容,重點正是結果是新的。翻譯的目標恰恰相反。

翻譯另一個動詞

放進一場演出,出來同一場演出,換成另一種語言。

生成

  • 放進:一個提示詞
  • 出來:新內容
  • 衡量標準:結果有多新、多好

翻譯

  • 放進:一場完成了的演出
  • 出來:同一場演出,換成另一種語言
  • 衡量標準:對原作有多忠實

任何譯者,無論是人還是機器,編造得越少,評價越高。

甚麼不變,甚麼改變

演員
改變台詞
臉孔
改變嘴部動作
時間點
改變聲軌,換成新的語言
場景聲音:笑聲、音樂、現場環境聲
改變

新語言裡的聲音是演員自己的,取自片段本身。名字和口頭禪透過不翻譯清單完全照原話保留;笑話則會改寫,在目標語言裡同樣奏效。

為何唇形同步是翻譯的一部分

人聽說話不只靠耳朵。在麥格克效應中,把說 [b] 的聲音配到說 [g] 的臉上,觀眾通常會聽成 [d],一個兩邊都沒有發出的音(Tiippana,2014,描述 McGurk 與 MacDonald,1976)。大腦會把看到的和聽到的融合在一起。
聲音 [b] + 臉孔 [g] = 聽到 [d]

只配聲音的配音,把這種不吻合留在每一格畫面裡:嘴巴說的是一種語言,聲軌是另一種,理解就變得困難。所以嘴巴也是訊息的一部分。翻譯一場演出,就要連同台詞把唇形一併翻譯,這正是 Familiar 的配音會讓嘴唇跟著新台詞動的原因(常見問題「唇形同步為甚麼重要?」)。

發出前由創意總監審閱

有些對白可以有多於一種落點:一個笑位、一句挖苦、一句可以讀成真誠也可以讀成冷淡的話。這些對白會交回三個譯本,各有不同的意圖和情緒;照原話保留的俚語、為面向年輕觀眾的版本收斂的粗口也一樣。團隊選定一個,對照原文修改任何一句,然後才開始渲染。

把繁瑣的部分交給 MLDM。

配音繁瑣的部分,是為每種語言的每一句對白決定用哪一把聲音、唇形怎樣跟上。這些由 MLDM 決定,每一個決定都會連同該次配音工作一併記錄,讓你的團隊可以推翻任何一項。開發中的有:選擇哪些聲音保留原來的語言,例如一段口號或一聲叫喊,以及哪一張臉、畫面中哪些文字要翻譯。令一條配音出色的選擇,哪個笑位奏效、哪種語氣合適、哪個名字保留,仍然由創作這部作品的人決定。

++
我們用來訓練的所有數據,全部由 Familiar 團隊親自製作。

我們是創作流程裡的另一件工具。

常見問題

Familiar 是生成式 AI 嗎?

不是。Familiar 是多模態本地化決策模型(MLDM):它決定怎樣把原有的內容本地化,不需要提示詞。放進去的是你的影片,出來的是同一場演出,換成另一種語言。我們用來訓練的所有數據,全部由 Familiar 團隊親自製作。我們是創作流程裡的另一件工具。

我的音樂和音效會怎樣?

全部保留。笑聲、音樂和低音、音效和現場環境聲,都會留在新的對白下面。

我可以修改翻譯嗎?

可以。每條影片都會在審閱畫面暫停,你可以在渲染前對照原文修改任何一句。

參考資料

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725,2026 年 10 月 24 日查閱
  2. [2]Familiar 常見問題:唇形同步為甚麼重要?
  3. [3]AI 唇形同步:是甚麼、欠甚麼、甚麼更好(2026)
  4. [4]為何 Familiar 不是傳統意義上的生成式 AI
  5. [5]創作流程裡的另一件工具

多模態翻譯

Familiar Labs 以多模態本地化決策模型(MLDM),打造高出一個世代的配音。這是首個多模態翻譯基礎模型:一個模型橫跨文字、聲音和畫面,決定本地化甚麼,並把選擇交給你過目。你的聲音和唇形,帶進新的語言。團隊 8 人,當中有博士,獲 Samsung、RedBird、Gold House 支持。 我們的使命