立場

為何 Familiar 不是傳統意義上的生成式 AI

FAMILIAR 研究更新於 全部文章

摘要

不是「生成式 AI」,是成就創作人的翻譯。傳統意義上的生成式 AI,是根據提示詞製作新內容。Familiar 沒有提示詞:放進去的是你的影片,出來的是同一場演出,換成另一種語言,同一位演員、同樣的時間點,還有演員自己的聲音。它是一件多模態翻譯工具,建基於全新範式,業界首創:多模態本地化決策模型(MLDM),首個多模態翻譯基礎模型,專門處理配音中繁瑣的部分。
首個多模態翻譯基礎模型

生成式 AI 是甚麼

生成式 AI,有時稱為 gen AI,是能夠按用戶的提示或要求,創作原創內容(例如文字、圖像、影片、音訊或軟件程式碼)的人工智能(AI)。
IBM, What is generative AI?

這個定義有兩個關鍵:放進去的是提示詞,出來的是本來不存在的東西。

生成式 AI 做甚麼

  • 要製作新東西,它是一件強大的工具:一份初稿、一段歌曲草稿。

翻譯要求甚麼

  • 作品本來已經存在,要做的是把它原封不動帶進另一種語言。

沒有提示詞的測試

問一問用戶要輸入甚麼。用生成式 AI,要輸入提示詞:描述你想要的東西,模型就把它製作出來。用 Familiar,甚麼都不用輸入。放進去的是你的影片,出來的是同一場演出,換成另一種語言。

同一位演員
鏡頭上是誰,就始終是誰。
同一場演出
語氣、情緒、停頓,全部保留。
同樣的時間點
每一句對白都落在原版的位置。
同一把聲音
聲音取自片段本身,從來不是現成的旁白聲。

場景也一樣保留:笑聲、音樂、現場環境聲。

++
不是「生成式 AI」,是成就創作人的翻譯。

數據從哪裡來

我們用來訓練的所有數據,全部由 Familiar 團隊親自製作。

模型學甚麼,就會成為甚麼樣子。

把繁瑣的部分交給 MLDM。

每一條配音都有繁瑣的部分:每種語言的每一句對白,用哪個譯法、用哪一把聲音、唇形怎樣跟上。這些由 MLDM 決定,每一個決定都會連同該次配音工作一併記錄,讓你的團隊可以推翻。

  1. 現時

    你的創意總監看得到翻譯上的選擇。

    一個笑位的幾個譯本、照原話保留的俚語、為面向年輕觀眾的版本收斂的粗口。
  2. 開發中

    選擇哪些聲音保留原來的語言、哪一張臉在說話,以及畫面中哪些文字要翻譯。

演出、選角和每一個創作上的決定,都留給創作這部作品的人。

我們是創作流程裡的另一件工具。

為何我們選擇質素這條路,行政總裁親自解釋:由人到人,不是由 AI 到 AI。

常見問題

Familiar 是生成式 AI 嗎?

不是。Familiar 是多模態本地化決策模型(MLDM):它決定怎樣把原有的內容本地化,不需要提示詞。放進去的是你的影片,出來的是同一場演出,換成另一種語言。我們用來訓練的所有數據,全部由 Familiar 團隊親自製作。我們是創作流程裡的另一件工具。

Familiar 會自己編造字句或對白嗎?

不會。字句是原話的翻譯,你的創意總監可以在渲染前審閱每一句。可以有多於一種落點的對白,例如一個笑位,會交回三個譯本讓你揀選。

配音裡是誰的聲音?

說話者自己的聲音,取自片段本身,帶進新的語言。Familiar 配音可輸出 30 種語言,影片可來自 99 種來源語言的任何一種。

參考資料

  1. [1]IBM, What is generative AI?,2026 年 10 月 24 日查閱
  2. [2]翻譯不是生成

多模態翻譯

Familiar Labs 以多模態本地化決策模型(MLDM),打造高出一個世代的配音。這是首個多模態翻譯基礎模型:一個模型橫跨文字、聲音和畫面,決定本地化甚麼,並把選擇交給你過目。你的聲音和唇形,帶進新的語言。團隊 8 人,當中有博士,獲 Samsung、RedBird、Gold House 支持。 我們的使命