摘要
生成式 AI 是甚麼
生成式 AI,有時稱為 gen AI,是能夠按用戶的提示或要求,創作原創內容(例如文字、圖像、影片、音訊或軟件程式碼)的人工智能(AI)。
這個定義有兩個關鍵:放進去的是提示詞,出來的是本來不存在的東西。
生成式 AI 做甚麼
- 要製作新東西,它是一件強大的工具:一份初稿、一段歌曲草稿。
翻譯要求甚麼
- 作品本來已經存在,要做的是把它原封不動帶進另一種語言。
沒有提示詞的測試
問一問用戶要輸入甚麼。用生成式 AI,要輸入提示詞:描述你想要的東西,模型就把它製作出來。用 Familiar,甚麼都不用輸入。放進去的是你的影片,出來的是同一場演出,換成另一種語言。
場景也一樣保留:笑聲、音樂、現場環境聲。
數據從哪裡來
我們用來訓練的所有數據,全部由 Familiar 團隊親自製作。
把繁瑣的部分交給 MLDM。
每一條配音都有繁瑣的部分:每種語言的每一句對白,用哪個譯法、用哪一把聲音、唇形怎樣跟上。這些由 MLDM 決定,每一個決定都會連同該次配音工作一併記錄,讓你的團隊可以推翻。
- 現時
你的創意總監看得到翻譯上的選擇。
一個笑位的幾個譯本、照原話保留的俚語、為面向年輕觀眾的版本收斂的粗口。 - 開發中
選擇哪些聲音保留原來的語言、哪一張臉在說話,以及畫面中哪些文字要翻譯。
演出、選角和每一個創作上的決定,都留給創作這部作品的人。
我們是創作流程裡的另一件工具。
為何我們選擇質素這條路,行政總裁親自解釋:由人到人,不是由 AI 到 AI。
常見問題
Familiar 是生成式 AI 嗎?
不是。Familiar 是多模態本地化決策模型(MLDM):它決定怎樣把原有的內容本地化,不需要提示詞。放進去的是你的影片,出來的是同一場演出,換成另一種語言。我們用來訓練的所有數據,全部由 Familiar 團隊親自製作。我們是創作流程裡的另一件工具。
Familiar 會自己編造字句或對白嗎?
不會。字句是原話的翻譯,你的創意總監可以在渲染前審閱每一句。可以有多於一種落點的對白,例如一個笑位,會交回三個譯本讓你揀選。
配音裡是誰的聲音?
說話者自己的聲音,取自片段本身,帶進新的語言。Familiar 配音可輸出 30 種語言,影片可來自 99 種來源語言的任何一種。
參考資料
多模態翻譯
Familiar Labs 以多模態本地化決策模型(MLDM),打造高出一個世代的配音。這是首個多模態翻譯基礎模型:一個模型橫跨文字、聲音和畫面,決定本地化甚麼,並把選擇交給你過目。你的聲音和唇形,帶進新的語言。團隊 8 人,當中有博士,獲 Samsung、RedBird、Gold House 支持。 我們的使命
