摘要
兩個名詞,淺白地說
機器學習廣泛的領域
生成式 AI
- 生成式 AI 是機器學習的其中一種用途。IBM 的定義是:能夠按用戶的提示或要求,創作原創內容(例如文字、圖像、影片、音訊或軟件程式碼)的人工智能。
- 要製作新東西,它是很好的工具:一個概念畫面、一份初稿、一段歌曲草稿。
用 Familiar 翻譯
- 翻譯要求的是另一回事。
- 作品本來已經存在,Familiar 以全新範式、業界首創的多模態本地化決策模型(MLDM),把它原封不動帶進另一種語言。這是首個多模態翻譯基礎模型。
| 生成式 AI | 用 Familiar 翻譯 | |
|---|---|---|
| 輸入 | 一個提示詞 | 你已完成的影片 |
| 甚麼是新的 | 內容本身 | 另一種語言的台詞,以及承載這些台詞的聲音和嘴形 |
| 誰的樣貌 | 提示詞描述的任何人 | 鏡頭上的演員,經其同意 |
| 審閱 | 視乎工具 | 你的創意總監在渲染前逐句審閱 |
| 輸出 | 新的文字、圖像、影片、音訊或程式碼 | 同一場演出,最高 4K,真正的 5.1 或立體聲 |
應向任何供應商提出的六個問題
One shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
發佈前由誰審閱?
你的創意總監。可以有多於一種落點的對白,例如一個笑位或一句挖苦,會交回三個譯本,各有不同的意圖和情緒;他們選定一個,對照原文修改任何一句,然後才開始配音。不翻譯清單令名字和口頭禪完全照原話保留。
交回甚麼檔案?
每種語言交回時都是一條完成的影片,最高 4K,完整混音為真正的 5.1 環繞聲或立體聲,由你揀選,24-bit PCM WAV。同時附上:按審閱過的文字稿製作、依 Netflix Timed Text Style Guide 規範切分的 .srt 和 .vtt 字幕,翻譯好的標題和描述,以及獨立人聲軌供你自行混音。
把繁瑣的部分交給 MLDM。
配音繁瑣的部分,是每種語言的每一句對白:用哪個譯法、用哪一把聲音、唇形怎樣跟上。現時追求高質素的做法是人手處理:一件輔助工具、一隊 VFX 特效師,每個項目花上幾個星期,每多一種語言就是一個新項目。現時一次過完成的工具跳過這一步,代價是其餘一切:譯文不能修改,音樂和現場環境聲消失,遇上手擋在臉前、咪高峰或側面鏡頭,唇形就會出錯。Familiar 是一次過,同時保住質素。這部分由 MLDM 決定,每一個決定都會連同該次配音工作一併記錄,你的團隊可以在那裡推翻。現時涵蓋的是翻譯上的選擇:笑位、照原話保留的俚語、為面向年輕觀眾的版本收斂的粗口。選擇哪些聲音保留原來的語言、哪一張臉在說話,以及畫面中哪些文字要翻譯,正在開發中。選角、演出和每一個創作上的決定,都留給創作這部作品的人。
我們是創作流程裡的另一件工具。
常見問題
Familiar 是生成式 AI 嗎?
不是。Familiar 是多模態本地化決策模型(MLDM):它決定怎樣把原有的內容本地化,不需要提示詞。放進去的是你的影片,出來的是同一場演出,換成另一種語言。
我們的創作團隊可以在渲染前修改對白嗎?
可以。每一句譯文都會等你的創意總監處理,他們可以對照原文修改,或者在一句有多種讀法的對白上,從三個譯本之中揀選。之後配音才會渲染。
Familiar 涵蓋哪些語言?
配音可輸出 30 種語言,任意互譯。影片可來自 99 種來源語言。
參考資料
多模態翻譯
Familiar Labs 以多模態本地化決策模型(MLDM),打造高出一個世代的配音。這是首個多模態翻譯基礎模型:一個模型橫跨文字、聲音和畫面,決定本地化甚麼,並把選擇交給你過目。你的聲音和唇形,帶進新的語言。團隊 8 人,當中有博士,獲 Samsung、RedBird、Gold House 支持。 我們的使命
