解說

機器學習 vs 生成式 AI:寫給製作公司的淺白指南

FAMILIAR 研究更新於 全部文章

摘要

不是「生成式 AI」,是成就創作人的翻譯。這份指南用淺白的說法把機器學習和生成式 AI 並排比較,再列出製作公司、發行商或平台可以向任何 AI 供應商提出的六個問題,並附上 Familiar 對每一題的答案。

兩個名詞,淺白地說

機器學習廣泛的領域

機器學習是一個廣泛的領域。IBM 形容它是一類演算法,先學習訓練數據中的規律,再對新的數據作出準確的推斷。

生成式 AI

  • 生成式 AI 是機器學習的其中一種用途。IBM 的定義是:能夠按用戶的提示或要求,創作原創內容(例如文字、圖像、影片、音訊或軟件程式碼)的人工智能。
  • 要製作新東西,它是很好的工具:一個概念畫面、一份初稿、一段歌曲草稿。

用 Familiar 翻譯

  • 翻譯要求的是另一回事。
  • 作品本來已經存在,Familiar 以全新範式、業界首創的多模態本地化決策模型(MLDM),把它原封不動帶進另一種語言。這是首個多模態翻譯基礎模型。
首個多模態翻譯基礎模型
生成式 AI 與翻譯的對比
生成式 AI用 Familiar 翻譯
輸入一個提示詞你已完成的影片
甚麼是新的內容本身另一種語言的台詞,以及承載這些台詞的聲音和嘴形
誰的樣貌提示詞描述的任何人鏡頭上的演員,經其同意
審閱視乎工具你的創意總監在渲染前逐句審閱
輸出新的文字、圖像、影片、音訊或程式碼同一場演出,最高 4K,真正的 5.1 或立體聲

應向任何供應商提出的六個問題

有沒有提示詞?
Familiar 的答案沒有。放進去的是你的影片,出來的是同一條影片,換成另一種語言。
有沒有編造任何東西?
Familiar 的答案沒有。台詞是原話的翻譯,不會憑空捏造任何新東西。場景保持原樣:笑聲、音樂、現場環境聲。
輸出裡是誰的聲音和臉孔?經誰同意?
Familiar 的答案演員自己的。聲音取自片段本身,鏡頭上的臉孔是演員本人,用新的語言演出。Familiar 只會在當事人同意下翻譯他們。
模型用甚麼數據訓練?
Familiar 的答案我們用來訓練的所有數據,全部由 Familiar 團隊親自製作。
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

發佈前由誰審閱?

你的創意總監。可以有多於一種落點的對白,例如一個笑位或一句挖苦,會交回三個譯本,各有不同的意圖和情緒;他們選定一個,對照原文修改任何一句,然後才開始配音。不翻譯清單令名字和口頭禪完全照原話保留。

交回甚麼檔案?

每種語言交回時都是一條完成的影片,最高 4K,完整混音為真正的 5.1 環繞聲或立體聲,由你揀選,24-bit PCM WAV。同時附上:按審閱過的文字稿製作、依 Netflix Timed Text Style Guide 規範切分的 .srt 和 .vtt 字幕,翻譯好的標題和描述,以及獨立人聲軌供你自行混音。

把繁瑣的部分交給 MLDM。

配音繁瑣的部分,是每種語言的每一句對白:用哪個譯法、用哪一把聲音、唇形怎樣跟上。現時追求高質素的做法是人手處理:一件輔助工具、一隊 VFX 特效師,每個項目花上幾個星期,每多一種語言就是一個新項目。現時一次過完成的工具跳過這一步,代價是其餘一切:譯文不能修改,音樂和現場環境聲消失,遇上手擋在臉前、咪高峰或側面鏡頭,唇形就會出錯。Familiar 是一次過,同時保住質素。這部分由 MLDM 決定,每一個決定都會連同該次配音工作一併記錄,你的團隊可以在那裡推翻。現時涵蓋的是翻譯上的選擇:笑位、照原話保留的俚語、為面向年輕觀眾的版本收斂的粗口。選擇哪些聲音保留原來的語言、哪一張臉在說話,以及畫面中哪些文字要翻譯,正在開發中。選角、演出和每一個創作上的決定,都留給創作這部作品的人。

我們是創作流程裡的另一件工具。

常見問題

Familiar 是生成式 AI 嗎?

不是。Familiar 是多模態本地化決策模型(MLDM):它決定怎樣把原有的內容本地化,不需要提示詞。放進去的是你的影片,出來的是同一場演出,換成另一種語言。

我們的創作團隊可以在渲染前修改對白嗎?

可以。每一句譯文都會等你的創意總監處理,他們可以對照原文修改,或者在一句有多種讀法的對白上,從三個譯本之中揀選。之後配音才會渲染。

Familiar 涵蓋哪些語言?

配音可輸出 30 種語言,任意互譯。影片可來自 99 種來源語言。

參考資料

  1. [1]Netflix, Timed Text Style Guide: Subtitle Templates,2026 年 10 月 30 日查閱
  2. [2]IBM, What is machine learning?,2026 年 10 月 24 日查閱
  3. [3]IBM, What is generative AI?,2026 年 10 月 24 日查閱
  4. [4]為何 Familiar 不是傳統意義上的生成式 AI
  5. [5]API 文件:文字稿與審閱

多模態翻譯

Familiar Labs 以多模態本地化決策模型(MLDM),打造高出一個世代的配音。這是首個多模態翻譯基礎模型:一個模型橫跨文字、聲音和畫面,決定本地化甚麼,並把選擇交給你過目。你的聲音和唇形,帶進新的語言。團隊 8 人,當中有博士,獲 Samsung、RedBird、Gold House 支持。 我們的使命