多模態翻譯基礎模型對製作公司和平台意味著甚麼

01. 基礎模型為配音帶來甚麼改變？

機器配音以往是一連串獨立工具逐層串接：先轉錄，再翻譯，再配聲音，再做唇形同步。每個環節都在不知道其他環節的情況下估計，錯誤一環接一環傳下去。買家現時面對的，是質素和時間之間的取捨。輔助工具靠一隊 VFX 特效師達到質素：每個項目幾個星期，每多一種語言就是一個新項目。一次過完成的工具快是快，代價是其餘一切：譯文不能修改，聲音走樣，音樂和現場環境聲消失，遇上手擋在臉前、咪高峰、畫面模糊、散景、側面鏡頭或畫面裡有幾個人，唇形就會失準。沒有空間推理，不理解真實世界，也無從掌控。Familiar 以一個多模態本地化決策模型（MLDM）取代整條流水線：一次過，同時保住質素。

++

先翻譯，再一次過完成配音：聲音、唇形和場景一併到位。

影音翻譯一次過完成，不是逐層串接：業界首創。定義見於首個多模態翻譯基礎模型；與逐層串接的逐步對比，見於影音翻譯一次過完成，不是逐層串接。

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. 上載一次，能否覆蓋我們發行的每個市場？

可以。素材可以是 99 種來源語言中的任何一種，上載一次，配音就以你訂購的 30 種輸出語言中的任何一種交回：上載一次就有每一種語言，每一種都保住同一場演出。一整季、一個片庫，或者源源不絕的豎屏劇集，都走同一條路，而你設定過一次的用詞，下一集會自動沿用。

完整的人工配音，翻譯加聲音，每分鐘成片要 $70 至 $150。以這個價錢，世界上大部分地方都用不上。即使是頂級製作，也因成本、人手和所需時間，只配幾種語言。

Familiar 填補的正是這個缺口。不是「生成式 AI」，是成就創作人的翻譯。把繁瑣的部分交給 MLDM。由人到人，觸及更多觀眾。

03. 一句對白在另一種語言裡怎樣呈現，由誰決定？

MLDM 橫跨文字、聲音和畫面，決定本地化甚麼、怎樣本地化。重要的選擇仍由你的團隊掌握。翻譯先完成；凡是可以有多於一種解讀的對白，你的創意總監在配音前都會看到各個選項和背後的理由。

每一個決定都會連同該次配音工作一併記錄，任何一項都可以由你推翻。完整的說明見於決策紀錄：創意總監如何指揮 MLDM。單看台詞，翻譯與資深人工譯者旗鼓相當：達到他們質素的 100.3%，量度結果見於基準測試。

04. 完成的配音會交回甚麼？

一份你的後期團隊可以直接放進發行版本的交付，符合串流平台要求的發行規格。場景聲音原封不動：音樂、環境聲和笑聲都保留，只有說話換了語言。

字幕按審閱過的譯文製作，依 Netflix Timed Text Style Guide 的規範切分，這是業界通用的字幕範本標準。所有檔案和格式都列於輸出文件。

05. 我們的片段在哪裡處理？

未發行的片段，是製作公司最著緊保護的資產。每一段配音都在 Familiar 位於加拿大多倫多、價值八位數美元的自家 NVIDIA B300 GPU 集群上處理，用的是 Familiar 自己擁有的算力。

一段配音經過的路徑，以及你們安全審查所需的答案，見於私有推理文件。

06. 現時有甚麼，哪些正在開發中？

1. 現時

   上載一次就有每一種語言，保住演員自己的聲音和唇形。

   輸出 30 種語言，輸入 99 種來源語言；最高 4K，真正的 5.1 或立體聲混音，附字幕。
2. 現時

   你的創意總監審閱翻譯上的決定。

   各個選項連同背後的理由，連同該次配音工作一併記錄。
3. 開發中

   聲音和畫面上的決定，放在同一個審閱畫面。

   哪些內容保留原來的語言、改選另一張臉、畫面中哪些文字要翻譯。
4. 開發中

   直播配音。

以 Studio 合約提供，按你的內容庫規模度身訂造：聯絡團隊，談談你的作品、語言和交付規格。團隊由一群開創了聯合視聽人類模型領域的博士組成：22 篇論文、超過 10,000 次引用，由 Xu Zheng 教授和 Youngjung Uh 教授擔任顧問，並獲 Samsung、RedBird 和 Gold House 支持。研究見於我們的論文和開拓多模態翻譯：從聯合視聽研究到首個基礎模型；創辦人的故事見於我們的使命。

常見問題