解說

AI 影片配音詳解(2026)

FAMILIAR 研究更新於 全部文章

摘要

AI 影片配音翻譯影片裡的對白,其餘一切保持不變:畫面、剪接、節奏、音樂,做得好的話,還有說話者本人。聲音仍然是他的,臉孔隨新的台詞而動:唇形同步,以及嘴唇以外的一切。

AI 影片配音是甚麼?

AI 影片配音定義

配音是把影片的對白聲軌換成演繹出來的譯文。AI 影片配音用機器學習代替每種語言各請一位配音員:原來說話者自己的演出,帶進新的語言(Familiar 為何不是傳統意義上的生成式 AI)。
  • 字幕要觀眾自己讀。
  • 旁白配音把說話者的演繹交給一位旁白員(兩者的比較見影片翻譯:完整指南)。
  • AI 配音保留身分:認識說話者的人,應該認得出是同一個人。
聲音那一半 · 搜尋字眼是「聲音複製」臉孔那一半 · 搜尋字眼是「AI 唇形同步」

適用範圍:廣告和企業影片、電影和電視劇、微短劇、由創作者網絡(多頻道網絡)和本地化營運商經營的創作者頻道、平台和發行商的內容庫、廣播節目、教育內容。

你交出甚麼,收回甚麼

  1. 01

    你交出影片。

  2. 02

    Familiar 會在審閱畫面暫停每條影片。

    一個笑位或一句話中有話的對白,會交回幾個譯本讓你的創意總監揀選,任何一行都可以在渲染前修改。
  3. 03

    交回的完整配音包含六樣東西。

文字稿
內容把原來的對白寫成文字。
翻譯
內容俚語和笑話會改寫成在目標語言裡同樣奏效;不翻譯清單令名字和口頭禪按原話保留。
聲音
內容譯好的台詞以說話者自己的聲音說出,保留他的演繹。
唇形同步
內容嘴巴、下顎和表情配合新的語言:唇形同步,再加上周邊的一切。
場景聲音
內容新對白底下的聲底完整保留:音樂、音效、現場環境聲。
交付
內容最高 4K 交付,真正的 5.1 環繞聲或立體聲混音,24-bit PCM。

讓一段口號或一聲叫喊保留原來的語言、選用另一張臉、決定翻譯畫面中哪些文字,都正在開發中;每一個決定都會連同該次配音工作一併記錄,並且可以推翻。

陌生人聲音的問題

大部分配音都過不了身分這一關。

聲音來自一件工具,臉孔來自另一件,沒有東西把兩者綁回那個人。輔助工具靠一隊 VFX 特效師、每個項目花上幾個星期去填補這個缺口;現時一次過完成的工具則任由缺口存在,遇上手擋在臉前、咪高峰、畫面模糊、散景、側面鏡頭或者畫面裡有幾個人,唇形就會失準。Familiar 是一次過,同時保住質素:它的多模態本地化決策模型(MLDM)是首個多模態翻譯基礎模型,屬全新範式,業界首創,會同時決定聲音和臉孔,連同鏡頭上是誰在說這句對白,所以兩者吻合。
首個多模態翻譯基礎模型
  • 聲音變得千篇一律。
  • 沒有改動的臉孔跟新的音訊互相矛盾。
  • 場景被剝走。
  • 重疊的說話者撞成同一把聲音(典型的雞尾酒會問題)。
  • YouTube 自動配音把說話者的聲音換成一把現成的陌生人聲音。

製作公司的版本:配音在海外為何不對勁?製作公司如何解決。

圖 01 · ELEVENLABS DUBBING 錯誤分類 · 相同片段審核 · 2026 年 8 月 5 日
字詞遺失45
事件受損8
聲音錯配6
說話者相撞6
演繹平板4
場景被剝走4

以相同片段進行的配對研究得出一致結論:

圖 02 · 說話者相似度,配音對比真人說話者 · 穩定版 DUBBING V1 · 418 組配對輸出 · 11 種語言
Familiar0.4605
ElevenLabs0.3604
  • Familiar 的聲音像真人說話者的程度高 27.8%;11 種語言全部以 Familiar 較佳。
  • 同一研究中,Familiar 經審閱標出的口語輸出錯誤少 48.8%(132 vs 258)。

Dubbing v2 (Alpha) 是另一項研究(111 組配對輸出;普通話、西班牙語、日語):

270%

ElevenLabs 的背景聲音錯誤多 270%:笑聲、音樂、環境聲。

11.92 VS 3.22 DB · DUBBING V2 (ALPHA)
54.7%

Familiar 的重要口語翻譯錯誤少 54.7%。

29 VS 64 · DUBBING V2 (ALPHA)
+28.2%

Familiar 的笑聲和反應形態相關度較高。

0.960 VS 0.749 · DUBBING V2 (ALPHA)

完整的正面對比見 Familiar vs ElevenLabs Dubbing:兩項配對研究。

ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

把內容庫交給一件工具之前,要檢查甚麼

把一段短片段交給任何一件工具,然後檢查六件事(如果是整季或整個內容庫的試行,見如何進行 AI 配音試行(2026)):

  • 閉眼測試。不看畫面,只播配音。認識說話者的人,應該仍然認得出是他。
  • 臉孔。唇形同步應該不止於嘴唇:嘴巴、下顎和表情都要隨新的台詞而動。
  • 背景。音樂、音效和現場環境聲應該在新對白底下保留下來。
  • 長度和批次限制。ElevenLabs 會拒絕短於 11 秒的片段(2026 年 8 月 5 日觀察所得)。
  • 先看交付規格,再看價錢。交回的解像度是多少、混音是真正的 5.1 還是立體聲,以及每分鐘成片包含甚麼:翻譯、聲音、唇形同步和場景聲音是否都包括在內。
  • 發布前可否修改。譯好的台詞在渲染前能否修改?
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

問清楚影片在哪裡處理。在 Familiar,這是私有推理:我們自家擁有、位於加拿大多倫多、價值八位數美元的 NVIDIA B300 GPU 集群,絕不經公有雲或第三方推理供應商,所以你的媒體絕不會外洩。
私有推理 · 加拿大多倫多

要多少錢

圖 03 · 每種目標語言每分鐘成片價格 · ELEVENLABS = 結帳頁報價每分鐘 $3 · 2026 年 8 月 5 日 · 價格範圍取中位數
ElevenLabs$3 只有音訊
人工配音$39–94
完整人工配音$70–150
  • 完整人工配音,翻譯加聲音,每分鐘成片要 $70 至 $150,所以即使頂級製作也只配幾種語言,規模較小的製作、節目和微短劇更是完全不配音;聲音一欄只計公開的配音和錄音室套餐。
  • 一次 Familiar 渲染就是全包:翻譯、說話者自己的聲音、場景聲音和唇形同步,交付最高 4K,真正的 5.1 或立體聲混音;以上各項收費都不包括唇形同步。
  • 使用方式:Studio 合約,按你的內容庫規模定制;已簽署的年度合約享 30 日退款保證(/pricing)。

語言

30

任何語言之間互譯。

只有音訊的配音

按語言計

適用於 Podcast 和聲軌。

參考資料

  1. [1]Familiar vs ElevenLabs 基準測試:完整結果、置信區間與試聽範例
  2. [2]ElevenLabs Dubbing 官方文件(按來源時長和語言數量計價)

多模態翻譯

Familiar Labs 以多模態本地化決策模型(MLDM),打造高出一個世代的配音。這是首個多模態翻譯基礎模型:一個模型橫跨文字、聲音和畫面,決定本地化甚麼,並把選擇交給你過目。你的聲音和唇形,帶進新的語言。團隊 8 人,當中有博士,獲 Samsung、RedBird、Gold House 支持。 我們的使命