解説

AI動画吹き替えとは:わかりやすく解説(2026年)

FAMILIAR 研究更新日 記事一覧

要旨

AI動画吹き替えは、動画の中の話し言葉を翻訳し、それ以外はすべてそのまま残します。映像、編集、タイミング、音楽、そしてうまくいけば話し手本人も。声は本人のまま、顔は新しい言葉に合わせて動きます。リップシンクと、口元のその先まで。

AI動画吹き替えとは?

AI動画吹き替え定義

吹き替えとは、動画の音声トラックを、演じられた翻訳に置き換えることです。AI動画吹き替えは、言語ごとに俳優を立てる代わりに機械学習でそれを行います。元の話し手本人の演技を、新しい言語へ運ぶのです(Familiarが従来の意味での「生成AI」ではない理由)。
  • 字幕は、視聴者に読むことを求めます。
  • ボイスオーバーは、話し手の語りをナレーターに委ねます(両者の比較は動画翻訳の完全ガイド(2026年)で)。
  • AI吹き替えは本人らしさを残します。話し手を知っている人が聞けば、同じ人だとわかるはずです。
声の部分 · 「ボイスクローン」で検索される顔の部分 · 「AIリップシンク」で検索される

向いている分野:広告と企業動画、映画とテレビ、ショートドラマ、MCN(マルチチャンネルネットワーク)やローカライズ事業者が運営するクリエイターチャンネル、プラットフォームや配給会社のカタログ、放送、教育。

送るもの、返ってくるもの

  1. 01

    動画を送ります。

  2. 02

    Familiarは動画ごとにレビュー画面で一旦停止します。

    ジョークや含みのある台詞は複数の訳になって返ってくるので、クリエイティブディレクターが選べます。レンダリング前なら、どの行でも編集できます。
  3. 03

    6つの要素がそろった吹き替え一式が返ってきます。

書き起こし
中身元の話し言葉を文字にしたもの。
翻訳
中身慣用句やジョークは、対象言語で伝わるように書き直します。「翻訳しないリスト」が、名前や決め台詞を言ったまま残します。
声
中身翻訳した台詞を、話し手本人の声と語り口で話します。
リップシンク
中身口、あご、表情が新しい言語に合います。リップシンクと、その周りのすべて。
シーンの音
中身新しい台詞の下に、音楽、効果音、部屋の空気感といった背景の音を残します。
納品
中身最大4K映像と、ディスクリート5.1chサラウンドかステレオのミックス、24bit PCMで納品します。

チャントや掛け声を元の言語のまま残すこと、別の顔を選ぶこと、映像の中のどの文字を訳すかを選ぶことは、開発中です。すべての判断はジョブとともに記録され、上書きもできます。

「別人の声」問題

多くの吹き替えは、本人らしさのテストに落ちます。

声はあるツールから、顔は別のツールから来て、両者を本人につなぎとめるものがありません。支援型のツールはVFXアーティストのチームとプロジェクトごとの数週間でその溝を埋め、一度で仕上げる今のツールは溝を残したままで、顔にかかった手、マイク、ブレ、ボケ、横顔、画面に映る複数の人物があるとリップシンクが破綻します。Familiarは、一度で、しかも品質を保ちます。マルチモーダル翻訳のための初の基盤モデルであり、新たなパラダイム、これまでにない、初めてのモデルであるマルチモーダル・ローカライゼーション意思決定モデル(MLDM)が、声と顔の両方を、画面の誰がその台詞を言っているかとあわせて判断するので、両者がかみ合います。
初のマルチモーダル翻訳基盤モデル
  • 声が、誰のものでもない声に流れていく。
  • 変わらない顔が、新しい音声と食い違う。
  • シーンの音が削ぎ落とされる。
  • 重なった話し声が、ひとつの声に潰れる(いわゆるカクテルパーティー問題)。
  • YouTubeの自動吹き替えは、話し手の声をありきたりな別人の声に置き換えます。

スタジオ向けの解説:海外で吹き替えが「合わない」理由と、スタジオの解決策。

FIG. 01 · ELEVENLABSの吹き替えの不具合(種類別) · 同じクリップでの監査 · 2026年8月5日
単語の欠落45
音声イベントの破損8
声の取り違え6
話者の混線6
平板な語り口4
シーンの音の消失4

同じクリップでのペア比較研究も、同じ結果を示しています:

FIG. 02 · 声の本人らしさ(吹き替え vs 本人) · 安定版DUBBING V1 · 418ペアの出力 · 11言語
Familiar0.4605
ElevenLabs0.3604
  • Familiarの声は本人に27.8%近く聞こえ、全11言語でFamiliarが上回りました。
  • 同じ研究で、レビューで指摘された話し言葉の出力ミスはFamiliarが48.8%少ない結果でした(132 vs 258)。

Dubbing v2 (Alpha)での別の研究(111ペアの出力、中国語、スペイン語、日本語):

270%

ElevenLabsは、笑い声や音楽、空気感といった背景音のエラーが270%多く発生しました。

11.92 VS 3.22 DB · DUBBING V2 (ALPHA)
54.7%

話し言葉の重要な翻訳ミスが、Familiarは54.7%少なくなりました。

29 VS 64 · DUBBING V2 (ALPHA)
+28.2%

笑い声やリアクションの形状の相関で、Familiarが上回りました。

0.960 VS 0.749 · DUBBING V2 (ALPHA)

直接比較の全文はFamiliar vs ElevenLabsの吹き替え:2つのペア比較研究にあります。

ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

カタログを任せる前に確認すること

短いクリップを1本、どのツールにでも通して、6つの点を確認してください(シーズンやカタログ単位のパイロット検証ならAI吹き替えのパイロット検証の進め方(2026年版)):

  • 目を閉じるテスト。映像なしで吹き替えを再生します。話し手を知っている人が、それでも本人だと言えるはずです。
  • 顔。リップシンクは口元の先まで及ぶべきです。口、あご、表情が新しい言葉に合わせて動くこと。
  • 背景。新しい台詞の下でも、音楽、効果音、部屋の空気感が残っているべきです。
  • 長さとバッチの制限。ElevenLabsは11秒未満のクリップを受け付けません(2026年8月5日に確認)。
  • まず納品仕様、それから価格。どの解像度で返ってくるか、ミックスはディスクリート5.1chかステレオか、そして仕上がり1分に翻訳、声、リップシンク、シーンの音のどこまでが含まれるか。
  • 公開前の修正。レンダリング前に、翻訳された行を編集できるか。
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

映像がどこで処理されるかを確認してください。Familiarではプライベート推論です。私たちが所有する、カナダ・トロントのNVIDIA B300を揃えた数千万ドル規模のGPUクラスタで処理し、パブリッククラウドや外部の推論サービス事業者は使わないため、お預かりした素材が漏えいすることはありません。
プライベート推論 · カナダ・トロント

費用

FIG. 03 · 仕上がり1分あたりの料金(対象言語ごと) · ELEVENLABS = 決済時の見積もり$3/分 · 2026年8月5日 · 幅のある料金は中央値で表示
ElevenLabs$3 音声のみ
人の声$39–94
人による吹き替え一式$70–150
  • 翻訳も声も人が手がける吹き替え一式は、仕上がり1分あたり$70から$150。そのため、トップクラスの作品でさえ吹き替えるのは数言語だけで、小規模な作品や番組、ショートドラマはそもそも吹き替えません。声の行は、公開されている声優とスタジオのパッケージ料金のみです。
  • Familiarの一度のレンダリングはすべて込み:翻訳、話し手本人の声、シーンの音、リップシンク。最大4K映像と、ディスクリート5.1chかステレオのミックスで納品します。上の料金には、どれもリップシンクは含まれていません。
  • ご利用について:Studio契約で、カタログの規模に合わせてご用意します。年間契約の締結後30日間は返金保証付きです(/pricing)。

言語

30

どの言語からでも、どの言語へでも。

音声のみの吹き替え

言語ごと

ポッドキャストや音声トラック向け。

参考資料

  1. [1]Familiar vs ElevenLabsベンチマーク:全結果、信頼区間、試聴サンプル
  2. [2]ElevenLabs Dubbingのドキュメント(元の尺と言語数による料金)

マルチモーダル翻訳

Familiar Labsは、マルチモーダル・ローカライゼーション意思決定モデル(MLDM)で次世代の吹き替えを手がけています。MLDMは、マルチモーダル翻訳のための初の基盤モデルです。テキスト、音声、映像のすべてにわたって何をローカライズするかをひとつのモデルが判断し、選択肢をあなたに示します。あなたの声と口元を、新しい言語へ。博士を擁する8人のチームを、Samsung、RedBird、Gold Houseが支援しています。 私たちのミッション