キーワード解説

支援型AIビジュアル吹き替え vs AIによる吹き替え一式:作品はどうローカライズされるか(2026年)

FAMILIAR 研究更新日 記事一覧

要旨

「支援型AIビジュアル吹き替えで作品をローカライズ」。これはFlawlessがTrueSyncを説明する言葉です。肝心なのは「支援型」という一語です。AIが担うのは、画面の口の動きを新しい台詞に合わせるという1工程だけで、残りは人が担います。翻訳し、俳優ごと・言語ごとに声優を立てて収録し、どの顔がどの台詞を話すかを指定し、ショットごとにレビューする。業界で今使われている支援型ツールは、VFXアーティストのチームと、プロジェクトごとに数週間を必要とし、言語が変われば、また新しいプロジェクトです。AIによる吹き替え一式は、作品を一度でローカライズします。完成した作品を入れると、翻訳、俳優それぞれ本人の声、シーンの音、顔がそろって出てきます。

「支援型」の意味を、ベンダー自身のページから

FlawlessはTrueSyncを4つのステップで説明しています。同社のローカライゼーションのページから引用します:

マスター素材を入れる。「マスター素材と、対象言語で吹き替えた音声をご用意ください。」演技ごとにビジュアル吹き替え。「TrueSyncが画面上のすべての演技を新しい台詞に合わせます。」8Kでレビュー。「ロスレスカラーで、そちらの基準に沿ってQC。劇場公開に対応。」パートナー経由で納品。「最終納品は、Pixelogic、Deluxeなどを通じて行われます。」
FLAWLESS · LOCALIZE TITLES WITH ASSISTIVE AI VISUAL DUBBING

同じページのさらに2つの文が、その境界を示しています。TrueSyncは「音声を問わない」もので、どこから来た吹き替え音声も受け付け、「音声の生成、加工、合成」は行いません。そして「顔の生成、差し替え、合成は行わない」とし、元の演技の顔のアニメーションを新しい言葉に合わせて調整します。ビジュアル吹き替え(vubbing)とは、その1つの調整のことです。

支援型の工程に含まれる人の作業

作品ごと、言語ごとに、AIの工程の前後で行われる作業です:

  1. 01

    台本を翻訳し、調整します。

    1行ずつのタイミングを考えながら。
  2. 02

    画面上の俳優ごとに声優を立てて収録します。

    合わせ込みには顔1つにつき声1つが必要なので、それぞれクリーンなトラックで。1本のミックス済みトラックで2人が同時に話していれば、まず分離しなければなりません。
  3. 03

    どの顔がどの台詞を話すかを指定します。

    ショットごとに、合わせ込みが正しい口に届くように。
  4. 04

    合わせ込みを実行します。

    ここがAIの工程です。
  5. 05

    8Kでショットごとにレビューします。

    制作側の基準に照らして。
  6. 06

    コンフォームして納品します。

    ローカライゼーション会社を通じて。

6つの工程のうち5つは人の作業です。そのうち最も費用がかかる2つ、吹き替えのキャスティングと収録は、従来の吹き替えですでに払っている部分です。翻訳も声も人が手がける吹き替え一式は仕上がり1分あたり$70–150で、そのためトップクラスの作品でさえ吹き替えるのは数言語だけです。支援型の工程は、その上に乗ります。それは制作の中の1工程でもあり、俳優ごとの台詞と、作品を作った人たちが必要です。

ミックスが確定してから何年も経った、ライブラリの中の完成した作品には、そのどちらもありません。

吹き替え一式は、代わりに何をするか

一度で仕上げる今のツールは、速い代わりにそれ以外のすべてを手放しています。翻訳は編集できず、音楽や部屋の響きは消え、声は本人から離れていき、顔にかかった手、マイク、ブレ、ボケ、横顔、画面に映る複数の人物があると口元は破綻します。空間を推論することも、世界を理解することもできません。AIによる吹き替え一式は、一度で、しかも品質を保ちます。出発点は完成した作品で、ミックス済みのトラックもそのまま。残りは、マルチモーダル翻訳のための初の基盤モデルであり、新たなパラダイム、これまでにない、初めてのモデルであるFamiliarのマルチモーダル・ローカライゼーション意思決定モデル(MLDM)が判断します:

初のマルチモーダル翻訳基盤モデル
シーンの音
AIによる吹き替え一式新しい台詞の下にシーンの音を残します:音楽、観客の声、笑い声。
翻訳
AIによる吹き替え一式翻訳します。ジョークや含みのある台詞は複数の訳になり、何かをレンダリングする前に、言語ごとにレビュー担当者が選べます。
声
AIによる吹き替え一式俳優本人の声で話します。声を新しい言語へクローンし、同じクリップでの測定では、ElevenLabs Dubbing v1より本人に27.8%近い結果でした。
顔
AIによる吹き替え一式顔を合わせます:話している人の口、あご、目、眉、頬、頭まで。画面に複数の人物がいても、口の前に手やマイクがあっても。台詞ごとに別の顔を選ぶことは、開発中です。
言語
AIによる吹き替え一式すべての言語を一度にレンダリングします。99の元言語のどの映像からでも、30の出力言語へ。
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

AIによる吹き替え一式は、ポストプロダクションが求めるものを納品します:

映像

最大4K

現時点。

ミックス

5.1chかステレオ

フルミックスを、ディスクリート5.1chサラウンドかステレオで。

マスター

ProResかmp4

Studio契約の納品ではProResマスター、APIではmp4。

台詞

台詞のみ

台詞だけのトラック。

字幕

srtとvtt

レビュー済みの書き起こしから作り、NetflixのTimed Text Style Guide(字幕スタイルガイド)の慣例に沿って区切ります。

メタデータ

タイトルと説明文

翻訳済み。

それぞれ、誰のためのものか

支援型ビジュアル吹き替え

  • 看板となる劇場公開作品。すべてのフレームに監督の承認があり、8Kのマスターがあるもの。
  • スタジオが気に入っている人間の吹き替えがすでにあり、それに顔を合わせたい作品。
  • 実績はFlawless自身のものです。『Watch the Skies』はスウェーデン語から英語になり、映像まで吹き替えて劇場公開された初の映画となりました。
  • VFXアーティストのチームでプロジェクトごとに数週間のスケジュール。言語が変われば、また新しいプロジェクト。

AIによる吹き替え一式

  • 事後のカタログ。完成した作品を何千本も抱え、すぐに呼べる制作チームを持たない動画配信プラットフォーム、配給会社、ネットワーク。
  • 実在の人を視聴者の前に立たせるものすべて。シリーズとショートドラマ、教育、広告、企業動画、放送、クリエイターチャンネル。
  • アップロード時にすべての言語を一度に。言語ごとにレビュー担当者の確認を待ち、承認されたものから公開。
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

両者が追いかける効果

Flawlessは、映像まで吹き替えた作品について、自社の比較対象に対する3つのエンゲージメントの数値を公開しています:

23×

同じ作品の音声のみの吹き替えに比べた視聴時間(『Vincent Must Die』、フランス語から英語)。Flawlessの数値。

9×

映像まで吹き替えた作品1本あたりのユニーク視聴数。Flawlessの数値。

+260%

通常の吹き替えに比べた完走率の高さ。Flawlessの数値。

ElevenLabs、YouTubeの自動吹き替え、人間の翻訳者を相手にしたFamiliar自身のペア比較の測定結果:ベンチマークのハブ。

よくある質問

支援型AIビジュアル吹き替えとは何ですか?

人が吹き替えを作り(翻訳、キャスティング、俳優ごと・言語ごとの声の収録)、AIモデルが画面上の顔を新しい台詞に合わせ、そのあと人がショットごとにレビューするワークフローです。Flawless TrueSyncは自社をこう説明しています。

vubbingとは何ですか?

ビジュアル吹き替えのことです。元の俳優の画面上の表情の演技を、新しい言語の台詞に合わせます。顔を生成したり差し替えたりはしません。

支援型のビジュアル吹き替えに、声は含まれますか?

いいえ。同社自身の説明によれば、TrueSyncは音声を問わず、音声の生成、加工、合成は行いません。吹き替えの声のトラックは、声優かほかの音源から用意します。

元の制作陣なしで、配給会社が使えますか?

制作陣が立ち会うときに最も力を発揮します。監督の基準がQCを決め、役ごとに声優が配役され、レビューはショットごとに進みます。マスター素材と権利だけを持つ配給会社は、作品ごとにそのチームを組む必要があります。AIによる吹き替え一式に必要なのは、マスター素材だけです。

完成した作品に、事後に適用できますか?

支援型のビジュアル吹き替えは、制作の段取りに組み込まれるものです。言語ごとに収録した吹き替えと、指定やレビューを担う制作側の人が必要です。AIによる吹き替え一式は、公開されたままの完成した作品から始めるので、ミックスが確定して何年も経ったバックカタログでも吹き替えられます。

ビジュアル吹き替えとAIによる吹き替え一式の違いは何ですか?

ビジュアル吹き替えは、すでに作った吹き替えに口の動きを合わせます。AIによる吹き替え一式は、吹き替えそのものを作ります。翻訳、俳優本人の声、シーンの音、顔を、完成した作品から一度のレンダリングで。

AIによる吹き替え一式は8Kで納品できますか?

Familiarは現時点で最大4Kでレンダリングし、Studio契約の納品ではProResマスター、APIではmp4で、ディスクリート5.1chサラウンドかステレオのミックスとともにお渡しします。TrueSyncは8Kでレビューし、納品します。

参考資料

  1. [1]Netflix, Timed Text Style Guide: Subtitle Templates(2026年10月30日に参照)
  2. [2]Flawless, Localize Titles with Assistive AI Visual Dubbing (TrueSync)(2026年9月18日に参照)
  3. [3]Familiar vs Flawless TrueSync:AIによる吹き替え一式 vs 支援型ビジュアル吹き替え(2026年)
  4. [4]AIリップシンクとは:できること、足りないもの、その先にあるもの(2026年)
  5. [5]Familiar vs ElevenLabsの吹き替え:2つのペア比較研究
  6. [6]2026年、吹き替えの費用はいくら?

マルチモーダル翻訳

Familiar Labsは、マルチモーダル・ローカライゼーション意思決定モデル(MLDM)で次世代の吹き替えを手がけています。MLDMは、マルチモーダル翻訳のための初の基盤モデルです。テキスト、音声、映像のすべてにわたって何をローカライズするかをひとつのモデルが判断し、選択肢をあなたに示します。あなたの声と口元を、新しい言語へ。博士を擁する8人のチームを、Samsung、RedBird、Gold Houseが支援しています。 私たちのミッション