音声と映像を、一度に翻訳する：カスケード型ではなく

01. 機械による吹き替えの「カスケード型の時代」とは？

機械による吹き替えは、カスケード型から始まりました。4つのツールが一列に並び、それぞれ単独で作られ調整され、結果を次へ渡していく構成です。

1. 01

   書き起こし。

   音声認識が、話された内容を書き取ります。
2. 02

   翻訳。

   テキストのモデルが、声を聞くことも顔を見ることもなく、書き起こしを新しい言語に訳します。
3. 03

   声。

   音声合成が訳文を読み上げます。多くの場合、他人の声で。
4. 04

   リップシンク。

   すべての言葉が確定したあとで、別のツールが新しい音声に合わせて口を動かします。

この連鎖が、機械による吹き替えを可能にしました。その限界は、形そのものにあります。各工程はほかの工程を知らずに推測するのです。翻訳は、台詞が閉じた口に合わなければならないことを知りえません。声は、自分が置かれる部屋を知りえません。聞き間違えた1語や長すぎる台詞はそのまま下流へ渡され、ミスはその後の工程ごとに積み重なります。

ツールはそれぞれ、年々良くなりました。よりきれいな書き起こし、より的確な翻訳、より自然な声。それでも完成した吹き替えの進歩はゆっくりでした。ツールどうしの継ぎ目が、同じ場所に残り続けたからです。

02. 今、導入する側が直面するものは？

実際には、カスケード型はツールの寄せ集めとしてやってきます。書き起こしはあるツールから、翻訳は別のツールから、声は3つ目から、リップシンクと字幕は4つ目から。1行を直せばその後の工程をすべてやり直すことになり、ファイルをまとめておくのはチームの誰かです。この寄せ集めを省くツールは、品質と時間を引き換えにしています。支援型ツールは、難しいショットにVFXアーティストのチームをあてて品質に届きます。プロジェクトごとに数週間で、言語が変われば、また新しいプロジェクトです。一度で仕上げるツールは、速い代わりにそれ以外を手放しています。声は本人から離れていき、部屋の響きは消え、顔にかかった手、マイク、ブレ、ボケ、横顔、画面に映る複数の人物があると口元は破綻します。空間を推論することも、世界を理解することもできません。Familiarは、一度で、しかも品質を保ちます。

もうひとつの道は、翻訳も声も人が担う吹き替え一式で、仕上がり1分あたり$70–150です。費用、人手、時間のために、世界の大半には手が届きません。トップクラスの作品でさえ吹き替えるのは数言語だけで、小規模な作品、番組、縦型ドラマの多くは、そもそも吹き替えません。

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

ElevenLabs Dubbingを検討しているなら、同社のドキュメントの引用と、私たちの研究を並べておきます：

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. ひとつのモデルがすべてを判断すると、何が変わるのか？

Familiarは、マルチモーダル・ローカライゼーション意思決定モデル（MLDM）で吹き替えます。MLDMは、テキスト、音声、映像のすべてにわたって、何をどうローカライズするかを判断し、ひとつのモデルが判断するので判断どうしが食い違いません。定義はマルチモーダル翻訳のための、初の基盤モデルにあります。

返ってくるのは、別の言語での俳優本人の演技です。声、口元、表情、そしてシーンの音が、そろって運ばれます。一度のアップロードで、すべての言語へ一度に。99の元言語のどの映像からでも、30言語で吹き替えます。

まとめて判断することで、起こりうるミスも変わります。長くなりそうな台詞は、声を作る前に、尺と口に合うよう訳されます。文の途中の笑い声は、笑い声のまま。2人が話をかぶせ合っても、モデルはどちらがどの台詞を話しているかを知っているので、正しい口が動きます。

04. 完成した吹き替えで、何が変わるのか？

同じクリップを両方のシステムに通し、同じ方法で採点しています。数値はそれぞれの研究によるもので、ベンチマークで公開しています。

声も測っています。上で引用した研究では、Familiarの声はElevenLabs Dubbing v1より本人に27.8%近く聞こえ、全11言語で上回りました。

YouTubeの自動吹き替えは、それ自体の研究で背景音のエラーが232.6%多く出ました。シーンが残るのは、MLDMがトラックの中のすべて、笑い声、観客の声、音楽を聞き取り、メインの声を見つけて話し手本人の声のまま新しい言語へ運び、それ以外を元のまま残すからです。

05. 「まず翻訳、そのあと吹き替えを一度に」とは？

++

まず翻訳、そのあと吹き替えを一度に。声と口元とシーンを、まとめて仕上げます。

順番が大切です。翻訳が先に来て、クリエイティブディレクターがレビューします。何通りにも取れる台詞では、それぞれの訳とその理由を確認して、ひとつを選びます。そのあとで、吹き替えを一度だけ作ります。新しいものは何も作り出しません。「生成AI」ではなく、クリエイターの力になる翻訳。面倒な作業は、MLDMに。

字幕は、業界が基準とする字幕テンプレートの規格、NetflixのTimed Text Style Guideの慣例に沿って区切ります。すべての吹き替えは、カナダ・トロントにある、Familiarが所有するNVIDIA B300を揃えた数千万ドル規模のGPUクラスターで処理し、Google CloudやAWSのようなパブリッククラウドも、外部の推論サービスも使いません。ファイルについては出力のドキュメント、処理についてはプライベート推論、カタログにとっての意味はマルチモーダル翻訳の基盤モデルが、スタジオとプラットフォームにもたらすものにあります。

06. 最終的に決めるのは誰か？

1. 現在

   クリエイティブディレクターが、翻訳の判断をレビューします。

   それぞれの訳とその理由を確認し、何かが公開される前にひとつを選びます。
2. 現在

   「翻訳しないリスト」と1文のコンテキストが、ジョブとともに渡ります。

3. 開発中

   音声と映像の判断も、同じレビュー画面で。

   何を元の言語のまま残すか、モデルが話し手を取り違えたときの別の顔、そして映像の中の文字。

カタログにとって変わるのは、届く範囲です。ひとつの言語にとどまっていたはずの番組が、俳優本人の演技のまま30言語へ一度に出ていき、大事な判断はすべて、引き続きあなたのチームが下します。

それが判断の記録です。詳しくは判断の記録：クリエイティブディレクターはMLDMをどう導くかに、モデルが判断する内容はマルチモーダル・ローカライゼーション意思決定モデル（MLDM）とは？にあります。その背後の研究はマルチモーダル翻訳を切り拓くにまとめています。人から人へ、より多くの人のもとへ。

よくある質問