マルチモーダル翻訳の基盤モデルが、スタジオとプラットフォームにもたらすもの

01. 基盤モデルは、吹き替えの何を変えるのか？

かつて機械による吹き替えは、別々のツールのカスケードでした。書き起こし、翻訳、声、そしてリップシンク。各工程はほかを知らずに推測し、ミスは工程から工程へと持ち越されました。今、導入する側が直面するのは、品質と時間の引き換えです。支援型ツールは、VFXアーティストのチームで品質に届きます。プロジェクトごとに数週間で、言語が変われば、また新しいプロジェクトです。一度で仕上げるツールは、速い代わりにそれ以外を手放しています。翻訳は編集できず、声は本人から離れていき、音楽や部屋の響きは消え、顔にかかった手、マイク、ブレ、ボケ、横顔、画面に映る複数の人物があると口元は破綻します。空間を推論することも、世界を理解することも、制御することもできません。Familiarはこの連鎖を、ひとつのマルチモーダル・ローカライゼーション意思決定モデル（MLDM）に置き換えます。一度で、しかも品質を保ちます。

++

まず翻訳、そのあと吹き替えを一度に。声と口元とシーンを、まとめて仕上げます。

音声と映像を一度に翻訳。カスケード型ではない、初めての方式です。定義はマルチモーダル翻訳のための、初の基盤モデルに、カスケード型との違いを一歩ずつ比べた内容は音声と映像を、一度に翻訳する：カスケード型ではなくにあります。

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. 一度のアップロードで、販売先のすべての市場をカバーできるか？

できます。99の元言語のどの映像も一度入れれば、注文した30の出力言語のどれにでも吹き替えが返ってきます。一度のアップロードで、すべての言語へ、それぞれ同じ演技のまま。1シーズン、ライブラリ、縦型エピソードの配信も同じ流れで進み、一度設定した用語は次のエピソードにも引き継がれます。

翻訳と声をすべて人が担う吹き替えは、仕上がり1分あたり$70から$150かかります。その水準では、世界の大半には手が届きません。トップクラスの作品でさえ、費用、人手、かかる時間のせいで、吹き替えるのは数言語だけです。

Familiarが埋めるのは、その空白です。「生成AI」ではなく、クリエイターの力になる翻訳。面倒な作業は、MLDMに。人から人へ、より多くの人のもとへ。

03. 台詞が別の言語でどう伝わるかを、誰が決めるのか？

MLDMは、テキスト、音声、映像のすべてにわたって、何をどうローカライズするかを判断します。大事な選択は、引き続きあなたのチームが握ります。翻訳が先に来て、何通りにも取れる台詞では、吹き替える前に、クリエイティブディレクターがそれぞれの選択肢と、その理由を確認します。

すべての判断はジョブとともに記録され、どれでも上書きできます。詳しくは判断の記録：クリエイティブディレクターはMLDMをどう導くかにあります。言葉だけを見ても、翻訳は熟練プロ翻訳者と互角で、その品質の100.3%です。ベンチマークで測定しています。

04. 完成した吹き替えで、何が返ってくるのか？

ポストプロダクションのチームがそのままリリースに組み込める、動画配信サービスが求める仕様の納品物です。シーンの音は元のまま。音楽、空気感、笑い声は残り、言語が変わるのは話し声だけです。

字幕はレビュー済みの翻訳から作り、業界が基準とする字幕テンプレートの規格、NetflixのTimed Text Style Guideの慣例に沿って区切ります。すべてのファイルと形式は出力のドキュメントに一覧があります。

05. 私たちの映像は、どこで処理されるのか？

公開前の映像は、スタジオが最も守りたい資産です。すべての吹き替えは、カナダ・トロントにある、Familiarが所有するNVIDIA B300を揃えた数千万ドル規模のGPUクラスターで、自社の計算資源の上で処理されます。

吹き替えが通る経路と、セキュリティ審査への回答は、プライベート推論のドキュメントにあります。

06. 現在使えるもの、開発中のものは？

1. 現在

   一度のアップロードで全言語へ。俳優本人の声と口元のまま。

   出力30言語、入力99言語。最大4K、ディスクリート5.1chかステレオのミックス、字幕。
2. 現在

   クリエイティブディレクターが、翻訳の判断をレビューします。

   それぞれの選択肢とその理由を、ジョブとともに記録します。
3. 開発中

   音声と映像の判断も、同じレビュー画面で。

   何を元の言語のまま残すか、別の顔、映像の中のどの文字を訳すか。
4. 開発中

   ライブ吹き替え。

ご利用はカタログの規模に合わせたStudio契約です。作品、言語、納品仕様について、チームにご相談ください。チームは、人物の音声と映像を同時に生成するモデルという分野を最初に切り拓いた博士たちです。論文は22編、被引用数は10,000を超え、Xu Zheng教授とYoungjung Uh教授をアドバイザーに迎え、Samsung、RedBird、Gold Houseの出資を受けています。研究は私たちの論文とマルチモーダル翻訳を切り拓くに、創業者のストーリーはミッションのページにあります。

よくある質問