要旨
マルチモーダル翻訳の基盤モデルとは？
言葉、声、口元、シーンを、一度にまとめて新しい言語へ運ぶ、ひとつのモデル。
動画が伝えるのは、言葉だけではありません。話し手の声、口の動き方、部屋に響く笑い声、シーンの下に流れる音楽。そのすべてが意味を運んでいます。動画をうまく翻訳するとは、そのすべてを向こう側へ運び、しかも食い違わせないことです。台詞は口に合い、声はシーンに収まり、画面に映る人はその人のままでなければなりません。
マルチモーダル翻訳の基盤モデルとは、その仕事全体をこなす、ひとつのモデルです。映像をひとつのものとして受け取り、各部分が新しい言語でどう着地すべきかを判断します。Familiarはその最初のモデルを作り、MLDMと呼んでいます。
吹き替えは、なぜこれまで別々のツールを経てきたのか？
人による吹き替えは、世界の大半にとって、ずっと手の届かないものでした。トップクラスの作品でさえ、費用、人手、時間のせいで吹き替えるのは数言語だけ。小規模な作品、番組、縦型ドラマは、そもそも吹き替えません。翻訳と声をすべて人が担う吹き替えは、仕上がり1分あたり$70から$150かかります。
機械による吹き替えは、連鎖から始まりました。書き起こし、翻訳、声、そしてリップシンク。
ひとつのモデルがすべてを一度に運ぶと、何が変わるのか？
カスケード型の時代
- 別々のツールを、次々に。
- 各工程が、ほかを知らずに推測する。
- 元の顔に、新しい声を重ねる。
初の基盤モデル
- ひとつのモデル、ひとつながりの判断。
- 翻訳は、合わせるべき口を知っています。
- 声は、自分が置かれるシーンを知っています。
- 人は、変わりません。
同じ俳優の演技が、そのまま伝わります。本人の声、新しい言葉に合わせて動く口元、表情、そしてそのまわりのシーンの音。笑い声も、観客の声も、音楽も元のまま。同じクリップで、YouTubeは背景音のエラーがFamiliarより232.6%多く発生しました。言葉だけを見ても、翻訳は熟練プロ翻訳者の一次翻訳と互角で、その品質の100.3%です。すべての数値はベンチマークにあります。
吹き替えのまわりの仕事も変わります。今日、高品質を実現する道は支援型です。VFXアーティストのチームがショットごとに何週間も作業し、言語が変われば、また新しいプロジェクトです。一度で仕上げる今のツールは、速い代わりにそれ以外を手放しています。翻訳は編集できず、音楽や部屋の響きは消え、顔にかかった手、マイク、ブレ、ボケ、横顔、画面に映る複数の人物といったありふれたショットで、口元が破綻します。空間を推論することも、世界を理解することもできません。Familiarは、一度で、しかも品質を保ちます。一度アップロードすれば、選んだすべての言語へ動画を一度に運びます。ひとつのモデルが判断するので判断どうしが食い違わず、手作業でつなぎ直す必要もありません。
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
MLDMは何を判断し、あなたは何を選ぶのか？
マルチモーダル・ローカライゼーション意思決定モデルは、モデルそのものです。MLDMは、テキスト、音声、映像のすべてにわたって、何をどうローカライズするかを判断します。定義の全体はマルチモーダル・ローカライゼーション意思決定モデル（MLDM）とは？にあります。
判断と選択
- 現在
翻訳の判断を、クリエイティブディレクターがレビュー。
すべての判断はジョブとともに記録され、どれでも上書きできます。 - 開発中
音声と映像の判断も、同じレビュー画面で。
- 開発中
映像の中の文字、そしてライブ吹き替え。
スマホの画面や道路標識を、すでに選んだ訳語で書き換えます。ブランドや名前は撮影したまま残すかをその場で判断し、Tostitosの袋はTostitosのまま。
こうした選択の記録については、判断の記録：クリエイティブディレクターはMLDMをどう導くかにまとめています。
基盤モデルから、スタジオは何を得るのか？
面倒な作業は、MLDMに。創作上の判断は作品を作った人たちの手に残り、残りはモデルがすべての言語へ一度に運びます。
言語
出力30、入力99
99の元言語のどの映像からでも、30言語で吹き替えます。
完成した映像
最大4K
フルミックス
ディスクリート5.1chサラウンドかステレオ
お好きな方を、24ビットPCMで。
字幕
.srtと.vtt
業界が基準とする字幕テンプレートの規格、NetflixのTimed Text Style Guide（字幕スタイルガイド）の慣例に沿って区切ります。
プライベート推論
カナダ・トロント
自社が所有するNVIDIA B300を揃えた数千万ドル規模のGPUクラスター。パブリッククラウドは使いません。
すべての吹き替えはそのクラスターで処理され、外部の推論サービスには一切渡さないので、あなたのメディアが流出することはありません。詳しくはプライベート推論のドキュメントと出力のドキュメントにあります。その背後にいるのは、人物の音声と映像を同時に生成するモデルという分野を最初に切り拓いた博士たちです。論文は22編、被引用数は10,000を超え、Xu Zheng教授とYoungjung Uh教授をアドバイザーに迎え、Samsung、RedBird、Gold Houseの出資を受けています。論文は私たちの研究にまとめています。
翻訳の基盤モデルは、生成AIなのか？
従来の意味では、違います。IBMは生成AIをこう定義しています：
生成AI（gen AIと呼ばれることもあります）とは、ユーザーのプロンプトやリクエストに応じて、テキスト、画像、動画、音声、ソフトウェアのコードなどのオリジナルコンテンツを作り出せる人工知能（AI）です。
新しいものを作るには、力強いツールです。MLDMにはプロンプトがなく、新しいものは何も作り出しません。すでにあるものを、別の言語へ運びます。「生成AI」ではなく、クリエイターの力になる翻訳。人から人へ、より多くの人のもとへ届けます。
このシリーズのほかの論考：音声と映像を、一度に翻訳する：カスケード型ではなく、マルチモーダル翻訳の基盤モデルが、スタジオとプラットフォームにもたらすもの、マルチモーダル翻訳を切り拓く。
よくある質問
マルチモーダル翻訳の基盤モデルとは何ですか？
動画の言葉、声、口元、シーンを、一度にまとめて新しい言語へ運ぶ、ひとつのモデルです。Familiarのマルチモーダル・ローカライゼーション意思決定モデル（MLDM）は、これまでにない、初めてのモデルです。ひとつのモデルが判断するので判断どうしが食い違わず、画面に映る人は変わりません。
これまでの機械による吹き替えと、何が違いますか？
これまでの機械による吹き替えは、別々のツールの連鎖でした。書き起こし、翻訳、声、リップシンクと続き、それぞれがほかを知らずに推測していました。MLDMは判断をまとめて下します。まず翻訳、そのあと吹き替えを一度に。声と口元とシーンを、まとめて仕上げます。
マルチモーダル翻訳の基盤モデルは、生成AIですか？
従来の意味では、違います。プロンプトはなく、新しいものは何も作り出しません。MLDMは、すでにある映像をどうローカライズするかを判断します。生成AIは新しいものを作る力強いツールですが、これはクリエイターの力になる翻訳です。人から人へ、より多くの人のもとへ。
モデルが判断した内容をレビューできますか？
はい。すべての判断はジョブとともに記録され、どれでも上書きできます。現在は、クリエイティブディレクターがそれぞれ理由の付いた訳の選択肢から選べます。音声と映像の選択肢は開発中です。
どの言語に対応していますか？
99の元言語のどの映像からでも、30言語で吹き替えます。一度アップロードすれば、選んだすべての言語へ動画を運び、最大4K、ディスクリート5.1chサラウンドかステレオのミックスで納品します。
映像はどこで処理されますか？
カナダ・トロントにある、Familiarが所有するNVIDIA B300を揃えた数千万ドル規模のGPUクラスターで処理します。プライベート推論で、パブリッククラウドや外部の推論サービスは使わないので、あなたのメディアが流出することはありません。
参考資料
マルチモーダル翻訳
Familiar Labsは、マルチモーダル・ローカライゼーション意思決定モデル（MLDM）で次世代の吹き替えを手がけています。MLDMは、マルチモーダル翻訳のための初の基盤モデルです。テキスト、音声、映像のすべてにわたって何をローカライズするかをひとつのモデルが判断し、選択肢をあなたに示します。あなたの声と口元を、新しい言語へ。博士を擁する8人のチームを、Samsung、RedBird、Gold Houseが支援しています。 私たちのミッション