定義

マルチモーダル・ローカライゼーション意思決定モデル（MLDM）とは？

FAMILIAR 研究更新日 記事一覧
他の言語で読むEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

要旨

マルチモーダル翻訳のための初の基盤モデルであり、新たなパラダイム、これまでにない、初めてのモデル。MLDMは、テキスト、音声、映像のすべてにわたって、何をどうローカライズするかを判断し、大事な選択肢をあなたに示す、ひとつのモデルです。まず翻訳、そのあと吹き替えを一度に。声と口元とシーンを、まとめて仕上げます。ひとつのモデルが判断するので、判断どうしが食い違いません。人は、変わりません。
初のマルチモーダル翻訳基盤モデル音声と映像を一度に翻訳。カスケード型ではなく

MLDMは何を判断するのか？

翻訳
台詞を新しい言語へ運ぶのに、どの訳がふさわしいか。MLDMはいくつもの訳を比べて最善を選びます。ジョークや物語、会話のかけ合いでは、ひと言で意図も感情も変わるからです。同じ判断が、用語、何を訳さないか、スラングは言ったまま、名前もブランド名もそのまま、視聴者になじみのあるネタへの差し替え、その文化が避ける表現、年少向けの版での汚い言葉の抑え方にも及びます。
音声
そもそも何を翻訳するか。MLDMはトラックの中のすべてを聞き取ります。笑い声、観客の声、叫び声、背後で誰とも聞き分けられない話し声まで。メインの声を見つけ、話し手本人の声のまま新しい言語へ運び、それ以外は元のまま残します。
映像
実際に話しているのは誰か。音声と映像をあわせて判断するので、MLDMは誰がナレーションか、誰が画面の外から話しているか、誰の口を動かすべきかを把握します。口元はすべての台詞で新しい言葉に合わせ、表情やしぐさは、強調や文化が求める場面で合わせます。

あなたに示される選択肢

翻訳
現在何通りにも取れる台詞では、クリエイティブディレクターがそれぞれの訳と、その理由を確認して、ひとつを選びます。ポッドキャスト、1話のエピソード、映画1本には、こうした箇所がいくつも含まれることがあります。
開発中
音声
現在
開発中何を元の言語のまま残すかを選ぶこと。チャント、叫び声、ひと言のフレーズを、望むなら言ったまま残せます。
映像
現在
開発中モデルが話し手を取り違えたときに別の顔を選ぶこと、そして映像の中のどの文字を訳すかを選ぶこと。スマホの画面、本の表紙、道路標識、店の看板などの文字は、すでに選んだ訳語で書き換えます。ブランド、名前、スラングなど、撮影したまま残すものはモデルがその場で判断します。Tostitosの袋は、Tostitosのまま。

なぜ、ひとつのモデルなのか？

ツールの連鎖

  • 音声認識、翻訳、音声、リップシンクと、各工程を個別に調整してつなぐ構成。
  • この連鎖が、機械による吹き替えを可能にしてきました。
  • それでも各工程はほかの工程を知らずに推測するので、ミスが工程から工程へと積み重なります。

ひとつの基盤モデル、初めての方式

  • MLDMは判断をまとめて下します。
  • 翻訳は、合わせるべき口を知っています。
  • 声は、自分が置かれるシーンを知っています。
  • 人は、変わりません。
++
まず翻訳、そのあと吹き替えを一度に。声と口元とシーンが、同じ判断から、そろって仕上がります。

音声と映像を一度に翻訳。カスケード型ではない、初めての方式です。だからこそMLDMは、マルチモーダル翻訳のための初の基盤モデルなのです。言葉、声、口元、シーンを、ひとつのモデルが一度にまとめて新しい言語へ運びます。今日、高品質を実現する道は支援型です。VFXアーティストのチームと、プロジェクトごとに数週間。言語が変われば、また新しいプロジェクトです。一度で仕上げる今のツールは、速い代わりにそれ以外を手放しています。Familiarは、一度で、しかも品質を保ちます。

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

ローカライゼーションと翻訳の違いは？

翻訳は言葉。ローカライゼーションは、その文化が言葉に求めるもの。

ふさわしい用語、スラング、言ったまま残す名前、視聴者になじみのあるネタへの差し替え、その文化が避ける表現、ふさわしい汚い言葉の度合い。MLDMはそのすべてを判断し、いずれは映像が変わるべきときに、映像についても判断します。

MLDMは生成AIなのか？

いいえ。IBMは生成AIをこう定義しています：

生成AI（gen AIと呼ばれることもあります）とは、ユーザーのプロンプトやリクエストに応じて、テキスト、画像、動画、音声、ソフトウェアのコードなどのオリジナルコンテンツを作り出せる人工知能（AI）です。
IBM, What is generative AI?

新しいものを作るには、力強いツールです。MLDMにはプロンプトがなく、新しいものは何も作り出しません。すでにあるものを、どうローカライズするかを判断します。考え方の全体は、Familiarが従来の生成AIではない理由と翻訳は生成ではないにまとめています。

その判断は、誰のものか？

あなたのものです。MLDMが下すすべての判断は、吹き替えとともに、判断の記録に残ります。

  1. 現在

    クリエイティブディレクターが、翻訳の判断をレビューします。

    それぞれの訳とその理由を確認し、何かが公開される前にひとつを選びます。
  2. 現在

    「翻訳しないリスト」と1文のコンテキストが、ジョブとともに渡ります。

  3. 開発中

    音声と映像の判断も、同じレビュー画面で。

  4. 開発中

    判断の記憶。

    クリエイターごとに記憶した上書きが次の吹き替えで最初に適用されるので、一度決めた選択は次のエピソードにも引き継がれます。

詳しくは判断の記録に、計画中のAPIは判断のドキュメントにまとめています。

よくある質問

MLDMは何の略ですか？

MLDMはMultimodal Localization Decision Model（マルチモーダル・ローカライゼーション意思決定モデル）の略で、新たなパラダイム、これまでにない、初めてのモデルです。テキスト、音声、映像のすべてにわたって、何をどうローカライズするかを判断する、ひとつのモデル。台詞の訳、音声の中で何を翻訳するか、画面の誰が話しているか、そして口元、表情、しぐさをどう合わせるかを選びます。

MLDMは動画モデルですか？

一般的な意味では違います。MLDMはすでにある映像を扱い、それをどうローカライズするかを判断します。言葉、声、口元、表情。画面に映る人は、どの言語でも、その人のままです。

MLDMは新しい映像を生成しますか？

いいえ。プロンプトはなく、新しいものは何も作り出しません。MLDMはすでにあるものをどうローカライズするかを判断します。俳優、タイミング、シーンはそのままに、言葉、音声トラック、口元が新しい言語に合わせて変わります。

MLDMは音声で何を判断しますか？

そもそも何を翻訳するか。メインの声を見つけ、話し手本人の声のまま新しい言語へ運びます。笑い声、観客の声、叫び声、誰とも聞き分けられない背後の話し声は、元のまま残ります。

MLDMは表情も変えますか？

強調や文化が求める場面では、変えます。口元はすべての台詞で新しい言葉に合わせ、表情やしぐさは、新しい言語で台詞の伝わり方が変わるときに合わせます。人は、その人のままです。

MLDMは画面上の文字も翻訳しますか？

まだです。スマホの画面、本の表紙、道路標識、店の看板など映像の中の文字は、現在組み込みを進めており、すでに選んだ訳語で書き換えます。ブランド、名前、スラングなど、撮影したまま残すものはモデルがその場で判断し、Tostitosの袋はTostitosのまま。現在ローカライズしているのは、言葉、声、口元、表情、しぐさです。

モデルが下した判断を変えられますか？

はい。すべての判断はジョブとともに記録され、上書きできます。現在は、クリエイティブディレクターがそれぞれ理由の付いた訳の選択肢から選べます。一度決めた選択は、次のエピソードにも引き継がれます。

音声や映像の選択肢も、モデルは示してくれますか？

翻訳の選択肢は、現在示しています。何を元の言語のまま残すかといった音声の選択肢、別の顔を選ぶ、映像の中のどの文字を訳すかといった映像の選択肢は、開発中です。

参考資料

  1. [1]IBM, What is generative AI?（2026年10月27日に参照）
  2. [2]私たちのミッション
  3. [3]Familiar よくある質問

マルチモーダル翻訳

Familiar Labsは、マルチモーダル・ローカライゼーション意思決定モデル（MLDM）で次世代の吹き替えを手がけています。MLDMは、マルチモーダル翻訳のための初の基盤モデルです。テキスト、音声、映像のすべてにわたって何をローカライズするかをひとつのモデルが判断し、選択肢をあなたに示します。あなたの声と口元を、新しい言語へ。博士を擁する8人のチームを、Samsung、RedBird、Gold Houseが支援しています。 私たちのミッション

ベンチマークの全結果を見る →チームに相談