要旨
人物の音声と映像を同時に生成するモデルは、誰が切り拓いたのか？
吹き替えが成り立つのは、声と顔がひとりの人であり続けるときだけです。Familiarの研究者は、人物の音声と映像を同時に生成するモデルという分野を最初に切り拓いた博士たちです。ECCV 2026で発表した論文JAM-Flowは、話す人の声と顔をひとつの問題として扱った、初めての音声と映像の同時生成モデルです。
論文
22
すべて研究の概要ページからリンク
査読付き
18
ICLR、CVPR、ICCV、ECCV、NeurIPS、ICML、ACM Multimedia、WACVで発表
被引用数
10,000超
2021年以降のチームの実績
アドバイザー
2
Xu Zheng教授とYoungjung Uh教授
研究は、マルチモーダル翻訳に必要な要素を網羅しています。音声と映像の同時生成、高速な動画モデル、編集、マルチモーダル知覚。すべての論文と発表先は研究の概要にあります。その理由は個人的なものです。CEOのAn Zhu Liuは子どもの頃、クラスメートと英語で話せず、テレビから英語を学びました。その話はミッションのページにあります。
吹き替えは、なぜ別々のツールを経てきたのか？
それぞれの要素が、まず個別に解かれたからです。機械による吹き替えは連鎖として登場し、その連鎖があったからこそ実現しました。同時にそれが限界も決め、その後に作られたツールも、いまだに品質と時間を引き換えにしています。支援型ツールは、VFXアーティストのチームとプロジェクトごとに数週間をかけて品質に届き、言語が変われば新しいプロジェクトです。一度で仕上げるツールは、速い代わりにそれ以外を手放しています。顔にかかった手、マイク、ブレ、ボケ、横顔、画面に映る複数の人物があると口元は破綻し、空間を推論することも、世界を理解することもできません。Familiarは、一度で、しかも品質を保ちます。
カスケード型の時代
- 書き起こし、翻訳、声、そしてリップシンク。
- 各ツールが、ほかを知らずに推測する。
- もう合わなくなった顔に、他人の声。
ひとつの基盤モデル
- 言葉、声、口元、シーンを、一度に運ぶ。
- 翻訳は、合わせるべき口を知っています。
- 声は、自分が置かれるシーンを知っています。
- 人は、変わりません。
カスケード型との違いを一歩ずつ比べた内容は音声と映像を、一度に翻訳する：カスケード型ではなくに、定義はマルチモーダル翻訳のための、初の基盤モデルにあります。
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
ここで言う「切り拓く」とは？
音声と映像を一度に翻訳。カスケード型ではない、初めての方式です。
初めてそろった、3つのこと。1つ目は、音声と映像をひとつのモデルで一度に新しい言語へ運ぶので、判断どうしが食い違わないこと。声は俳優本人のもので、口元は新しい言葉に合わせて動き、笑い声、観客の声、音楽は元の場所に残ります。
2つ目は、順番です。まず翻訳、そのあと吹き替えを一度に。声と口元とシーンを、まとめて仕上げます。言葉は、声を入れる前に確定し、クリエイティブディレクターがレビューします。
3つ目は、記録です。MLDMが下すすべての判断はジョブとともに記録され、どれでも上書きできます。詳しくは判断の記録：クリエイティブディレクターはMLDMをどう導くかに、MLDMとは何かは定義の論考にあります。
モデルは何を判断し、あなたは何を選ぶのか？
研究の成果が製品になるのは、使う人が主導権を握り続けるときです。面倒な作業は、MLDMに。創作上の判断は、あなたのものです。
MLDMが判断 | あなたが選ぶ
まだ開発中のものは？
切り拓くとは、最初の版であって、最後の版ではないということ。翻訳の選択肢は現在開いており、記録の残りは段階的に開いていきます。
- 現在
クリエイティブディレクターが、翻訳の判断をレビューします。
それぞれの訳とその理由。「翻訳しないリスト」と1文のコンテキストが、ジョブとともに渡ります。 - 開発中
音声と映像の判断も、同じレビュー画面で。
- 開発中
映像の中の文字。
スマホの画面、本の表紙、道路標識を、すでに選んだ訳語で書き換えます。ブランドや名前は撮影したまま残すかをその場で判断し、Tostitosの袋はTostitosのまま。 - 開発中
ライブ吹き替え。
画面に映る人にとって、何が変わるのか？
人による吹き替えは、世界の大半には手が届きません。トップクラスの作品でさえ、費用、人手、かかる時間のせいで吹き替えるのは数言語だけで、小規模な作品、番組、縦型ドラマの多くは、そもそも吹き替えません。マルチモーダル翻訳の基盤モデルは、そのすべてに別の言語での同じ演技を届けます。俳優の声、口元、表情を30言語で、最大4K、24ビットPCMのディスクリート5.1chサラウンドかステレオのミックスで納品します（出力）。
翻訳は、熟練プロ翻訳者の翻訳品質の100.3%と測定され、互角です。研究は/benchmarkにあります。「生成AI」ではなく、クリエイターの力になる翻訳。人から人へ、より多くの人のもとへ。カタログにとっての意味はスタジオとプラットフォーム向けの論考にあります。
よくある質問
Familiarの基盤モデルを作ったのは誰ですか？
人物の音声と映像を同時に生成するモデルという分野を切り拓いた、博士を擁する8人のチームです。論文は22編、うち18編が査読付きで、被引用数は10,000を超えます。アドバイザーはXu Zheng教授とYoungjung Uh教授。FamiliarはSamsung、RedBird、Gold Houseの出資を受けています。
マルチモーダル翻訳の基盤モデルとは何ですか？
言葉、声、口元、シーンを、一度にまとめて新しい言語へ運ぶ、ひとつのモデルです。Familiarのマルチモーダル・ローカライゼーション意思決定モデル（MLDM）は、これまでにない、初めてのモデルです。テキスト、音声、映像のすべてにわたって何をローカライズするかを判断し、すべての判断をジョブとともに記録します。
「カスケード型ではない」とは、どういう意味ですか？
かつて機械による吹き替えは、書き起こし、翻訳、声、リップシンクと、別々のツールに動画を通し、それぞれがほかを知らずに推測していました。Familiarは音声と映像を一度に新しい言語へ運ぶので、判断どうしが食い違わず、人は変わりません。
Familiarは生成AIですか？
従来の意味では、違います。プロンプトはなく、新しいものは何も作り出しません。俳優、タイミング、シーンはそのままに、言葉、声、口元が新しい言語へ運ばれます。「生成AI」ではなく、クリエイターの力になる翻訳です。
現在、何を選べますか？
翻訳です。何通りにも取れる台詞では、声を入れる前に、クリエイティブディレクターがそれぞれの訳とその理由を確認して、ひとつを選びます。音声の選択、映像の選択、映像の中の文字は開発中です。
参考資料
マルチモーダル翻訳
Familiar Labsは、マルチモーダル・ローカライゼーション意思決定モデル（MLDM）で次世代の吹き替えを手がけています。MLDMは、マルチモーダル翻訳のための初の基盤モデルです。テキスト、音声、映像のすべてにわたって何をローカライズするかをひとつのモデルが判断し、選択肢をあなたに示します。あなたの声と口元を、新しい言語へ。博士を擁する8人のチームを、Samsung、RedBird、Gold Houseが支援しています。 私たちのミッション