キーワード解説

AIリップシンクとは：できること、足りないもの、その先にあるもの（2026年）

FAMILIAR 研究更新日 記事一覧
他の言語で読むEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

要旨

AIリップシンクは、口の動きを新しい音声トラックに合わせ直す技術です。動画翻訳を探す人が最もよく検索する言葉ですが、課題全体の中ではいちばん小さな部分にすぎません。吹き替えが通用するのは、声が話し手本人のまま残り、顔全体が新しい言語で演じ、シーンの音も残ったときだけです。

AIリップシンクとは

リップシンクAIリップシンク

リップシンクのモデルは、口の形を新しい音声に合わせて変えます。従来の吹き替えで最も目につくずれは解消しますが、それ以外は何も変わりません。公開できる品質で使う場合、今のところは制作支援のツールです。VFXアーティストのチームが顔を切り出し、オクルージョンを直し、すべてのショットをレビューして、プロジェクトごとに数週間かかります。一度で仕上げるリップシンクツールは速い反面、ごく普通のショットで破綻します。顔にかかった手、マイク、ブレ、ボケ、横顔、画面に映る複数の人物。空間を推論することも、世界を理解することもできません。Familiarは、一度で、しかも品質を保ちます。

吹き替えを構成する残り3つの層 · リップシンクだけの場合

声
どうなるかリップシンクの役割の外にあり、多くの吹き替えはここで本人らしさを失います。
顔のほかの部分
どうなるか元の言語のまま演じ続け、半拍ずれます。
シーン
どうなるか音楽、効果音、空気感といった背景の音と笑い声は、手つかずか、前の工程で損なわれています。

口だけでは足りない理由を、数字で

以下の数値はすべて、同じクリップを使ったペア比較研究によるもので、/benchmarkで公開しています。

FIG. 01 · 声の本人らしさ · DUBBING V1の研究 · 418ペアの吹き替え · 11言語
Familiar0.461
ElevenLabs0.360
FAMILIARの声は本人に27.8%近い · 全11言語でより近い
270%

ElevenLabsは背景音の損傷が多い（11.92 vs 3.22 dB）

同社の最新製品DUBBING V2 (ALPHA)との比較 · 111ペアの吹き替え · 音楽、効果音、部屋の空気感
54.7%

Familiarは重要な翻訳ミスが少ない（29 vs 64）

同じ研究 · 3言語
100.3%

熟練プロ翻訳者の翻訳品質に対するFamiliarの品質

フランス語、中国語、ヒンディー語、インドネシア語（熟練プロ翻訳者の一次翻訳）
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

リップシンクと、その先まで

マルチモーダル翻訳のための初の基盤モデルであり、新たなパラダイム、これまでにない、初めてのモデルであるFamiliarのマルチモーダル・ローカライゼーション意思決定モデル（MLDM）は、画面の誰が話しているかを判断し、そのうえで声と顔を判断します。だから手が入るのは口元だけにとどまりません。

初のマルチモーダル翻訳基盤モデル

リップシンクだけ

  • 口元：新しい音声に合わせて動きを調整。

FAMILIARの吹き替え一式

  • 顔全体：目、眉、頬、頭まで、新しい言語の台詞に合わせて演じます。
  • 声：新しい言語でも、話し手本人の声。
  • シーン：音楽と笑い声は元の位置に残り、ミックスはディスクリート5.1chかステレオで戻ってきます。
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

選択：すべての判断はジョブとともに記録され、上書きもできます。現在、レビュー担当者は訳の候補から選べます。別の顔を選ぶこと、映像の中のどの文字を訳すかを選ぶことは、開発中です。

ALL-IN

翻訳、話し手本人の声、シーンの音、リップシンク。収録済みの映像を一度レンダリングするだけで、最大4K映像と、ディスクリート5.1chかステレオのミックスで納品します。Studio契約でご利用いただけます

ELEVENLABSの決済時の見積もりは$3、音声のみ · 2026年8月5日

スタジオではどう活かすか：海外で吹き替えが「合わない」理由と、スタジオの解決策。

参考資料

  1. [1]Familiar vs ElevenLabsベンチマーク：全結果、信頼区間、試聴サンプル
  2. [2]AI翻訳 vs 人間の翻訳：プロと比較検証（2026年）
  3. [3]AI動画吹き替えとは：わかりやすく解説（2026年）

マルチモーダル翻訳

Familiar Labsは、マルチモーダル・ローカライゼーション意思決定モデル（MLDM）で次世代の吹き替えを手がけています。MLDMは、マルチモーダル翻訳のための初の基盤モデルです。テキスト、音声、映像のすべてにわたって何をローカライズするかをひとつのモデルが判断し、選択肢をあなたに示します。あなたの声と口元を、新しい言語へ。博士を擁する8人のチームを、Samsung、RedBird、Gold Houseが支援しています。 私たちのミッション

ベンチマークの全結果を見る →チームに相談