測定ガイド

世界最高のAI吹き替えとは:その測り方

FAMILIAR 研究更新日 記事一覧

要旨

最高のAI吹き替えとは、同じクリップで6つの観点のスコアが最も高いものです。話し言葉の意味、ボイスクローン、顔(リップシンクとその先)、シーンの音、音声イベントとタイミング、そしてワークフローと納品。全データ、信頼区間、試聴サンプル:吹き替えベンチマークのハブ。

「最高」は測れる

TABLE 01 · 吹き替え品質の6つの観点

話し言葉の意味
採点の方法吹き替えは、あなたが言ったことを言っているか。出力ごとの重要な翻訳ミスの数。
失敗するとどうなるか吹き替えで、大事な内容が変わったり抜けたりする。
ボイスクローン
採点の方法目を閉じて聞いて、同じ人か。本人の声にどれだけ近いか。
失敗するとどうなるかYouTubeの自動吹き替えは、話し手の声をありきたりな別人の声に置き換える。
顔
採点の方法口、あご、表情が新しい言葉に合っているか。検索語はAIリップシンクだが、口元は最低ラインにすぎない。
失敗するとどうなるか音声のみのツールは、この観点を丸ごと飛ばす。
シーンの音
採点の方法音楽、空気感、効果音といった背景の音が、吹き替え後も残っているか。吹き替えと元の背景音のスペクトル誤差。
失敗するとどうなるか音楽、空気感、効果音が消える。
音声イベントとタイミング
採点の方法笑い声、ため息、ビートが、元と同じ位置に同じように来るか。イベントの形状の相関と、過渡音のタイミングのF1。
失敗するとどうなるか笑い声、ため息、ビートが遅れるか、平板になる。
ワークフローと納品
採点の方法ツールがクリップを受け付けるか、何が返ってくるか。最短の長さ、バッチ上限、言語数、解像度、音声チャンネル:4Kで出せるか、ディスクリート5.1chで出せるか。配信サービスは、吹き替えが元のミックスと一致することを求めます。5.1chで受け取ったら、5.1chで返す。
失敗するとどうなるか受け付けられなかったクリップは、そのクリップでゼロ点。

吹き替えと字幕、ボイスオーバーの比較:動画翻訳の完全ガイド(2026年)。

比較を公正にする方法

  1. 01

    ペア比較、ブラックボックス型。

    同じ元クリップと同じ対象言語を各システムに通し、評価するのはユーザーに届く最終的な音声だけです。
  2. 02

    承認済みの訳意をひとつ。

    すべての吹き替えを単語単位のタイムスタンプ付きで書き起こし、その訳意と照らしてレビューします。妥当な言い換えは認めます。
  3. 03

    音響の測定では、吹き替えを元のシーンと比べます。

  4. 04

    元クリップはそれぞれ同じ重みで。

    95%信頼区間は元クリップを再標本化して求めます。
  5. 05

    受け付けられなかったクリップは、受け付けられなかったと記録します。

    製品が違えば、研究も別にします。

最新の数値

2026年8月5日、この方法でElevenLabs Dubbingを2回検証しました。
研究A · DUBBING V1 · 418ペアの出力 · 38クリップ · 11言語 研究B · 同社の最新製品DUBBING V2 (ALPHA) · 111ペアの出力 · 中国語 · スペイン語 · 日本語
FIG. 01 · 声の本人らしさ(吹き替え vs 本人) · 安定版DUBBING V1 · 418ペアの出力 · 11言語
Familiar0.4605
ElevenLabs0.3604
FIG. 02 · レビューで指摘された話し言葉の出力ミス · 安定版DUBBING V1 · 418ペアの出力
ElevenLabs258
Familiar132
  • Familiarの声は本人に27.8%近く聞こえ、全11言語でFamiliarが上回りました。
  • ElevenLabsはレビューで指摘されたミスが95.5%多くなりました。
  • 予測自然さはFamiliarが10.2%高くなりました(探索的)。
261%

ElevenLabsは、背景音のスペクトル誤差が261%多く発生しました。

12.27 VS 3.40 DB · DUBBING V1
+243.7%

笑い声やリアクションの形状の相関で、Familiarが上回りました。

0.759 VS 0.221 · DUBBING V1
+24.3%

効果音とビートのタイミングのF1で、Familiarが上回りました。

0.947 VS 0.762 · DUBBING V1

最新製品でも、同じ傾向が続きました:

FIG. 03 · 話し言葉の重要な翻訳ミス · DUBBING V2 (ALPHA) · 111ペアの出力
ElevenLabs64
Familiar29
270%

ElevenLabsは、笑い声や音楽、空気感といった背景音のエラーが270%多く発生しました。

11.92 VS 3.22 DB · DUBBING V2 (ALPHA)
221%

ElevenLabsは、笑い声やリアクションの音量エラーが221%多く発生しました。

3.32 VS 1.04 DB · 18クリップ、54比較 · DUBBING V2 (ALPHA)
+28.2%

笑い声やリアクションの形状の相関で、Familiarが上回りました。

0.960 VS 0.749 · DUBBING V2 (ALPHA)
56.5%

全体として、ElevenLabsは指摘を受けた吹き替えが56.5%多くなりました。

36 VS 23
37/38

ElevenLabsの元クリップ対応数。11秒未満のクリップは受け付けられませんでした。

FAMILIAR 38/38

クリップ単位の内訳:Familiar vs ElevenLabsの吹き替え:2つのペア比較研究。

ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

翻訳テキストには、別の研究があります(2026年8月)。Familiarを熟練プロ翻訳者と比較し、専門家が修正した参照訳を基準にブラインドで採点しました。

FIG. 04 · 熟練プロ翻訳者の一次翻訳に対する翻訳品質 · 破線 = プロの100%
フランス語100.0%
中国語98.2%
ヒンディー語103.3%
インドネシア語99.6%
熟練プロ翻訳者の一次翻訳
  • 4言語の平均は100.3%。Familiarの実サービスの翻訳は、プロの一次翻訳と互角の品質です。
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

まだどこもうまくできていないこと

自分でテストする

笑い声、BGM、早口のひと言。吹き替えを壊すのは、この3つです。

誰の数字も、私たちの数字も、信じる必要はありません。シーズンやカタログ単位のパイロット検証ならAI吹き替えのパイロット検証の進め方(2026年版)、複数の話者がいる映画のシーンなら映画に最適なAI吹き替えとは?

  • よく知っている話し手のクリップを1本選びます。3つすべてを含むものを。
  • 2つのツールで吹き替えます。同じクリップ、同じ対象言語で。
  • 言葉を確認します。ネイティブスピーカーか逆翻訳で、吹き替えと元の発言を比べます。
  • 目を閉じて、誰が話しているかを考えます。答えが「ナレーター」なら、ボイスクローンは失敗です。
  • 部屋の音を聴きます。音楽は残っているか。空気感は。笑い声は残っていて、話し手本人のものに聞こえるか。そして、納品されるミックスが5.1chか、ステレオか、モノラルかを確認します。
  • 口元を見ます。リップシンクは保たれているか。顔全体が新しい言葉に合っているか。
FIG. 05 · 仕上がり1分あたりの料金(対象言語ごと) · ELEVENLABS = 決済時の見積もり$3/分 · 2026年8月5日 · 幅のある料金は中央値で表示
ElevenLabs$3 音声のみ
人の声$39–94
人による吹き替え一式$70–150
  • 翻訳も声も人が手がける吹き替え一式は、仕上がり1分あたり$70から$150。そのため、世界の大半にとって現実的ではありません。支援型のビジュアル吹き替えツールが公開できる品質に届くには、VFXアーティストのチームとプロジェクトごとに数週間が必要で、言語が変われば、また新しいプロジェクトです。一度で仕上げる今のツールは速い代わりにそれ以外のすべてを手放し、コントロールはなく、顔にかかった手、マイク、ブレ、ボケ、横顔、画面に映る複数の人物があるとリップシンクが崩れます。Familiarは、一度で、しかも品質を保ちます。マルチモーダル翻訳のための初の基盤モデルであり、新たなパラダイム、これまでにない、初めてのモデルであるマルチモーダル・ローカライゼーション意思決定モデル(MLDM)を、Studio契約で、そのまま公開できる納品仕様でご提供します。一度のレンダリングで、翻訳、話し手本人の声、シーンの音、リップシンク。最大4K映像と、ディスクリート5.1chかステレオのミックスで納品します。レビュー担当者は訳の候補から選べ、すべての判断はジョブとともに記録されます。
  • まずはデモから:トップページでご覧いただけます。
  • あなたの映像で試すなら:チームにメールしてください。契約はカタログの規模に合わせてご用意し、30言語すべて、どの言語からでも、どの言語へでも対応します(料金)。
初のマルチモーダル翻訳基盤モデル
カタログのための評価基準がもうひとつあります。吹き替えがどこで処理されるかです。Familiarはどの吹き替えも、自社が所有する、カナダ・トロントのNVIDIA B300を揃えた数千万ドル規模のGPUクラスタで処理し、Google CloudやAWSのようなパブリッククラウドも、外部の推論サービス事業者も使いません。
プライベート推論 · カナダ・トロント

参考資料

  1. [1]Familiar vs ElevenLabsベンチマーク:全結果、信頼区間、試聴サンプル
  2. [2]ElevenLabs Dubbingのドキュメント
  3. [3]AI翻訳 vs 人間の翻訳:プロと比較検証(2026年)

マルチモーダル翻訳

Familiar Labsは、マルチモーダル・ローカライゼーション意思決定モデル(MLDM)で次世代の吹き替えを手がけています。MLDMは、マルチモーダル翻訳のための初の基盤モデルです。テキスト、音声、映像のすべてにわたって何をローカライズするかをひとつのモデルが判断し、選択肢をあなたに示します。あなたの声と口元を、新しい言語へ。博士を擁する8人のチームを、Samsung、RedBird、Gold Houseが支援しています。 私たちのミッション