すべての言葉が、わかる。Familiar Labsなら、パフォーマンスはまるごとそのまま。
- 音楽と効果音
- 観客の声と笑い声
- 複数の話者
- 空間推論
- 最大4K
- ステレオと5.1chサラウンド
▚ SONG DUBBING ▞
音楽の、新境地。
感情。リズム。そのまま。
歌い手本人の声と口元のまま、別の言語へ。アルバムを、世界に向けてリリース。
スペイン語から英語へ | 2分間の抜粋
Will Smith「Beautiful Scars」 | スペイン語吹き替え
THE RED PILL
VERSE 1 | WILL SMITH
CHORUS | OBANGA & BIG SEAN
VERSE 2 | BIG SEAN
CHORUS | OBANGA & BIG SEAN
VERSE 3 | WILL SMITH
CHORUS | OBANGA
- 01 / 03 | 0:13の場面
歯も唇も、3つの顔で
このフレームで話しているのは2人。本人の顔でも、メガネに映る2人のWillでも、唇と歯がスペイン語に合わせて動きます。
吹き替え | 声と口元をスペイン語に
オリジナル | 英語、同じフレーム - 02 / 03 | 2:30の場面
魚眼レンズ越しの空間推論
レンズが顔全体をゆがめ、奥の顔は手で隠れています。それでも吹き替えは崩れません。
吹き替え | 声と口元をスペイン語に
オリジナル | 英語、同じフレーム - 03 / 03 | 3:40の場面
モーションブラーまで一致
歌の途中でカメラが素早く振られても、口元には画面のほかの部分と同じブレがかかります。
吹き替え | 声と口元をスペイン語に
オリジナル | 英語、同じフレーム
パフォーマンスがここまで損なわれずに届くから、歌でさえ別の言語で成り立つんです。
Jibin Songチーフサイエンティストチーム →だから、作品のどこにある歌も吹き替えられます:
- アニメ映画
- 子ども向けコンテンツ
- ミュージカル
- 映画やドラマの劇中歌
- 主題歌とオープニング
- アルバムとミュージックビデオ
収益とリーチを、広げる。
65%秘密のブルーノ | スペイン語(ラテンアメリカ)吹き替え版ひとつだけで4億2600万回再生。英語のオリジナル版(6億5600万回)の65%にあたります。
11.3億どこまでも ~How Far I'll Go~ | ポルトガル語(ブラジル)ブラジル版のYouTube再生回数です。英語のオリジナル版は15.4億回。
41レット・イット・ゴー~ありのままで~ | 言語2014年に世界で最も売れたアルバム。日本では日本語版が最高2位を記録し、ミリオン認定を獲得しました。
66%Pushpa 2 | ヒンディー語インド国内の興行収入に占めるヒンディー語吹き替え版の割合。テルグ語のオリジナル版は27%でした。
どれも、現地の歌い手が歌い直したものです。Song Dubbingなら、届くのは元のパフォーマンスそのものです。
レコードレーベルの方へ:お問い合わせ →23×
映像まで吹き替えると、作品の視聴時間はこれだけ伸びる。
同じ作品の音声のみの吹き替えとの比較
人手による吹き替えの限界
- パフォーマンスの喪失
- スケールできない
- 高コスト
- 今のAIでは不十分
▚ 数週間ではなく、一度で ▞
まず翻訳、そのあと吹き替えを一度に。
Flawless
Flawless業界で今使われている制作支援ツールは、VFXアーティストのチームと、プロジェクトごとに数週間を必要とします。言語が変われば、また新しいプロジェクトです。
一度で仕上げる今のツールは、それ以外のすべてを手放しています。翻訳は編集できず、音楽や部屋の響きは消え、声は本人から離れていきます。顔にかかった手、マイク、ブレ、ボケ、横顔、画面に映る複数の人物があると、口元は破綻します。空間を推論することも、世界を理解することも、制御することもできません。
Familiar LabsとFlawless TrueSyncを比較 →出資元
Stanford
Yonsei
「生成AI」ではなく、クリエイターの力になる翻訳。
人から人へ、AIからAIへではなく →「生成AIとは、ユーザーのプロンプトに応じて、テキスト、画像、動画、音声、ソフトウェアのコードなどのオリジナルコンテンツを作り出す人工知能の一分野です。」
面倒な作業は、MLFMに。
プロンプトは不要。新しいものをランダムに生成することもありません。
人から人へ、より多くの人のもとへ届けます。
学習に使ったデータは、すべてFamiliar Labsのチームが自ら作ったものです。
テキスト、音声、映像のすべてにわたって、何をどうローカライズするかを判断し、大事な選択肢をあなたに示す、ひとつのモデル。
ひとつのセリフを、どの訳にするか。
- いくつもの訳を比べ、クリエイティブディレクターが理由とともに確認して選びます。
- 何を訳さないか。スラングは言ったまま、名前もブランド名もそのまま。
- ネタは視聴者になじみのあるものに差し替え、その文化が避ける表現は避け、年少向けの版では汚い言葉を控えめに。
そもそも何を翻訳するか。
- メインの声を見つけ、話し手本人の声のまま届けます。
- 笑い声、観客の声、叫び声、誰とも聞き分けられない話し声は、元のまま残します。
- チャント、掛け声、ひと言のフレーズは、元の言語のままに。
画面の上で、何をローカライズするか。
- 実際に話しているのは誰か。ナレーションは誰か、画面の外から話しているのは誰か。
- 口元。オクルージョンや空間推論も含めて。
- 強調や文化が求める場面では、表情やしぐさも。
- スマホの画面、本の表紙、道路標識、店の看板など、映像の中の文字を、すでに選んだ訳語で。
- 撮影したまま残すものは、その場で判断。Tostitosの袋は、Tostitosのまま。
- そのセリフがどの顔のものか、どの文字を訳すか。
すべての判断は、吹き替えごとに記録されます。どの判断も上書きでき、一度決めた選択は次のエピソードにも引き継がれます。
MLFMとは?▚ 同じクリップで実測 ▞
ベンチマーク
オクルージョンと空間推論:口元を覆うマイクも、顔を横切る手も。それでも吹き替えは崩れません。
▚ API ▞
あなたのプラットフォームを、すべての言語で。
review=manual公開前に、クリエイティブディレクターがレビュー
- ジョークや皮肉のひと言など、何通りにも取れる台詞は、意図と感情の違う3つの訳になって返ってきます。
- クリエイティブディレクターがひとつを選びます。
- どの行でも原文と照らし合わせて編集して、吹き替えを確定。
- 1Apples. I'm sorry, right down to the core.言葉遊びを活かす · 照れ
- 2I came to say sorry. I brought apples.意味を優先 · 本気
- 3An apple a day keeps the silent treatment away.別のジョーク · 遊び心
- 1Wow. You're incredible.本気 · 温かみ
- 2Well, aren't you something.皮肉 · 淡々
- 3Look at you, hotshot.からかい · 遊び心
/v1/dubs/dub_31xk9m/render- 翻訳00:12.4seg_12 · 사과하려고 사과 사 왔어.Apples. I'm sorry, right down to the core.I came to say sorry. I brought apples.An apple a day keeps the silent treatment away.クリエイティブディレクターの選択EDITED
- 音声00:41.2 – 00:44.0Crowd chantKeep in KoreanTranslate上書き
- 映像00:58.0Phone screen · 내일 봐See you tomorrowKeep as shot上書き
- 映像01:12.6SpeakerSpeaker 1Speaker 2Speaker 3上書き
/v1/dubs/dub_31xk9m/decisions/ dec_7h2k0bGET /v1/dubs/{dub_id}/decisions判断の記録。確認も、上書きも。
クリエイティブディレクターは現在、訳の選択肢をモデルの理由とともに確認できます。音声と映像の判断は開発中で、元の言語のまま残すチャント、台詞がどの顔のものか、スマホ画面の文字などが対象になります。
ドキュメントを見る →プライベート推論:トロントの自社GPUで処理し、パブリッククラウドは使いません。
すべての吹き替えは、カナダ・トロントにある自社が所有する数千万ドル規模のGPUクラスタ、市場最高峰のNVIDIA B300で処理します。Google CloudやAWSのようなパブリッククラウドでも、外部の推論サービス事業者でも処理しないため、お預かりした素材が漏えいすることはありません。
ドキュメントを見る →- GPUS
- NVIDIA B300, the best on the market
- CLUSTER
- Eight figures, USD
- LOCATION
- Toronto, Canada
- OPERATOR
- Familiar Labs, on compute we own
- PUBLIC CLOUD
- None
- THIRD-PARTY INFERENCE
- None
エンタープライズ限定。ボリュームディスカウントと24時間365日の専任サポートが付いたStudio契約です。
▚ 対応言語 ▞
13言語、どの言語からどの言語へも。
本人の声と口元のまま、あらゆる視聴者に届けます。
入力・出力の言語13
- アラビア語
- イタリア語
- スペイン語 (ラテンアメリカ)
- タイ語
- ドイツ語
- ヒンディー語
- フランス語 (フランス)
- ポルトガル語 (ブラジル)
- ロシア語
- 英語
- 韓国語
- 中国語
- 日本語
▚ セキュリティ ▞
お客様のマシンで封をし、開けるのはトロントだけ。
お客様のコンテンツを、学習に使うことは決してありません。
封をしてアップロード
お使いのマシン上で、ネットワークの外に出る前に暗号化します。転送中に傍受されても中身は読めません。完成した吹き替えも、同じように封をしてお返しします。
トロントの自社サーバー
処理も保管も、カナダ・トロントにある自社所有の計算資源で行います。パブリッククラウドも、外部の推論サービス事業者も使いません。
最小権限
復号鍵は、指名された2名の担当者が保管しています。当社が指名したセキュリティ上の役割以外は、誰もお客様のコンテンツを開けません。
期限を決めて削除
吹き替えをお返しした時点で(ゼロデータ保持)、ご承認の時点で、またはご指示がなければ納品から14日後に自動で削除します。
TPN+会員 | MPAコンテンツセキュリティ・ベストプラクティス
契約に基づくスタジオ、配信事業者、レーベルの業務が対象です。
気になることは?
次世代の吹き替え:あなたの声と口元を、新しい言語へ。ElevenLabsとHeyGenを組み合わせても、声も顔もどこか別人のままです。単なるAIリップシンクではなく、オクルージョンや空間推論も含めて、顔全体が新しい言語で演じます。
公開中のベンチマークでは:
- 彼らの最新製品では笑い声や音楽、空気感といった背景音のエラーが270%多く発生した
- 重要な翻訳ミスは私たちのほうがその最新製品より54.7%少ない
- Dubbing v1では、私たちの声は本人に27.8%近く聞こえ、全11言語でより近いと測定されている
同じクリップで比較すると、ElevenLabsは:
- 単語を落とすか勝手に作り出すことが45回
- 笑い声や効果音が壊れることが8回
- 話者の声を見失うことが6回
- 声が重なる場面での混線が6回
- 語り口が平板になることが4回
- 場の環境音が消えることが4回
- APIは11秒未満のクリップを受け付けない
別々のツールを自分でつなぎ合わせると、Sync.soのリップシンクが1分$8、ElevenLabsの音声が$3で、合わせて1分$11かかります。Familiar Labsの吹き替えには、声もリップシンクも翻訳もすべて含まれ、最大4K、ディスクリート5.1chサラウンドまたはステレオミックスで納品します。


