要旨
2つの用語を、わかりやすく
機械学習広い分野
生成AI
- 生成AIは、機械学習の使い道のひとつです。IBMは、ユーザーのプロンプトやリクエストに応じて、テキスト、画像、動画、音声、ソフトウェアのコードなどのオリジナルコンテンツを作り出せる人工知能だと定義しています。
- 新しいものを作るには優れた道具です。コンセプトの1枚絵、最初の草稿、曲のスケッチに。
Familiarによる翻訳
- 翻訳に求められるのは、それとは別のことです。
- 作品はすでにあり、Familiarはそれを損なわずに別の言語へ運びます。使うのは、新たなパラダイム、これまでにない、初めてのモデル。マルチモーダル翻訳のための初の基盤モデルであるマルチモーダル・ローカライゼーション意思決定モデル(MLDM)です。
| 生成AI | Familiarによる翻訳 | |
|---|---|---|
| 入力 | プロンプト | 完成したあなたの動画 |
| 新しくなるもの | コンテンツそのもの | 別の言語での言葉と、それを運ぶ声と口元 |
| 誰の姿か | プロンプトが描写する誰か | 画面に映る俳優本人。同意のうえで |
| レビュー | ツールによって異なる | クリエイティブディレクターが、レンダリングの前に1行ずつ |
| 出力 | 新しいテキスト、画像、動画、音声、コード | 同じ演技を、最大4K、ディスクリート5.1chかステレオで |
どのベンダーにも聞くべき6つの質問
One shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
公開前に、誰がレビューするのか?
あなたのクリエイティブディレクターです。ジョークや皮肉のように何通りにも取れる台詞は、意図と感情の異なる3つの訳になって返ってきます。ディレクターはひとつを選び、元の台詞と見比べてどの行でも編集し、そのうえで初めて吹き替えを始めます。「翻訳しないリスト」が、名前や決め台詞を言ったまま残します。
どんなファイルが返ってくるのか?
どの言語も、最大4Kの完成した映像として届き、フルミックスはディスクリート5.1chサラウンドかステレオ、お好きな方を24ビットPCM WAVで。あわせて、レビュー済みの書き起こしから作り、NetflixのTimed Text Style Guide(字幕スタイルガイド)の慣例に沿って区切った.srtと.vttの字幕、翻訳されたタイトルと説明、ご自身でミックスするための声だけのトラックが付きます。
面倒な作業は、MLDMに。
吹き替えの面倒な作業とは、すべての言語のすべての台詞について、どの訳にするか、どの声にするか、口元をどう合わせるかを決めることです。今日、高品質を実現する道では、その部分を手作業でこなします。支援型のツールと、VFXアーティストのチームと、プロジェクトごとに数週間。言語が変われば、また新しいプロジェクトです。一度で仕上げる今のツールはそこを省き、それ以外を手放しています。翻訳は編集できず、音楽や部屋の響きは消え、顔にかかった手、マイク、横顔で口元が崩れます。Familiarは、一度で、しかも品質を保ちます。MLDMがその部分を判断し、各判断を吹き替えごとに記録するので、あなたのチームはそれを上書きできます。現在その対象は翻訳の選択肢です。ジョーク、言ったまま残すスラング、年少向けの版で控えめにした汚い言葉。どの音を元の言語のまま残すか、話しているのはどの顔か、映像の中のどの文字を訳すかを選ぶ機能は、開発中です。キャスティングも、演技も、あらゆる創作上の判断も、作品を作った人たちの手に残ります。
私たちは、創作のプロセスで使われるツールのひとつです。
よくある質問
Familiarは生成AIですか?
いいえ。Familiarは、マルチモーダル・ローカライゼーション意思決定モデル(MLDM)です。すでにあるものをどうローカライズするかを判断し、プロンプトはありません。あなたの動画を入れると、同じパフォーマンスが別の言語で出てきます。
レンダリングの前に、クリエイティブチームが台詞を変えられますか?
はい。訳したすべての台詞はクリエイティブディレクターの確認を待ちます。元の台詞と見比べて編集することも、何通りにも取れる台詞なら3つの訳から選ぶこともできます。吹き替えのレンダリングは、そのあとで行われます。
Familiarはどの言語に対応していますか?
吹き替えは30言語で、どの言語からどの言語へも出せます。映像は99の元言語のどれからでも入れられます。
参考資料
マルチモーダル翻訳
Familiar Labsは、マルチモーダル・ローカライゼーション意思決定モデル(MLDM)で次世代の吹き替えを手がけています。MLDMは、マルチモーダル翻訳のための初の基盤モデルです。テキスト、音声、映像のすべてにわたって何をローカライズするかをひとつのモデルが判断し、選択肢をあなたに示します。あなたの声と口元を、新しい言語へ。博士を擁する8人のチームを、Samsung、RedBird、Gold Houseが支援しています。 私たちのミッション
