要旨
2つの動詞
生成AIは、新しいものを作るのに優れた道具です。プロンプトを入れると新しいコンテンツが出てきて、その結果が新しいことにこそ意味があります。翻訳がめざすのは、その正反対です。
翻訳もうひとつの動詞
生成する
- 入力： プロンプト
- 出力： 新しいコンテンツ
- 評価の基準： 結果がどれだけ新しく、よくできているか
翻訳する
- 入力： 完成した演技
- 出力： 別の言語で、同じ演技
- 評価の基準： 元の作品にどれだけ忠実か
人でも機械でも、翻訳者は、どれだけ作り出さずにいられるかで評価されます。
残るもの、変わるもの
新しい言語の声は、クリップそのものから取った俳優本人の声です。名前や決め台詞は「翻訳しないリスト」によって言ったまま残り、ジョークは対象の言語で伝わるように書き直されます。
リップシンクが翻訳の一部である理由
声だけの吹き替えでは、そのずれがすべてのフレームに残ります。口はある言語を話し、音声は別の言語を話すので、内容が頭に入りにくくなります。つまり、口もメッセージの一部なのです。演技を翻訳するとは、言葉と一緒に口元も翻訳することです。だからFamiliarの吹き替えでは、口元が新しい言葉に合わせて動きます（よくある質問「リップシンクはなぜ重要なのですか？」）。
公開前に、クリエイティブディレクターがレビュー
何通りにも取れる台詞があります。ジョーク、皮肉、本気とも冷めたようにも読める一言。そうした台詞は、意図と感情の異なる3つの訳になって返ってきます。言ったまま残すスラングや、年少向けの版で控えめにした汚い言葉も同じです。チームはひとつを選び、元の台詞と見比べてどの行でも編集し、そのうえで初めてレンダリングを始めます。
面倒な作業は、MLDMに。
吹き替えの面倒な作業とは、どの声にするか、口元をどう合わせるかを、すべての言語のすべての台詞で決めていくことです。MLDMがそれを判断し、すべての判断を吹き替えごとに記録するので、あなたのチームはどれでも上書きできます。開発中なのは、チャントや掛け声など、どの音を元の言語のまま残すか、そしてどの顔や映像の中の文字を訳すかを選ぶことです。どのジョークが伝わるか、どのトーンが合うか、どの名前を残すか。吹き替えの良し悪しを決める選択は、作品を作った人たちの手に残ります。
私たちは、創作のプロセスで使われるツールのひとつです。
よくある質問
Familiarは生成AIですか？
いいえ。Familiarは、マルチモーダル・ローカライゼーション意思決定モデル（MLDM）です。すでにあるものをどうローカライズするかを判断し、プロンプトはありません。あなたの動画を入れると、同じパフォーマンスが別の言語で出てきます。学習に使ったデータは、すべてFamiliarのチームが自ら作ったものです。私たちは、創作のプロセスで使われるツールのひとつです。
音楽や効果音はどうなりますか？
そのまま残ります。笑い声、音楽と低音、効果音、空気感が、新しい台詞の下にそのまま残ります。
翻訳を直せますか？
はい。どの動画もレビュー画面で一旦停止し、レンダリングの前に、元の台詞と見比べながらどの行でも編集できます。
参考資料
マルチモーダル翻訳
Familiar Labsは、マルチモーダル・ローカライゼーション意思決定モデル（MLDM）で次世代の吹き替えを手がけています。MLDMは、マルチモーダル翻訳のための初の基盤モデルです。テキスト、音声、映像のすべてにわたって何をローカライズするかをひとつのモデルが判断し、選択肢をあなたに示します。あなたの声と口元を、新しい言語へ。博士を擁する8人のチームを、Samsung、RedBird、Gold Houseが支援しています。 私たちのミッション