コントロール

判断の記録:クリエイティブディレクターはMLDMをどう導くか

FAMILIAR 研究更新日 記事一覧

要旨

MLDMは、マルチモーダル翻訳のための初の基盤モデルであり、新たなパラダイム、これまでにない、初めてのモデルです。MLDMが下すすべての判断は、吹き替えとともに記録されます。あなたはそれを確認し、上書きし、選択を次のエピソードへ残せます。翻訳の判断は現在レビューでき、音声と映像の判断は開発中です。
初のマルチモーダル翻訳基盤モデル

現在、あなたが方向づけられる判断

  1. 01

    まず、翻訳が返ってきます。

  2. 02

    何通りにも取れる台詞では、レビューの段階で、意図と感情の異なる3つの訳が、それぞれの理由とともに返ってきます。

  3. 03

    クリエイティブディレクターがひとつを選ぶか、自分で書いてから、レンダリングします。

同じレビューで、ローカライゼーション上の判断も扱います。まず何を訳さないか。スラングは言ったまま、名前もブランド名もそのまま、視聴者になじみのあるネタへの差し替え、その文化が避ける表現、年少向けの版での汚い言葉の抑え方。

ダジャレ、韓国語から英語へ

「사과하려고 사과 사 왔어.」は、사과が「謝罪」と「りんご」の両方を意味することにかかっています。返ってくる訳は3つです:

  • "Apples. I'm sorry, right down to the core." ダジャレを残した訳。
  • "I came to say sorry. I brought apples." 意味だけを伝える訳。
  • "An apple a day keeps the silent treatment away." 新しいジョーク。

クリエイティブディレクターは1つ目を選び、手を加えました。

皮肉、中国語から英語へ

「你可真行啊。」は、シーンによって褒め言葉にも皮肉にも読めます:

  • "Wow. You're incredible." 本気の称賛。
  • "Well, aren't you something." 皮肉。選ばれたのはこれ。
  • "Look at you, hotshot." からかい。

ポッドキャスト、1話のエピソード、映画1本には、こうした箇所がいくつも含まれます。ジョーク、会話、物語。

音声の判断

MLDMは、そもそも何を翻訳するかを判断します。メインの声を見つけ、話し手本人の声のまま新しい言語へ運び、それ以外は元のまま残します。音声の中の微妙な判断をすべてチームに示す機能は、開発中です。

何を元の言語のまま残すか。スタジアムのチャントは韓国語のまま。キッチンの向こうからの叫び声。ファンが知っている決め台詞。誰とも聞き分けられない背後の話し声は元のまま残すか、やはり翻訳するという選択肢として返ってきます。

映像の判断

開発中

実際に話しているのは誰か
記録される内容台詞が聞こえてくる顔、ナレーター、画面の外からの声。
あなたにできることモデルが話し手を取り違えたら、候補の中から顔を選べば、正しい人の口が動きます。
映像の中の文字
記録される内容「내일 봐」と表示されたスマホの画面、道路標識、店の看板、そしてその場で撮影したまま残したもの。Tostitosの袋のブランド、名前。
あなたにできることどの項目も、すでに選んだ訳語で"See you tomorrow"のように書き換えるか、撮影したまま残します。
表情としぐさ
記録される内容新しい台詞の強調や、その文化に合わせて動きます。
あなたにできること新しい視聴者には別の意味に取られる眉の上げ方は、撮影したまま残せます。

吹き替えとともに記録

この記録こそが、MLDMを新たなパラダイム、これまでにない、初めてのモデルにしています。自らの判断を示すモデルです。

++
開発中の判断の記録は、すべての判断を、その選択肢、理由、選ばれた内容、そして誰が選んだか(モデル、あなた、または記憶)とともに保持します。

記録はレビュー中は開いていて、レンダリングの時点で確定します。納品済みの吹き替えで判断を変えたら、もう一度レンダリングします。レンダリングし直すのは、その判断が関わる言語だけです。review=autoでレンダリングした吹き替えも、モデルの選択とともに記録を残します。吹き替えそのものは、それらの判断から一度で作られます。声と口元とシーンを、まとめて。一度で仕上げる今のツールは逆で、一度アップロードしたら、出てきたものを受け取るだけです。高品質を実現する道は、代わりに手作業でコントロールを保ちます。支援型ツールと、VFXアーティストのチームと、プロジェクトごとに数週間で。Familiarは、一度で、しかも品質を保ちます。

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

一度決めた選択は、次のエピソードへ

  1. 現在

    現在は、2つの常設の判断が使えます。

    「翻訳しないリスト」はフレーズを言ったまま残し、コンテキストは1文の説明を渡します。どちらも吹き替えの前に設定します。記録には、その吹き替え中にモデルが下した判断が残ります。
  2. 開発中

    判断の記憶。

    クリエイター(1つの番組、チャンネル、人物)ごとに上書きを記憶させると、同じ台詞、用語、名前、チャント、看板、顔が再び出てきたとき、次の吹き替えでそれが最初に適用されます。元の言語のまま残した決め台詞は、2度目のレビューなしで第2話にも引き継がれます。

レビュー画面とAPIで

開発中:レビュー画面に判断のレールが加わります。エピソードのタイムラインに判断ごとのマーカーが付き、翻訳、音声、映像で絞り込めます。各カードには、その瞬間、理由付きの選択肢、そしてモデルの選択が強調表示されます。タップひとつで別の選択肢を選ぶ、自分で入力する、元のまま残す、またはこのクリエイター向けに選択を記憶することができます。

APIも同じ記録を返すので、画面で決めた選択はAPIに反映され、その逆も同様です。計画中の仕様は、すべて開発中です:

GET /v1/dubs/{dub_id}/decisions
できること記録を読み取ります。
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
できること判断をひとつ上書きします。
decisions.*
できること新しい吹き替えの設定で、返ってくる訳の数、汚い言葉の度合い、どの判断をあなたに戻すかを決めます。
dub.decisions_ready
できること記録が開いたときに送られるWebhookです。
decisions.json
できること納品するすべての吹き替えに、記録の全体を添えます。

リファレンスは判断に、現在のレビューの手順は書き起こしとレビューにあります。

よくある質問

現在、どの判断を変えられますか?

翻訳の判断です。何通りにも取れる台詞は、それぞれ理由の付いた3つの訳として返ってきます。クリエイティブディレクターがひとつを選ぶか自分で書いてから、レンダリングします。音声と映像の判断は開発中です。

チャントを元の言語のまま残せますか?

その選択は開発中です。スタジアムのチャント、叫び声、決め台詞は、元の言語のまま残せる音声の判断として返ってくるようになり、その選択は次のエピソードにも引き継げます。

モデルが違う顔を選んだら?

別の顔を選ぶ機能は開発中です。台詞は候補の顔とともに返ってくるようになり、正しい話し手を選べば、その人の口が動きます。

選択は次のエピソードに引き継がれますか?

判断の記憶は開発中です。クリエイターごとに記憶した上書きが、次の吹き替えで最初に適用されます。現在は、「翻訳しないリスト」とコンテキストが、設定した吹き替えすべてに引き継がれます。

review=autoでも判断は記録されますか?

はい。計画中の記録では、レビューなしでレンダリングした吹き替えも、すべての判断をモデルの選択とともに残し、レンダリング後に確認できます。ひとつを変えて、もう一度レンダリングできます。

これは生成AIですか?

いいえ。MLDMは新たなパラダイム、これまでにない、初めてのモデルです。プロンプトはなく、新しいものは何も作り出しません。すでにあるものをどうローカライズするかを判断し、その判断をあなたに示します。

参考資料

  1. [1]マルチモーダル・ローカライゼーション意思決定モデル(MLDM)とは?
  2. [2]API:判断
  3. [3]API:書き起こしとレビュー

マルチモーダル翻訳

Familiar Labsは、マルチモーダル・ローカライゼーション意思決定モデル(MLDM)で次世代の吹き替えを手がけています。MLDMは、マルチモーダル翻訳のための初の基盤モデルです。テキスト、音声、映像のすべてにわたって何をローカライズするかをひとつのモデルが判断し、選択肢をあなたに示します。あなたの声と口元を、新しい言語へ。博士を擁する8人のチームを、Samsung、RedBird、Gold Houseが支援しています。 私たちのミッション