ワークフロー

創作のプロセスで使う、もうひとつのツール

FAMILIAR 研究更新日 記事一覧
他の言語で読むEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

要旨

吹き替えは、小さな創作上の判断の積み重ねです。どの名前を言ったまま残すか、ジョークを日本語でどう伝えるか、皮肉を冷たく響かせるか、おどけて響かせるか。Familiarは、マルチモーダル翻訳のための初の基盤モデルであり、新たなパラダイム、これまでにない、初めてのモデルであるマルチモーダル・ローカライゼーション意思決定モデル（MLDM）です。そうした判断はひとつ残らずあなたのチームに委ね、その周りの繰り返し作業を引き受けます。すべての台詞を話し手本人の声で30言語に訳し、口元を合わせ、シーンの音を残し、ファイル一式にまとめます。
初のマルチモーダル翻訳基盤モデル

ルールは一度決めるだけ

台詞の1行目を訳す前から、すべての翻訳を方向づけるものが2つあります。どちらも、コンソールまたはAPIから、クリエイターごと、動画ごとにチームが設定します：

「翻訳しないリスト」
その役割決め台詞、名前、ブランド、スラングを、どの言語でも言ったまま残します。ホストおなじみの掛け声、仲間うちのあだ名、ゲームのキャラクター名など。
コンテキスト
その役割そのチャンネルや動画が何なのかを1文で。画面に映るのは誰か、どんな種類の動画か。料理番組と法廷ドラマでは、同じ文でも訳し方が変わります。

範囲の狭い設定が優先されます。1本の動画に設けたルールは、その動画に限ってクリエイターのデフォルトを上書きします。

伝わる1行を選ぶ

何通りにも取れる台詞があります。ダジャレ、皮肉、俳優の表情しだいで本気にも嫌味にも読める一言。そうした台詞では、翻訳が3つの選択肢になって返ってきて、それぞれに意図と感情のタグが付きます。ダジャレを残して照れくさく、素直な意味で真剣に、新しいジョークで遊び心たっぷりに。クリエイティブディレクターはその中からひとつを選びます。スラングを言ったまま残したり、年少向けの版で汚い言葉を控えめにしたりするのと同じ要領です。登場人物が何を言いたかったのか。それを決めるのは、あなたです。

元の台詞と見比べて編集する

訳したすべての行が元の行と並んで表示されるので、両方の言語がわかるレビュー担当者は、レンダリングの前にどの行でも書き直せます。コンソールでは、どの動画もそのレビュー画面で一旦停止し、チームが承認するまで何もレンダリングされません。流れを信頼しているチームは、この停止を省けます。APIでは同じ関門がひとつの設定で、レビュー担当者が確認を終えた言語から順にリリースすることもできます。

返ってくるファイル

どの言語も、編集室にもアップロードの順番待ちにも、そのまま回せる形で届きます：

完成した映像

最大4K

フルミックス

ディスクリート5.1chサラウンドかステレオ

お好きな方を、24ビットPCM WAVで。ご自身でミックスするための声だけのトラックも付きます。

字幕

.srtと.vtt

レビュー済みの書き起こしから作るので、吹き替えの台詞と一致します。NetflixのTimed Text Style Guide（字幕スタイルガイド）の慣例に沿って区切ります。

タイトルと説明

翻訳済み

リンク、@ハンドル、プロモーションコードは書かれたまま残します。

吹き替えは、どこに投稿しても構いません。

誰が何を決めるのか

創作上の判断は、すべてあなたのチームのもの。誰もやりたがらない、30回繰り返す作業はMLDMが引き受けます。

あなたのチーム

  • 決して変えない名前とフレーズ。
  • コンテキスト。
  • ジョークの3つの訳のうち、どれにするか。
  • 手で書き直す行。
  • その言語を公開するタイミング。

MLDM

  • すべての言語で、各行の訳文を起こす。
  • それを話し手本人の声で吹き替える。
  • 口元を新しい言葉に合わせる。
  • 笑い声、音楽、部屋の響きをそのまま運ぶ。
  • 字幕とメタデータを作る。

MLDMが下すすべての判断は、吹き替えごとに記録され、どれでも上書きできます。現在は、翻訳の選択肢を確認できます。どの音を元の言語のまま残すか、話しているのはどの顔か、映像の中のどの文字をすでに選んだ訳語で訳すかを選ぶ機能は、開発中です。

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

面倒な作業は、MLDMに。

私たちは、創作のプロセスで使われるツールのひとつです。

MLDMは、1行また1行、1言語また1言語と続く繰り返しを引き受けます。今日、高品質を実現する道では、その作業を支援型のツールと、VFXアーティストのチームと、プロジェクトごとに数週間をかけてこなし、言語が変われば、また新しいプロジェクトです。一度で仕上げる今のツールは、速い代わりにそれ以外を手放し、制御もできません。出てきたものを受け取るだけです。Familiarは、一度で、しかも品質を保ちます。トーン、ユーモア、意味についての判断は作品を作った人たちの手に残り、その判断を下す場所がレビュー画面です。

++
学習に使ったデータは、すべてFamiliarのチームが自ら作ったものです。

「生成AI」ではなく、クリエイターの力になる翻訳。

プロンプトはありません。新しいものは何も作り出しません。従来の意味での生成AIは、プロンプトから新しいコンテンツを作り出します。新しいものを作るには優れたやり方です。吹き替えに必要なのは、その逆です。あなたの動画を入れると、同じ俳優、同じ演技、同じタイミングのまま、別の言語で出てきます。Familiarは、マルチモーダル翻訳ツールです。このレーンを選ぶ理由を、CEOが語ります：人から人へ、AIからAIへではなく。

よくある質問

翻訳を直せますか？

いつでも直せます。どの動画もレビュー画面で一旦停止し、レンダリングの前にどの行でも編集できます。「翻訳しないリスト」とコンテキストは、最初の訳文を起こす前から適用されます。

決め台詞や名前は残りますか？

あなたが言ったとおりに残ります。決め台詞、仲間の名前、おなじみの掛け声などを「翻訳しないリスト」に登録しておけます。ジョークは対象の言語で伝わるように書き直し、何通りにも取れる台詞は3つの選択肢になって返ってくるので、チームがその中から選べます。

Familiarはプロンプトから新しいコンテンツを書くのですか？

いいえ。プロンプトはありません。あなたの動画を入れると、同じ演技が別の言語で出てきます。その過程での創作上の選択は、すべてあなたのチームのものです。

参考資料

  1. [1]Netflix, Timed Text Style Guide: Subtitle Templates（2026年10月30日に参照）
  2. [2]Familiar よくある質問
  3. [3]Familiar API：クリエイター、翻訳しないリスト、コンテキスト
  4. [4]Familiar API：コンテキスト
  5. [5]Familiar API：翻訳しないリスト
  6. [6]Familiar API：書き起こしとレビュー
  7. [7]Familiar API：出力
  8. [8]Familiar API：翻訳されたタイトルと説明

マルチモーダル翻訳

Familiar Labsは、マルチモーダル・ローカライゼーション意思決定モデル（MLDM）で次世代の吹き替えを手がけています。MLDMは、マルチモーダル翻訳のための初の基盤モデルです。テキスト、音声、映像のすべてにわたって何をローカライズするかをひとつのモデルが判断し、選択肢をあなたに示します。あなたの声と口元を、新しい言語へ。博士を擁する8人のチームを、Samsung、RedBird、Gold Houseが支援しています。 私たちのミッション

ベンチマークの全結果を見る →チームに相談