私たちのミッション

理解を阻むあらゆる壁を壊すために、私たちは存在します。

01ストーリー

すべては、ここから始まった。

CEOのAndrew Liuが通うことになった学校で、彼はクラスメートと英語で話せませんでした。学校全体で、アジア人は彼ひとりだけ。友だちは、いませんでした。 彼は、テレビを観て言葉を覚えました。英語がようやく届いた場所は、画面の中でした。その経験は、今も彼の中に残っています。

だからFamiliar Labsは存在します。画面に映るものが、誰にでも、その人がわかる言語で届くように。

アーティストは置き換えない。翻訳する。

02境界線

人を、残す。

エンターテインメントは、2030年までに4.2兆ドル規模の産業になります。

PwC、Global Entertainment & Media Outlook 2026–2030。

その未来は、大量生産とアートを分ける細い線の上にあります。Familiar Labsが立つのは、アートの側。人の演技と、その演技が運ぶ共感を守ります。

アートアートとは

手間と創造性。そのどちらか、あるいは両方。

AIにも、AIならではのレーンでアートは作れます。アニメーションがすでに担ってきたレーンです。小説やマンガ、ウェブトゥーンを映像にする。そこに実在の俳優の素顔はありません。けれど、本来演じるはずだった俳優の代わりにAIがフォトリアルを追い求めると、出来上がるものは空虚に感じられます。観客が観に来たのは、人だからです。

歌うのも、ラップするのも、人であってほしい。

歌は、その人が生きてきた人生から生まれるパフォーマンスです。歌詞が他人のものでも、歌い手はそれを自分なりに解釈する。私たちが感じ取るのは、そこです。誰もじっくり聴かない場所なら、まるごと生成された曲でも構いません。広告や、お店のBGMのように。
03若い世代

いちばん若い観客は、本物を求めている。

Z世代は、これまででいちばん目の肥えた観客です。クリエイターの素顔に惹かれてフォローし、実在の人を観ています。

配信者
スポーツ
ニュース
ショッピングホスト

私たちは、人とのつながりを求めています。その人の個性、言葉にできない魅力。人は人に共感します。そして、AIだと知った瞬間に共感は薄れます。

04演じ手

俳優も歌手も、人のまま。ほとんどは。

何十年先になっても、人が演じていない映画やドラマや音楽は少数派でしょう。役を生きるアーティストを、なぜAIが置き換えるのでしょうか。

前景は、人のまま
演じ手とは、私たちが目を向けている人。俳優、歌手、リフで曲を引っぱるギタリスト。
背景は、AIへ
CG、視覚効果、おそらくエキストラも。仕上がりが十分によくなれば。それは制作の話で、それで構いません。
AIでつくるアート
AIは、本当にすばらしい作品も生み出すでしょう。大きな手間と高い創造性をかけて。歓迎します。
たとえば、こんなシーン
“AIだとわかっていたら、同じようには心が動かない。”
Andrew Liu | CEO

いつかAIがこの質に届いたとしても、共感は欠けたままでしょう。人と人とのつながりも、これを作った人たちを応援したい気持ちも。

『ラ・ラ・ランド』(2016)のラストシーン、7:47から

私たちが選んで応援するものの大半は、これからも人です。人に寄せる共感は、いずれ消える偏見ではありません。私たちの生き方、愛し方、言葉の使い方そのものです。

05壁

言語は、いつの時代も人と人を隔てる壁でした。

  • 子どもの先生と話せない親。

  • 症状を伝えられない患者。

  • 法廷の言語では、話を分かってもらえない証人。

06Familiar Labsとは

面倒な作業は、MLFMに。

初のマルチモーダル翻訳基盤モデル
  • あなたの映像、あなたの声、あなたの顔。新しく作り出すものは何もありません。
  • プロンプトは不要。新しいものをランダムに生成することもありません。
  • 学習に使ったデータは、すべてFamiliar Labsのチームが自ら作ったものです。

テキスト、音声、映像のすべてにわたって、何をどうローカライズするかを判断し、大事な選択肢をあなたに示す、ひとつのモデル。まず翻訳、そのあと吹き替えを一度に。声と口元とシーンを、まとめて仕上げます。ひとつのモデルが判断するから、判断どうしが食い違いません。人物は、本人のまま変わりません。

「生成AI」ではなく、クリエイターの力になる翻訳。

私たちは、創作のプロセスで使われるツールのひとつです。

翻訳

ひとつのセリフを、どの訳にするか。

現在
  • いくつもの訳を比べ、クリエイティブディレクターが理由とともに確認して選びます。
  • 何を訳さないか。スラングは言ったまま、名前もブランド名もそのまま。
  • ネタは視聴者になじみのあるものに差し替え、その文化が避ける表現は避け、年少向けの版では汚い言葉を控えめに。
音声

そもそも何を翻訳するか。

現在
  • メインの声を見つけ、話し手本人の声のまま届けます。
  • 笑い声、観客の声、叫び声、誰とも聞き分けられない話し声は、元のまま残します。
開発中
  • チャント、掛け声、ひと言のフレーズは、元の言語のままに。
映像

画面の上で、何をローカライズするか。

現在
  • 実際に話しているのは誰か。ナレーションは誰か、画面の外から話しているのは誰か。
  • 口元。オクルージョンや空間推論も含めて。
  • 強調や文化が求める場面では、表情やしぐさも。
開発中
  • スマホの画面、本の表紙、道路標識、店の看板など、映像の中の文字を、すでに選んだ訳語で。
  • 撮影したまま残すものは、その場で判断。Tostitosの袋は、Tostitosのまま。
  • そのセリフがどの顔のものか、どの文字を訳すか。
07はじまり

私たちは、この壁がいちばん高くつく場所から始めます。動画です。

74%のインターネットユーザーは英語を話しません

人の手による吹き替えは、世界の大半にとって現実的ではありません。トップクラスの作品でさえ、吹き替えるのは数言語だけ。費用と人手と時間がかかるからです。小規模な作品や番組、ショートドラマは、そもそも吹き替えません。

その裏付けは、私たちのCTOが率いていた会社で、Veritasiumや3Blue1Brown、Welch Labsの国際チャンネルを何年も運営してきた実績です。

▚ 数週間ではなく、一度で ▞

FAMILIAR LABS · 一度で
Familiar LabsFamiliar Labs
支援型ビジュアル吹き替え · 数週間
FlawlessFlawless
一度で仕上げるツール · 制御できない
HeyGenHeyGenElevenLabsElevenLabs

業界で今使われている制作支援ツールは、VFXアーティストのチームと、プロジェクトごとに数週間を必要とします。言語が変われば、また新しいプロジェクトです。

アップロード
FAMILIAR LABS · 一度で一度アップロードすれば、全言語ができあがります。
支援型ビジュアル吹き替え · 数週間マスター素材に、言語ごとの吹き替え音声トラック。そこから数週間のVFX作業。
一度で仕上げるツール · 制御できない一度アップロードしたら、出てきたものを受け取るだけ。品質が非常に低い。翻訳をレビューする手段がない。
翻訳
FAMILIAR LABS · 一度で吹き替えを作る前に、クリエイティブディレクターがレビュー。何通りにも取れる台詞は、3つの訳になって返ってきます。
支援型ビジュアル吹き替え · 数週間ツールにかける前に、持ち込む吹き替えトラックの中で済ませておくもの。
一度で仕上げるツール · 制御できない現行モデルでは、EnterpriseのAPI以外では編集できません。編集できるエディターは旧モデルで、メンテナンスモードにあります。
音
FAMILIAR LABS · 一度で話し手本人の声。音楽も笑い声も部屋の響きも、そのまま残ります。
支援型ビジュアル吹き替え · 数週間持ち込んだ吹き替えトラックに入っているものだけ。
一度で仕上げるツール · 制御できない声は話し手から離れていき、音楽や空気感は消えてしまいます。
誰が話しているか
FAMILIAR LABS · 一度で画面の誰が話しているかは、モデルが判断します。
支援型ビジュアル吹き替え · 数週間アーティストが全フレームの顔を切り出し、手作業で判断します。
一度で仕上げるツール · 制御できないリップシンクは推測頼み。画面に複数の人物がいると、違う人の口が動きます。
難しいショット
FAMILIAR LABS · 一度で手、マイク、速い動き、ボケ、複数の話し声:オクルージョンも空間推論も、同じ一度で。
支援型ビジュアル吹き替え · 数週間どれも、レビューの前に手作業で修正。
一度で仕上げるツール · 制御できない顔にかかった手、マイク、ブレ、ボケ、横顔:リップシンクが破綻します。

一度で仕上げる今のツールは、それ以外のすべてを手放しています。翻訳は編集できず、音楽や部屋の響きは消え、声は本人から離れていきます。顔にかかった手、マイク、ブレ、ボケ、横顔、画面に映る複数の人物があると、口元は破綻します。空間を推論することも、世界を理解することも、制御することもできません。

Familiar LabsとFlawless TrueSyncを比較 →
08私たちの役割
++
人から人へ、より多くの人のもとへ届けます。

人が見せた演技を、声も、顔も、感情があふれる叫びもささやきも、そのままにあらゆる言語へ運びます。

人物を生成しない。俳優を置き換えない。

  1. 現在

    13言語で吹き替え。

  2. 開発中

    生中継:スポーツ、ニュース、配信。

  3. その先

    双方向:会議でも、対面でも。

新しい人間を生成できた研究者たちは、実在の人を運ぶ道を選んだ。

09歌

生成ではなく、吹き替え。

私たちは、音楽生成AIの正反対にいます。人を置き換えることに反対します。AIは、こういうことにこそ使うべきです。文化を越えて、誰もが同じ歌を理解できるように。

私たちのCEO、Andrew Liuはオーディオマニアで、ピアノ、チェロ、ベースを弾くミュージシャンでもあります。母は自分の好きな歌を彼に聴かせ、歌ってくれます。中国語は少し分かるものの、歌になると言葉がすり抜けていく。親や家族が愛する歌を、私たちは聴き取れません。私たちが愛する英語の歌も、家族には分かりません。Song Dubbingは、その両方を届けます。家族の歌を私たちへ。私たちの歌を、韓国語や中国語で家族へ。家族にも分かって、一緒に聴けるように。チームのみんなも、歌うこととカラオケが大好きです。誰だって、聴いている歌の歌詞を理解したいのです。

この翻訳版の曲、プレイリストに入れたいな。
Jaeseok Jeong | プリンシパルリサーチャー

Song Dubbing本当の意味で初めての歌の吹き替え

よく知っているあの歌を、同じ歌い手の声のまま、別の言語で。これまで歌が言語を越えるには、アーティスト本人か別の歌い手が歌い直すか、そのために新しいボーカルを作るしかありませんでした。ここでは歌い直しは一切なく、元のパフォーマンスがそのまま届きます。

レコードレーベルとそのアーティストのために、アルバム単位で、手厚い伴走型のサービスとして。どの一節も歌えるように訳し、音数も韻もフロウも意味も保ちます。リリース前に、すべての言語の歌詞をアーティストが承認します。

10なぜカナダか

カナダ発、そしてグローバル。

Familiar Labsはトロントを拠点に、EUをはじめ世界中の仲間と仕事をしています。そのルーツがあるから、私たちはあらゆる場所で言葉の壁を壊していきます。話す人の少ない言語にまで。

現在

13言語、どの言語からどの言語へも。

  • アラビア語
  • イタリア語
  • スペイン語 (ラテンアメリカ)
  • タイ語
  • ドイツ語
  • ヒンディー語
  • フランス語 (フランス)
  • ポルトガル語 (ブラジル)
  • ロシア語
  • 英語
  • 韓国語
  • 中国語
  • 日本語
ロードマップ
ケベック・フランス語。
ロードマップ
カナダの先住民族の言語。

オンタリオ州北部、ティミンズ。

私たちのCEOは、この町で育ちました。通った小学校には、白人とファースト・ネーションズの子どもたちがいました。友だちは、ミックスルーツの子か、ファースト・ネーションズの子。見過ごされることの多いコミュニティの出身で、その言語もまた、同じように見過ごされてきました。オンタリオ州北部は、楽しいところです。

私たちのビジョン:誰もが理解される世界。

11価値観

私たちは、粗悪なAIコンテンツとディープフェイクに反対します。

合成ではなく、人間のために。

あなた自身の声と顔。

粗悪なAIコンテンツに反対、同意が前提。

置き換えるのではなく、翻訳する。すべてに同意の取得と来歴の記録を。

理屈ではなく、実証。

ElevenLabs、YouTube、人間のプロ翻訳者と、同じクリップで比較したベンチマークを公開しています。

決めるのはあなた、最初から。

公開前のレビューが標準。ブランド名も用語も、書いた通りにそのまま残ります。

ディープフェイクなし翻訳のみ
▚ チーム ▞

研究と開発に込めたのは

Andrew Liu
Andrew LiuCEOアクセス承認者
Jibin Song
Jibin Songチーフサイエンティスト第二鍵管理者 | 変更承認者
Mingi Kwon
Mingi KwonCTOセキュリティ責任者 | 鍵管理者 | 削除承認者
Google Scholar ↗
Jaeseok Jeong
Jaeseok Jeongプリンシパルリサーチャーコンテンツ担当者
Google Scholar ↗
Michael Chan
Michael ChanCBOインシデント対応責任者
Taehwan Lee
Taehwan Leeテクニカルスタッフ
Tonghyun Lee
Tonghyun Leeテクニカルスタッフ
Prof. Xu Zheng
Prof. Xu Zhengアドバイザー
Prof. Youngjung Uh
Prof. Youngjung Uhアドバイザー
Google Scholar ↗
▚ 研究 ▞
音声と映像の同時生成

声と顔がひとつのモデルから生まれるため、本人らしさが途中でずれることはありません。私たちがJAM-Flowで最初に切り拓いた分野です。

リアルタイム人物動画生成

現時点でもっとも本人に忠実なリアルタイム人物動画生成。SoulX-LiveActは毎秒20フレームで人物を動かし、1時間崩れずに持続します。

高速な動画生成

蒸留、ガイダンス、サンプリング。拡散モデルをリアルタイムで動かせる速さにするための研究です。

拡散モデル内部での編集

凍結した拡散モデルの内部で行う編集。h-spaceの発見から、スタイルの制御、テロップの除去まで。

マルチモーダル知覚

編集の前に、まずシーンを読む。どんな環境でも、映像と音声の両方から誰が話しているかを見分けます。

2021年以降、被引用数は10,000を超え、ICLR、NeurIPS、CVPR、ECCVなどで100編以上の論文を発表。

出資元

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo