НАША МИССИЯ

Мы существуем, чтобы сломать любой барьер на пути к взаимопониманию.

01История

Откуда всё началось.

Наш CEO, Andrew Liu, пришёл в школу, где не мог заговорить с одноклассниками по-английски. Он был единственным азиатом во всей школе. Друзей у него не было. Язык он выучил по телевизору: именно с экрана английский наконец до него дошёл. Это осталось с ним навсегда.

Поэтому и существует Familiar Labs: чтобы то, что идёт на экране, доходило до каждого на понятном ему языке.

Мы не заменяем артистов. Мы их переводим.

02Грань

Сохранить человека.

К 2030 году индустрия развлечений вырастет до $4,2 трлн.

PwC, Global Entertainment & Media Outlook 2026–2030.

Её будущее идёт по тонкой грани между массовым производством и искусством, и Familiar Labs на стороне искусства: мы сохраняем человеческую игру и сопереживание, которое она несёт.

ИскусствоЧТО ТАКОЕ ИСКУССТВО

Усилие и творчество, вместе или по отдельности.

ИИ может создавать искусство в своей нише, той, что уже принадлежит анимации: романы, манга и манхва, перенесённые на экран, без личности реального актёра. Но когда ИИ тянется к фотореализму, чтобы подменить актёра, который сыграл бы эту роль, результат кажется пустым, потому что зритель пришёл ради человека.

Мы хотим, чтобы пели и читали рэп люди.

Песня рождается из прожитой жизни. Даже если слова написал кто-то другой, исполнитель их по-своему проживает, и именно это мы чувствуем. Полностью сгенерированная песня уместна там, где никто особо не вслушивается: в рекламе, в фоновой музыке магазина.
03Почему молодые

Самой молодой аудитории нужно настоящее.

У поколения Z самый тонкий вкус из всех аудиторий. Они следят за авторами ради их настоящей личности и смотрят на живых людей.

СТРИМЕРЫ
СПОРТ
НОВОСТИ
ВЕДУЩИЕ ШОПИНГ-ЭФИРОВ

Нам нужна связь с человеком: его характер, его изюминка, которую не объяснишь словами. Люди сопереживают людям, и сопереживание падает, как только знаешь, что это ИИ.

04Исполнители

Актёры и певцы останутся людьми. По большей части.

Даже через десятилетия кино, сериалы и музыка без живого исполнителя останутся в меньшинстве. Зачем ИИ заменять артистов, которые проживают свои роли?

ПЕРВЫЙ ПЛАН ОСТАЁТСЯ ЗА ЛЮДЬМИ
Исполнителем мы называем того, кто держит наше внимание: актёра, певца, гитариста, чей рифф ведёт песню.
ЗАДНИЙ ПЛАН УХОДИТ ИИ
CGI, визуальные эффекты и, скорее всего, массовка, когда качество позволит. Это производство, и это нормально.
ИСКУССТВО, СОЗДАННОЕ С ИИ
ИИ создаст и по-настоящему великие работы, с большим трудом и большой фантазией. Мы им рады.
ВОТ ТАКАЯ СЦЕНА
“Если я знаю, что это ИИ, я не могу чувствовать то же самое.”
Andrew Liu | CEO

Допустим, однажды ИИ дотянется до такого качества. Сопереживания всё равно не будет: человеческой связи и желания поддержать тех, кто это создал.

Финал фильма «Ла-Ла Ленд» (2016), с 7:47

Большая часть того, что мы выбираем поддерживать, всё равно будет человеческой. Сопереживание человеку не назовёшь предубеждением, которое пройдёт: так мы живём, любим и говорим.

05Стена

Язык всегда был стеной между людьми.

  • Родитель, который не может поговорить с учителем своего ребёнка.

  • Пациент, который не может описать свои симптомы.

  • Свидетель, которого не понимают в зале суда, где всё идёт на чужом языке.

06Что это

MLFM берёт на себя рутину.

ПЕРВАЯ ФУНДАМЕНТАЛЬНАЯ МОДЕЛЬ ДЛЯ МУЛЬТИМОДАЛЬНОГО ПЕРЕВОДА
  • Твоё видео, твой голос, твоё лицо. Ничего не выдумано.
  • Никаких промптов. Ничего нового не генерируется наугад.
  • Все данные, на которых мы обучали модель, создала сама команда Familiar Labs.

Одна модель решает, что локализовать и как, в тексте, аудио и видео, и показывает тебе варианты там, где выбор важен. Сначала перевод, затем весь дубляж за один проход: голос, губы и сцена вместе. Решения согласуются между собой, потому что их принимает одна модель. Человек остаётся собой.

Не «генеративный ИИ», а перевод в помощь творцам.

Мы ещё один инструмент в творческом процессе.

ПЕРЕВОД

Какой вариант перевода выбрать.

СЕГОДНЯ
  • Взвешиваются несколько вариантов перевода; твои креативные директора видят их с обоснованием и выбирают сами.
  • Что не переводить: сленг остаётся как есть, имя и бренд сохраняются.
  • Отсылка заменяется на знакомую зрителю, обходится то, чего избегают в этой культуре, ненормативная лексика смягчается для более юной аудитории.
АУДИО

Что вообще переводить.

СЕГОДНЯ
  • Главный голос найден и переведён голосом самого говорящего.
  • Смех, толпа, крик, говорящий, которого не разобрать: всё остаётся как было.
В РАЗРАБОТКЕ
  • Кричалка, возглас или фраза на языке оригинала.
ВИДЕО

Что локализовать в кадре.

СЕГОДНЯ
  • Кто на самом деле это говорит: кто рассказчик, кто говорит из-за кадра.
  • Губы с учётом окклюзий и пространственного мышления.
  • Мимика и жесты, когда этого требует подача или культура.
В РАЗРАБОТКЕ
  • Текст в кадре: экран телефона, обложка книги, уличный указатель, вывеска магазина, в уже выбранных тобой формулировках.
  • Что оставить как снято, модель решает на ходу: пачка Tostitos останется Tostitos.
  • Какому лицу принадлежит реплика и какой текст переводить.
07Точка старта

Мы начинаем там, где стена обходится дороже всего: с видео.

74%пользователей интернета не говорят по-английски

Человеческий дубляж недоступен большей части мира: даже крупнейшие проекты дублируют лишь на несколько языков из-за стоимости, нехватки людей и времени. Небольшие проекты, шоу и вертикальные сериалы не дублируют вообще.

Доказано на практике: международные каналы Veritasium, 3Blue1Brown и Welch Labs годами вела компания, которую возглавлял наш CTO.

▚ ЗА ОДИН ПРОХОД, А НЕ ЗА НЕДЕЛИ ▞

FAMILIAR LABS · ЗА ОДИН ПРОХОД
Familiar LabsFamiliar Labs
ВСПОМОГАТЕЛЬНЫЙ ВИЗУАЛЬНЫЙ ДУБЛЯЖ · НЕДЕЛИ
FlawlessFlawless
ИНСТРУМЕНТЫ ЗА ОДИН ПРОХОД · БЕЗ КОНТРОЛЯ
HeyGenHeyGenElevenLabsElevenLabs

Вспомогательным инструментам, которыми индустрия пользуется сегодня, нужны команда VFX-художников и недели на каждый проект, а каждый язык становится новым проектом.

ЗАГРУЗКА
FAMILIAR LABS · ЗА ОДИН ПРОХОДОдна загрузка, и готовы все языки.
ВСПОМОГАТЕЛЬНЫЙ ВИЗУАЛЬНЫЙ ДУБЛЯЖ · НЕДЕЛИМастер-файл и дублированная аудиодорожка на каждый язык, а затем недели работы над VFX.
ИНСТРУМЕНТЫ ЗА ОДИН ПРОХОД · БЕЗ КОНТРОЛЯОдна загрузка, а дальше что выйдет, то и получишь.Очень низкое качество.Перевод никак не проверить.
ПЕРЕВОД
FAMILIAR LABS · ЗА ОДИН ПРОХОДЕго проверяют твои креативные директора ещё до дубляжа; реплика, которую можно понять по-разному, приходит в трёх вариантах.
ВСПОМОГАТЕЛЬНЫЙ ВИЗУАЛЬНЫЙ ДУБЛЯЖ · НЕДЕЛИГотов ещё до запуска инструмента: он уже в дублированной дорожке, которую ты приносишь.
ИНСТРУМЕНТЫ ЗА ОДИН ПРОХОД · БЕЗ КОНТРОЛЯВ текущей модели его можно править только через Enterprise API; редактор, где это возможно, работает на старой модели, которая находится в режиме поддержки.
ЗВУК
FAMILIAR LABS · ЗА ОДИН ПРОХОДСобственный голос говорящего; музыка, смех и атмосфера помещения остаются.
ВСПОМОГАТЕЛЬНЫЙ ВИЗУАЛЬНЫЙ ДУБЛЯЖ · НЕДЕЛИРовно то, что есть в твоей дублированной дорожке.
ИНСТРУМЕНТЫ ЗА ОДИН ПРОХОД · БЕЗ КОНТРОЛЯГолос теряет сходство с говорящим; музыка и фоновая атмосфера пропадают.
КТО ГОВОРИТ
FAMILIAR LABS · ЗА ОДИН ПРОХОДМодель сама решает, кто в кадре это говорит.
ВСПОМОГАТЕЛЬНЫЙ ВИЗУАЛЬНЫЙ ДУБЛЯЖ · НЕДЕЛИХудожники вырезают каждое лицо из каждого кадра и решают вручную.
ИНСТРУМЕНТЫ ЗА ОДИН ПРОХОД · БЕЗ КОНТРОЛЯЛипсинк угадывает; когда в кадре несколько человек, двигаются не те губы.
СЛОЖНЫЕ ПЛАНЫ
FAMILIAR LABS · ЗА ОДИН ПРОХОДРуки, микрофоны, быстрое движение, размытие, несколько голосов: окклюзии и пространственное мышление за тот же один проход.
ВСПОМОГАТЕЛЬНЫЙ ВИЗУАЛЬНЫЙ ДУБЛЯЖ · НЕДЕЛИКаждый исправляют вручную перед проверкой.
ИНСТРУМЕНТЫ ЗА ОДИН ПРОХОД · БЕЗ КОНТРОЛЯРука перед лицом, микрофон, размытие, боке, боковой ракурс: липсинк ломается.

Инструменты, которые уже сегодня работают за один проход, жертвуют всем остальным: перевод нельзя отредактировать, музыка и атмосфера помещения пропадают, голос теряет сходство с говорящим, а губы сбиваются, стоит появиться руке перед лицом, микрофону, размытию, боке, боковому ракурсу или нескольким людям в кадре. Ни пространственного мышления, ни понимания мира, ни контроля.

Familiar Labs против Flawless TrueSync →
08Наша роль
++
От человека к человеку, а охват всё шире.

Мы переносим игру человека на каждый язык: его голос, его лицо, крики и шёпот остаются нетронутыми.

Мы никогда не генерируем человека. Мы никогда не заменяем актёра.

  1. СЕГОДНЯ

    Дубляж на 13 языков.

  2. В РАЗРАБОТКЕ

    Прямые трансляции: спорт, новости, стримы.

  3. ПОЗЖЕ

    Двусторонний перевод: на встречах и вживую.

Исследователи, которые могли создавать новых людей, выбрали переносить настоящих.

09Песни

Дубляж, а не генерация.

Мы полная противоположность генерации музыки с помощью ИИ. Мы против того, чтобы заменять людей. Вот для чего нужен ИИ: чтобы люди разных культур понимали одну и ту же песню.

Наш CEO, Andrew Liu, аудиофил и музыкант: фортепиано, виолончель, бас-гитара. Мама делится с ним своими песнями и поёт их ему. Он немного понимает по-китайски, но в песне слова от него ускользают. Наши родители и близкие любят песни, которые мы не понимаем, а мы любим английские песни, которых не понимают они. Song Dubbing переносит песни в обе стороны: их песни к нам, а наши к ним, на корейский и китайский, чтобы и они понимали и слушали. Вся команда любит петь и ходить в караоке. Мы все хотим понимать слова песен, которые слушаем.

Хочу добавить эти переведённые песни к себе в плейлист.
Jaeseok Jeong | Ведущий исследователь

Song DubbingПЕРВЫЙ НАСТОЯЩИЙ ДУБЛЯЖ ПЕСЕН

Знакомая тебе песня голосом того же исполнителя, на другом языке. До сих пор песня попадала на другой язык, только если её пели заново: сам артист, другой певец или новый вокал, сделанный специально для неё. Здесь ничего не перепевают: переносится оригинальное исполнение.

Для звукозаписывающих лейблов и их артистов, альбом за альбомом, как индивидуальный сервис с полным сопровождением. Каждую строку переводят так, чтобы её можно было спеть, сохраняя слоги, рифмы, флоу и смысл, и артист утверждает текст на каждом языке до любого релиза.

10Почему Канада

Из Канады, для всего мира.

Familiar Labs работает в Торонто вместе с друзьями по всему ЕС и миру. Корни подталкивают нас ломать языковые барьеры везде, вплоть до самых нишевых языков.

СЕГОДНЯ

13 языков, с любого на любой.

  • английский
  • арабский
  • испанский (Латинская Америка)
  • итальянский
  • китайский
  • корейский
  • немецкий
  • португальский (Бразилия)
  • русский
  • тайский
  • французский (Франция)
  • хинди
  • японский
В ПЛАНАХ
Квебекский французский.
В ПЛАНАХ
Языки коренных народов Канады.

Тимминс, север Онтарио.

Здесь вырос наш CEO, в начальной школе, где учились белые дети и дети Первых наций. Его друзья были из смешанных семей или из Первых наций, из общин, о которых слишком часто забывают, как и об их языках. На севере Онтарио весело.

Наше видение: мир, в котором понимают каждого человека.

11Ценности

Мы против ИИ-мусора и дипфейков.

За человека, против синтетики.

Твой собственный голос и лицо.

Против мусора, только с согласия.

Переводим, а не подменяем. Согласие и происхождение зафиксированы для каждого материала.

Доказано на практике, а не в теории.

Опубликованные бенчмарки против ElevenLabs, YouTube и переводчиков-людей, на одних и тех же роликах.

Контроль уже встроен.

Проверка перед релизом по умолчанию; названия брендов и термины остаются точно такими, как написаны.

БЕЗ ДИПФЕЙКОВТОЛЬКО ПЕРЕВОД
▚ КОМАНДА ▞

Исследовано и создано с

Andrew Liu
Andrew LiuCEOСОГЛАСУЕТ ДОСТУП
Jibin Song
Jibin SongГлавный научный сотрудникВТОРОЙ ХРАНИТЕЛЬ КЛЮЧЕЙ | СОГЛАСУЕТ ИЗМЕНЕНИЯ
Mingi Kwon
Mingi KwonCTOОТВЕТСТВЕННЫЙ ЗА БЕЗОПАСНОСТЬ | ХРАНИТЕЛЬ КЛЮЧЕЙ | ОТВЕТСТВЕННЫЙ ЗА УДАЛЕНИЕ
Google Scholar ↗
Jaeseok Jeong
Jaeseok JeongВедущий исследовательОТВЕТСТВЕННЫЙ ЗА КОНТЕНТ
Google Scholar ↗
Michael Chan
Michael ChanCBOОТВЕТСТВЕННЫЙ ЗА ИНЦИДЕНТЫ
Taehwan Lee
Taehwan LeeMember of Technical Staff
Tonghyun Lee
Tonghyun LeeMember of Technical Staff
Prof. Xu Zheng
Prof. Xu ZhengСоветник
Prof. Youngjung Uh
Prof. Youngjung UhСоветник
Google Scholar ↗
▚ ИССЛЕДОВАНИЯ ▞
Совместная аудиовизуальная генерация

Голос и лицо из одной модели, и они в принципе не могут разойтись: этому направлению мы положили начало работой JAM-Flow.

Анимация людей в реальном времени

Самые реалистичные люди в реальном времени на сегодня: SoulX-LiveAct анимирует человека с частотой 20 кадров в секунду, стабильно в течение часа.

Быстрая генерация видео

Дистилляция, guidance и сэмплирование: исследования, которые делают диффузионные модели достаточно быстрыми для работы в реальном времени.

Редактирование внутри диффузионных моделей

Редактирование внутри замороженных диффузионных моделей: от открытия h-space до управления стилем и удаления текста из кадра.

Мультимодальное восприятие

Сначала прочитать сцену, потом править: кто сейчас говорит, по картинке и звуку вместе, в любой обстановке.

С 2021 года у нас более 10 000 цитирований и свыше 100 статей на ICLR, NeurIPS, CVPR, ECCV и других конференциях.

ПРИ ПОДДЕРЖКЕ

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo