Мультимодальная локализация в помощь творцам.
Дубляж наконец-то хорош.
Та же игра с Familiar Labs для любой аудитории.
Понятно каждое слово. Вся игра сохранена с Familiar Labs.
- Музыка и звуковые эффекты
- Толпа и смех
- Несколько говорящих
- Пространственное мышление
- До 4K
- Стерео и объёмный 5.1
▚ SONG DUBBING ▞
Музыкальный прорыв.
ЭМОЦИИ. РИТМ. СОХРАНЕНЫ.
Голос и губы самого исполнителя на другом языке. Выпусти свой альбом по всему миру.
С испанского на английский | двухминутный фрагмент
Will Smith, Beautiful Scars | дубляж на испанский
THE RED PILL
VERSE 1 | WILL SMITH
CHORUS | OBANGA & BIG SEAN
VERSE 2 | BIG SEAN
CHORUS | OBANGA & BIG SEAN
VERSE 3 | WILL SMITH
CHORUS | OBANGA
- 01 / 03 | На 0:13
Зубы и губы, трижды
В кадре говорят двое: губы и зубы следуют испанскому и на лице, и на обоих его отражениях в очках.
Дубляж | голос и губы переведены на испанский
Оригинал | английский, тот же кадр - 02 / 03 | На 2:30
Пространственное мышление сквозь «рыбий глаз»
Объектив искажает всё лицо, а рука закрывает лицо на заднем плане; дубляж не сбивается.
Дубляж | голос и губы переведены на испанский
Оригинал | английский, тот же кадр - 03 / 03 | На 3:40
То же размытие в движении
Резкий рывок камеры посреди строчки: рот размыт так же, как весь кадр.
Дубляж | голос и губы переведены на испанский
Оригинал | английский, тот же кадр
Исполнение сохраняется настолько полно, что на другом языке получаются даже песни.
Jibin SongГлавный научный сотрудникКОМАНДА →Поэтому дублируются и песни, где бы они ни звучали:
- Анимационные фильмы
- Детский контент
- Мюзиклы
- Песни в фильмах и сериалах
- Заглавные темы и заставки
- Альбомы и клипы
РОСТ ДОХОДОВ И ОХВАТА.
65%We Don't Talk About Bruno | латиноамериканский испанскийОдна только дублированная версия набрала 426 млн просмотров, это 65% от 656 млн у английского оригинала.
1,13 млрдHow Far I'll Go | бразильский португальскийСтолько просмотров у бразильской версии на YouTube; у английского оригинала 1,54 млрд.
41Отпусти и забудь | языкСамый продаваемый альбом 2014 года. В Японии местная версия поднялась на 2-е место и получила сертификат «Миллион».
66%Pushpa 2 | хиндиДоля дубляжа на хинди в кассовых сборах фильма в Индии; оригинал на телугу собрал 27%.
Каждую из этих песен заново спел местный певец. С Song Dubbing по миру расходится оригинальное исполнение.
Для звукозаписывающих лейблов: свяжись с нами →23×
больше минут просмотра у тайтла с визуальным дубляжом.
ПО СРАВНЕНИЮ С ОБЫЧНЫМ ЗВУКОВЫМ ДУБЛЯЖОМ ТОГО ЖЕ ТАЙТЛА
ПРЕДЕЛ ЧЕЛОВЕЧЕСКОГО ДУБЛЯЖА
- Потеря актёрской подачи
- Не масштабируется
- Дорого
- Нынешний ИИ не дотягивает
▚ ЗА ОДИН ПРОХОД, А НЕ ЗА НЕДЕЛИ ▞
Сначала перевод, затем весь дубляж за один проход:
Flawless
FlawlessВспомогательным инструментам, которыми индустрия пользуется сегодня, нужны команда VFX-художников и недели на каждый проект, а каждый язык становится новым проектом.
Инструменты, которые уже сегодня работают за один проход, жертвуют всем остальным: перевод нельзя отредактировать, музыка и атмосфера помещения пропадают, голос теряет сходство с говорящим, а губы сбиваются, стоит появиться руке перед лицом, микрофону, размытию, боке, боковому ракурсу или нескольким людям в кадре. Ни пространственного мышления, ни понимания мира, ни контроля.
Familiar Labs против Flawless TrueSync →ПРИ ПОДДЕРЖКЕ
Stanford
Yonsei
Не «генеративный ИИ», а перевод в помощь творцам.
От человека к человеку, а не от ИИ к ИИ →«Генеративным ИИ называют раздел искусственного интеллекта, который создаёт оригинальный контент: текст, изображения, видео, аудио и программный код в ответ на промпты пользователей».
MLFM берёт на себя рутину.
Никаких промптов. Ничего нового не генерируется наугад.
От человека к человеку, а охват всё шире.
Все данные, на которых мы обучали модель, создала сама команда Familiar Labs.
Мультимодальная фундаментальная модель для локализации.
Новая парадигма, первая в своём роде.
Одна модель решает, что локализовать и как, в тексте, аудио и видео, и показывает тебе варианты там, где выбор важен.
Какой вариант перевода выбрать.
- Взвешиваются несколько вариантов перевода; твои креативные директора видят их с обоснованием и выбирают сами.
- Что не переводить: сленг остаётся как есть, имя и бренд сохраняются.
- Отсылка заменяется на знакомую зрителю, обходится то, чего избегают в этой культуре, ненормативная лексика смягчается для более юной аудитории.
Что вообще переводить.
- Главный голос найден и переведён голосом самого говорящего.
- Смех, толпа, крик, говорящий, которого не разобрать: всё остаётся как было.
- Кричалка, возглас или фраза на языке оригинала.
Что локализовать в кадре.
- Кто на самом деле это говорит: кто рассказчик, кто говорит из-за кадра.
- Губы с учётом окклюзий и пространственного мышления.
- Мимика и жесты, когда этого требует подача или культура.
- Текст в кадре: экран телефона, обложка книги, уличный указатель, вывеска магазина, в уже выбранных тобой формулировках.
- Что оставить как снято, модель решает на ходу: пачка Tostitos останется Tostitos.
- Какому лицу принадлежит реплика и какой текст переводить.
Каждое решение записывается в задачу дубляжа. Любое из них можно изменить, а выбор, сделанный один раз, переходит в следующую серию.
Что такое MLFM?▚ ТЕСТ НА ОДНИХ И ТЕХ ЖЕ РОЛИКАХ ▞
Бенчмарки
Окклюзии и пространственное мышление: микрофоны у самого рта, руки перед лицом, а дубляж не сбивается.
▚ API ▞
Твоя платформа на любом языке.
review=manualКреативные директора проверяют перед публикацией.
- Реплики, которые можно понять по-разному, будь то шутка или подкол, приходят в трёх переводах с разным посылом и эмоцией.
- Твои креативные директора выбирают один.
- Правят любую строку, сверяясь с оригиналом, и запускают дубляж.
- 1Apples. I'm sorry, right down to the core.Игра слов · смущённо
- 2I came to say sorry. I brought apples.Смысл · искренне
- 3An apple a day keeps the silent treatment away.Новая шутка · игриво
- 1Wow. You're incredible.Искренне · тепло
- 2Well, aren't you something.С сарказмом · сухо
- 3Look at you, hotshot.С подколом · игриво
/v1/dubs/dub_31xk9m/render- ПЕРЕВОД00:12.4seg_12 · 사과하려고 사과 사 왔어.Apples. I'm sorry, right down to the core.I came to say sorry. I brought apples.An apple a day keeps the silent treatment away.Выбор креативного директораEDITED
- АУДИО00:41.2 – 00:44.0Crowd chantKeep in KoreanTranslateИзменить
- ВИДЕО00:58.0Phone screen · 내일 봐See you tomorrowKeep as shotИзменить
- ВИДЕО01:12.6SpeakerSpeaker 1Speaker 2Speaker 3Изменить
/v1/dubs/dub_31xk9m/decisions/ dec_7h2k0bGET /v1/dubs/{dub_id}/decisionsЖурнал решений: смотри и меняй.
Варианты перевода с обоснованием твои креативные директора видят уже сейчас. Решения по аудио и видео в разработке: кричалка на языке оригинала, какому лицу принадлежит реплика, текст на экране телефона.
Изучить документацию →Инференс на своих GPU в Торонто, без публичного облака.
Каждый дубляж обрабатывается на нашем собственном кластере стоимостью в десятки миллионов долларов из GPU NVIDIA B300, лучших на рынке, в Торонто, в Канаде. Твои материалы никогда не обрабатываются в публичном облаке вроде Google Cloud или AWS или у сторонних провайдеров инференса, поэтому утечь им неоткуда.
Изучить документацию →- GPUS
- NVIDIA B300, the best on the market
- CLUSTER
- Eight figures, USD
- LOCATION
- Toronto, Canada
- OPERATOR
- Familiar Labs, on compute we own
- PUBLIC CLOUD
- None
- THIRD-PARTY INFERENCE
- None
Только для корпоративных клиентов: контракт Studio со скидками за объём и выделенной поддержкой 24/7.
▚ ЯЗЫКИ ▞
13 языков, с любого на любой.
Приходи к любой аудитории с собственным голосом и губами.
НА ВХОДЕ И НА ВЫХОДЕ13
- английский
- арабский
- испанский (Латинская Америка)
- итальянский
- китайский
- корейский
- немецкий
- португальский (Бразилия)
- русский
- тайский
- французский (Франция)
- хинди
- японский
▚ БЕЗОПАСНОСТЬ ▞
Запечатано на твоём компьютере. Открывается только в Торонто.
Твои материалы никогда не используются для обучения.
ЗАПЕЧАТАННАЯ ЗАГРУЗКА
Файл шифруется на твоём компьютере, до того как покинет твою сеть, поэтому перехваченный при передаче файл прочитать не получится; готовый дубляж возвращается запечатанным так же.
НАШИ СЕРВЕРЫ В ТОРОНТО
Обработка и хранение на наших собственных вычислительных мощностях в Торонто, в Канаде; без публичного облака и без сторонних провайдеров инференса.
МИНИМАЛЬНЫЕ ПРИВИЛЕГИИ
Ключи расшифровки хранятся у двух назначенных руководителей; никто, кроме наших назначенных ролей по безопасности, не может открыть твои материалы.
УДАЛЕНИЕ ПО ГРАФИКУ
Удаление сразу после возврата дубляжа (нулевое хранение данных), после твоего одобрения или автоматически через 14 дней после сдачи.
УЧАСТНИК TPN+ | MPA CONTENT SECURITY BEST PRACTICES
Для работы со студиями, стримингами и лейблами по контракту.
Вопросы?
Дубляж нового поколения: твой голос и губы, перенесённые на новые языки; склейка ElevenLabs и HeyGen вручную всё равно звучит и выглядит как чужой человек. И это больше, чем ИИ-липсинк: на новом языке играет всё лицо, с учётом окклюзий и пространственного мышления.
В нашем опубликованном бенчмарке:
- у его новейшего продукта на 270% больше ошибок в фоновом звуке: в смехе, музыке, атмосфере
- на 54,7% меньше серьёзных ошибок перевода, чем его новейший продукт
- на его Dubbing v1 наш голос звучал на 27,8% ближе к настоящему голосу человека, причём на всех 11 языках
На тех же роликах ElevenLabs:
- 45 раз пропускал или выдумывал слова
- 8 раз ломал смех и звуковые эффекты
- 6 раз терял голос говорящего
- 6 раз смешивал голоса при одновременной речи
- 4 раза делал подачу плоской
- 4 раза вырезал фоновые звуки сцены
- его API не принимает ролики короче 11 секунд
Если склеивать самому, выходит $11 за минуту: $8 за липсинк от Sync.so плюс $3 за звук от ElevenLabs. Дубляж Familiar Labs включает голос, липсинк и перевод, до 4K и с настоящим объёмным звуком 5.1 или стерео.


