Вопросы
Дубляж нового поколения: твой голос и губы, перенесённые на новые языки; склейка ElevenLabs и HeyGen вручную всё равно звучит и выглядит как чужой человек. И это больше, чем ИИ-липсинк: на новом языке играет всё лицо, с учётом окклюзий и пространственного мышления.
В нашем опубликованном бенчмарке:
- у его новейшего продукта на 270% больше ошибок в фоновом звуке: в смехе, музыке, атмосфере
- на 54,7% меньше серьёзных ошибок перевода, чем его новейший продукт
- на его Dubbing v1 наш голос звучал на 27,8% ближе к настоящему голосу человека, причём на всех 11 языках
На тех же роликах ElevenLabs:
- 45 раз пропускал или выдумывал слова
- 8 раз ломал смех и звуковые эффекты
- 6 раз терял голос говорящего
- 6 раз смешивал голоса при одновременной речи
- 4 раза делал подачу плоской
- 4 раза вырезал фоновые звуки сцены
- его API не принимает ролики короче 11 секунд
Если склеивать самому, выходит $11 за минуту: $8 за липсинк от Sync.so плюс $3 за звук от ElevenLabs. Дубляж Familiar Labs включает голос, липсинк и перевод, до 4K и с настоящим объёмным звуком 5.1 или стерео.
MLFM: первая фундаментальная модель для мультимодального перевода, новая парадигма, первая в своём роде. Одна модель решает, что и как локализовать в тексте, аудио и видео, и показывает тебе варианты там, где выбор важен. Сначала перевод, затем весь дубляж за один проход: голос, губы и сцена вместе.
- В переводе: какой вариант передаст шутку, историю или реплику в диалоге (что не переводить, сленг как есть, имя и бренд без изменений, замена отсылки, то, чего избегают в этой культуре, уровень ненормативной лексики для аудитории). Твои креативные директора видят варианты с обоснованием и выбирают.
- В аудио: что вообще переводить. Модель находит главный голос, а смех, толпу и крик оставляет такими, как были; выбор того, что останется на языке оригинала, в разработке.
- В видео: кто в кадре это говорит, кто рассказчик, кто за кадром; губы с учётом окклюзий и пространственного мышления; мимика и жесты, когда этого требует подача. Текст в кадре в разработке: модель на ходу решит, что оставить как снято (бренд, имя, сленг), так что пачка Tostitos останется Tostitos; вместе с этим появится выбор лица и того, какой текст переводить.
Каждое решение записывается в задачу дубляжа, и его можно изменить. Никакого промпта, ничего не выдумывается: модель решает, как локализовать то, что уже есть.

