АННОТАЦИЯ
Мамины песни
Мама поёт мне свои песни, а я их не понимаю.
Я немного понимаю по-китайски, но в песне строка уходит раньше, чем я успеваю её поймать. А я хочу, чтобы мама понимала мои любимые песни.
Слова мы и упускаем
Мы все хотим понимать слова песен, которые слушаем.
Вся наша команда любит караоке, и никто не идёт в караоке слушать, как поёт машина. Узнаешь, что понравившуюся песню не пел ни один человек, и она нравится меньше, как и должно быть (почему я верю, что исполнители останутся людьми).
Поёт всё тот же исполнитель
ГЕНЕРАЦИЯ
- Новая песня и новый голос, созданные по промпту.
- У этого есть своё место там, где никто особо не вслушивается: в рекламе, в фоновой музыке магазина.
ДУБЛЯЖ
- Знакомая песня, тот же исполнитель, та же запись.
- Голос, фразировка, дыхание и эмоция остаются; текст переносится на новый язык.
Песня рождается из прожитой жизни; замени исполнителя, и это уже другая песня. Артист утверждает каждую строку, прежде чем что-либо выйдет.
Для чего нужен ИИ
Дубляж, а не генерация.
До сих пор песня попадала на другой язык, только если её пели заново: сам артист, другой певец или новый вокал, сделанный специально для неё. С Song Dubbing ничего не перепевают; оригинальное исполнение переходит на другой язык, а губы в музыкальном клипе следуют новым словам. Это и есть первый настоящий дубляж песен.
Мы создали мультимодальную фундаментальную модель для локализации (MLFM), чтобы сохранять человека целиком на другом языке, и спетая строка оказывается самой трудной версией этой задачи. Как музыкант, я слушаю многосложные и внутренние рифмы, смысл, жанр, ритм: если новая строка не ложится в бит там, где лежала старая, это не та строка.
Люди разных культур, вместе
Song Dubbing создан для звукозаписывающих лейблов и их артистов, альбом за альбомом, вместе с клипами (Song Dubbing). Чтобы вывести альбом на новые языки, напишите команде.
ВОПРОСЫ
Можно ли назвать Song Dubbing генерацией музыки с помощью ИИ?
Нет. Он не создаёт ни новой песни, ни нового голоса, а переносит существующую запись на другой язык голосом того же исполнителя.
Исполнителю придётся петь заново?
Нет. С Song Dubbing ничего не перепевают: оригинальное исполнение переходит на новый язык, поэтому Familiar Labs называет это первым настоящим дубляжом песен.
Кто утверждает переведённый текст песни?
Артист или его команда утверждает каждую строку на каждом языке до релиза.
ИСТОЧНИКИ
МУЛЬТИМОДАЛЬНЫЙ ПЕРЕВОД
Familiar Labs создаёт дубляж нового поколения на основе мультимодальной фундаментальной модели для локализации (MLFM). Это первая фундаментальная модель для мультимодального перевода: одна модель решает, что локализовать в тексте, аудио и видео, и показывает вам варианты. Ваш голос и губы, перенесённые на новые языки. В команде 7 человек с PhD; их поддерживают Samsung, RedBird и Gold House. Наша миссия
ПРИ ПОДДЕРЖКЕ
Stanford
Yonsei



