МНЕНИЕ

Противоположность генерации музыки с помощью ИИ

Почему поёт всё тот же исполнитель.

FAMILIAR LABS ИССЛЕДОВАНИЯВСЕ СТАТЬИ

АННОТАЦИЯ

Мы полная противоположность генерации музыки с помощью ИИ. Мы против того, чтобы заменять людей. Song Dubbing переносит знакомую вам песню на другой язык голосом того же исполнителя; меняется только язык. Вот для чего нужен ИИ: чтобы и моя мама понимала мои любимые песни.

Мамины песни

Мама поёт мне свои песни, а я их не понимаю.

Я немного понимаю по-китайски, но в песне строка уходит раньше, чем я успеваю её поймать. А я хочу, чтобы мама понимала мои любимые песни.

Слова мы и упускаем

Мы все хотим понимать слова песен, которые слушаем.

Я аудиофил и играю на фортепиано, виолончели и бас-гитаре. Текст единственное, что я упускаю в записи на другом языке, а когда его понимаешь, строка, которую ты годами напевал, вдруг оказывается признанием или прощанием.

Вся наша команда любит караоке, и никто не идёт в караоке слушать, как поёт машина. Узнаешь, что понравившуюся песню не пел ни один человек, и она нравится меньше, как и должно быть (почему я верю, что исполнители останутся людьми).

Поёт всё тот же исполнитель

ГЕНЕРАЦИЯ

  • Новая песня и новый голос, созданные по промпту.
  • У этого есть своё место там, где никто особо не вслушивается: в рекламе, в фоновой музыке магазина.

ДУБЛЯЖ

  • Знакомая песня, тот же исполнитель, та же запись.
  • Голос, фразировка, дыхание и эмоция остаются; текст переносится на новый язык.

Песня рождается из прожитой жизни; замени исполнителя, и это уже другая песня. Артист утверждает каждую строку, прежде чем что-либо выйдет.

Для чего нужен ИИ

Дубляж, а не генерация.

До сих пор песня попадала на другой язык, только если её пели заново: сам артист, другой певец или новый вокал, сделанный специально для неё. С Song Dubbing ничего не перепевают; оригинальное исполнение переходит на другой язык, а губы в музыкальном клипе следуют новым словам. Это и есть первый настоящий дубляж песен.

Мы создали мультимодальную фундаментальную модель для локализации (MLFM), чтобы сохранять человека целиком на другом языке, и спетая строка оказывается самой трудной версией этой задачи. Как музыкант, я слушаю многосложные и внутренние рифмы, смысл, жанр, ритм: если новая строка не ложится в бит там, где лежала старая, это не та строка.

Люди разных культур, вместе

++

Нам нравится понимать песню.

Song Dubbing создан для звукозаписывающих лейблов и их артистов, альбом за альбомом, вместе с клипами (Song Dubbing). Чтобы вывести альбом на новые языки, напишите команде.

ДУБЛЯЖ, А НЕ ГЕНЕРАЦИЯОТ ЧЕЛОВЕКА К ЧЕЛОВЕКУ

ВОПРОСЫ

Можно ли назвать Song Dubbing генерацией музыки с помощью ИИ?

Нет. Он не создаёт ни новой песни, ни нового голоса, а переносит существующую запись на другой язык голосом того же исполнителя.

Исполнителю придётся петь заново?

Нет. С Song Dubbing ничего не перепевают: оригинальное исполнение переходит на новый язык, поэтому Familiar Labs называет это первым настоящим дубляжом песен.

Кто утверждает переведённый текст песни?

Артист или его команда утверждает каждую строку на каждом языке до релиза.

ИСТОЧНИКИ

  1. [1]Song Dubbing
  2. [2]От человека к человеку, а не от ИИ к ИИ

МУЛЬТИМОДАЛЬНЫЙ ПЕРЕВОД

Familiar Labs создаёт дубляж нового поколения на основе мультимодальной фундаментальной модели для локализации (MLFM). Это первая фундаментальная модель для мультимодального перевода: одна модель решает, что локализовать в тексте, аудио и видео, и показывает вам варианты. Ваш голос и губы, перенесённые на новые языки. В команде 7 человек с PhD; их поддерживают Samsung, RedBird и Gold House. Наша миссия

ПРИ ПОДДЕРЖКЕ

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo