ГИД ПОКУПАТЕЛЯ

Как оценить ИИ-перевод песен: 6 вопросов, которые стоит задать

FAMILIAR LABS ИССЛЕДОВАНИЯВСЕ СТАТЬИ

АННОТАЦИЯ

Задайте любому сервису ИИ-перевода или дубляжа песен шесть вопросов: чей голос поёт; сохраняет ли текст смысл, рифму и слоги; кто его утверждает; что происходит с музыкальным клипом; какие мастер-файлы сдаются; какие права задокументированы. Ниже Song Dubbing от Familiar Labs отвечает на каждый.
6 ВОПРОСОВДЛЯ ЛЕЙБЛОВДЛЯ СТУДИЙ

Чей голос поёт результат?

Снова сам артист, на каждый язык
ПУБЛИЧНЫЙ ПРИМЕР
Lee Hyun записал все шесть языковых версий «Masquerade» проекта MIDNATT (2023).
Другой певец, преобразованный в тембр артиста
ПУБЛИЧНЫЙ ПРИМЕР
Kevin Woo спел корейский вокал «Love U Like That» Lauv (2023); новый испанский вокал стал голосом Brenda Lee в «Rockin' Around the Christmas Tree» (2024).
Новый сгенерированный вокал
ПУБЛИЧНЫЙ ПРИМЕР
ИИ-генераторы музыки, которые делают песню по промпту.

Song Dubbing переносит собственное записанное исполнение артиста, так что фанаты слышат тот самый дубль, который знают. Это первый настоящий дубляж песен: до сих пор песня попадала на другой язык, только если её пели заново (сам артист, другой певец или новый вокал, сделанный специально для неё); здесь ничего не перепевают.

Сохраняет ли текст смысл, рифму и слоги?

Мы дважды пробовали хинди, но дикция и размер пения на хинди просто не совпали с западными ритмами, и у нас так и не получилось.
Terry McBride, Nettwerk Music Group, о «Girlfriend» Avril Lavigne, CBC, 2007

«Girlfriend» вышла ещё на семи языках, но не на хинди: у спетой строки фиксированное число нот. Попросите показать каждую строку рядом с обратным переводом, с подсчётом слогов против нот. Song Dubbing: в строке никогда не меньше слогов, чем в оригинале, схема рифмовки воспроизводится, а смысл никогда не гнётся ради рифмы. Статья о рифме и слогах разбирает это строка за строкой.

Что происходит с клипом и какие мастер-файлы сдаются?

МУЗЫКАЛЬНЫЙ КЛИП

Губы под новый текст

До 4K.

МИКС

Стерео, готовое к релизу

24-битный PCM WAV, динамический диапазон 144 дБ.

ВОКАЛ

Отдельная голосовая дорожка

Song Dubbing сдаёт все три. Версия только со звуком оставляет губы двигаться под слова, которых слушатель больше не слышит, а сжатый файл для предпрослушивания нельзя отмастерить.

Кто утверждает текст и какие права задокументированы?

Сервис, который публикует текст без одобрения артиста, вкладывает слова в его уста.

Для немецкого «Гамильтона» Lin-Manuel Miranda каждые три месяца проверял адаптацию в три колонки: его английский текст, немецкий и обратный перевод. Song Dubbing начинается с согласия артиста, которое лейбл присылает вместе с альбомом, и артист утверждает каждую строку до релиза.
  • Композиция. Закон США об авторском праве относит перевод к «производным произведениям» (17 U.S.C. § 101): разрешение на текст дают издатель и авторы.
  • Запись. Лейбл контролирует мастер-запись.
  • Голос. Закон ELVIS Act штата Теннесси, подписанный 21 марта 2024 года, сделал голос личным правом. Попросите письменное согласие артиста.
  • Одобрение. Universal Music Group выпустила испанскую версию Brenda Lee с одобрения певицы. Спросите, кто одобрил каждую строку и когда.

Шесть ответов в одном месте

SONG DUBBING

Поёт всё тот же исполнитель.

Для начала Song Dubbing поёт на английском, испанском, итальянском, китайском, корейском, немецком, португальском, русском и французском. Послушайте дублированную песню рядом с оригиналом или прочитайте статью о Song Dubbing. Это индивидуальный сервис с полным сопровождением для звукозаписывающих лейблов: напишите команде и пришлите альбом.

ВОПРОСЫ

Чем дубляж песни отличается от кавера с преобразованным голосом?

Версия с преобразованным голосом начинается с нового исполнения другого певца и меняет его тембр так, чтобы он звучал как артист. Song Dubbing от Familiar Labs начинается с собственной записи артиста, поэтому фразировка, дыхание и эмоция принадлежат артисту.

Как проверить переведённый текст на языке, которым я не владею?

Попросите три колонки на каждую строку: оригинал, новый текст и обратный перевод, с подсчётом слогов против мелодии.

Нужно ли разрешение издателя для ИИ-перевода песни?

Как правило, да. Закон США об авторском праве относит перевод к производным произведениям, поэтому разрешение на текст дают издатель и авторы. Уточните у ваших юристов для каждой территории.

ИСТОЧНИКИ

  1. [1]The Korea Times, Hybe использует ИИ-технологию голоса для многоязычного сингла MIDNATT, 15 мая 2023
  2. [2]NME, Lauv с помощью ИИ и бывшего K-pop-айдола выпускает корейскую версию «Love U Like That», 2023
  3. [3]ABC News, «Rockin' Around the Christmas Tree» Brenda Lee на испанском, 25 октября 2024
  4. [4]The Daily Utah Chronicle, «Girlfriend» Avril Lavigne и её версии на других языках, 5 апреля 2021
  5. [5]NPR, постановка «Гамильтона», где всё на немецком, октябрь 2022
  6. [6]17 U.S.C. § 101, определения (Cornell Legal Information Institute)
  7. [7]Associated Press через News4JAX, Теннесси первым из штатов защитил музыкантов от ИИ, 21 марта 2024
  8. [8]Song Dubbing: статья

МУЛЬТИМОДАЛЬНЫЙ ПЕРЕВОД

Familiar Labs создаёт дубляж нового поколения на основе мультимодальной фундаментальной модели для локализации (MLFM). Это первая фундаментальная модель для мультимодального перевода: одна модель решает, что локализовать в тексте, аудио и видео, и показывает вам варианты. Ваш голос и губы, перенесённые на новые языки. В команде 7 человек с PhD; их поддерживают Samsung, RedBird и Gold House. Наша миссия