오피니언

AI 음악 생성의 정반대

가수가 바뀌지 않아야 하는 이유.

FAMILIAR LABS 연구전체 글

초록

저희는 AI 음악 생성의 정반대에 서 있습니다. 사람을 대체하는 데 반대합니다. Song Dubbing(노래 더빙)은 알고 있는 그 노래를 같은 가수의 목소리로 다른 언어로 옮깁니다. 바뀌는 건 언어뿐입니다. AI는 바로 이런 데 쓰여야 합니다: 제가 좋아하는 노래를 엄마도 이해할 수 있게 하는 일.

어머니의 노래

어머니는 제게 노래를 불러 주십니다. 그런데 저는 알아듣지 못합니다.

중국어를 조금은 알아듣지만, 노래가 되면 알아듣기도 전에 소절이 지나가 버립니다. 그리고 저도 제가 좋아하는 노래를 어머니가 이해하셨으면 합니다.

놓치는 건 가사입니다

우리 모두 듣는 노래의 가사를 이해하고 싶어 합니다.

저는 오디오 마니아이고, 피아노와 첼로, 베이스 기타를 연주합니다. 다른 언어의 녹음에서 제가 놓치는 단 하나가 가사입니다. 가사를 이해하는 순간, 몇 년 동안 흥얼거린 소절이 고백이 되기도 하고 작별 인사가 되기도 합니다.

저희 팀은 모두 노래방을 좋아하고, 기계가 부르는 노래를 들으러 노래방에 가는 사람은 없습니다. 좋아하던 노래를 사람이 부르지 않았다는 걸 알게 되면 그 노래가 덜 좋아지고, 그래야 마땅합니다(퍼포머가 사람으로 남는다고 제가 믿는 이유).

가수는 바뀌지 않습니다

생성

  • 프롬프트로 만든 새 노래와 새 목소리.
  • 아무도 귀 기울이지 않는 곳에서는 제 몫을 합니다: 광고나 매장 배경음악처럼요.

더빙

  • 알고 있는 그 노래, 같은 가수, 같은 녹음.
  • 목소리, 프레이징, 숨결, 감정은 그대로이고, 가사가 새 언어로 옮겨집니다.

노래는 살아온 삶에서 나오는 연기입니다. 가수를 바꾸면 다른 노래가 됩니다. 공개 전에 아티스트가 모든 소절을 승인합니다.

AI가 쓰여야 할 곳

생성이 아닌, 더빙.

지금까지 노래가 다른 언어에 닿는 길은 다시 부르는 것뿐이었습니다(아티스트 본인이, 다른 가수가, 혹은 새로 만든 보컬이). Song Dubbing에서는 아무도 다시 부르지 않습니다. 원래의 연기가 그대로 옮겨지고, 뮤직비디오 속 입 모양도 새 가사를 따라갑니다. 그것이 최초의 진짜 노래 더빙입니다.

저희는 다른 언어에서도 한 사람을 온전히 지키려고 멀티모달 현지화 파운데이션 모델(MLFM)을 만들었고, 노래 한 소절은 그 일의 가장 어려운 형태입니다. 음악을 하는 사람으로서 저는 다음절 라임과 내부 라임, 의미, 장르, 리듬에 귀를 기울입니다. 새 소절이 원래 소절이 앉아 있던 박자의 그루브에 앉지 못하면, 그건 틀린 소절입니다.

문화를 넘어, 연결된 사람들

++

우리는 노래를 이해하고 싶습니다.

Song Dubbing은 음반사와 소속 아티스트를 위해 앨범 단위로 진행하며, 뮤직비디오도 포함됩니다(Song Dubbing). 앨범을 새 언어로 옮기고 싶다면 팀에 이메일 보내기.

생성이 아닌, 더빙사람에서 사람으로

질문

Song Dubbing은 AI 음악 생성인가요?

아닙니다. 새 노래도, 새 목소리도 만들지 않습니다. 이미 있는 녹음을 같은 가수의 목소리로 다른 언어로 옮깁니다.

가수가 노래를 다시 불러야 하나요?

아닙니다. Song Dubbing에서는 아무도 다시 부르지 않습니다: 원래의 연기가 그대로 옮겨지고, 그래서 Familiar Labs는 이것을 최초의 진짜 노래 더빙이라고 부릅니다.

번역한 가사는 누가 승인하나요?

공개 전에 아티스트나 아티스트 측이 모든 언어의 모든 소절을 승인합니다.

참고 자료

  1. [1]Song Dubbing
  2. [2]사람에서 사람으로, AI에서 AI로가 아니라

멀티모달 번역

Familiar Labs는 멀티모달 현지화 파운데이션 모델(MLFM)로 한 세대 앞선 더빙을 만듭니다. MLFM은 최초의 멀티모달 번역 파운데이션 모델로, 텍스트, 오디오, 영상을 아울러 무엇을 현지화할지 하나의 모델이 결정하고 그 선택지를 직접 보여 줍니다. 당신의 목소리와 입 모양 그대로, 새로운 언어로. 박사들이 모인 7명의 팀으로, Samsung, RedBird, Gold House가 투자했습니다. 미션 보기

투자사

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo