OPINIONE

L'opposto della generazione di musica con l'AI

Perché il cantante resta il cantante.

FAMILIAR LABS RICERCATUTTI GLI ARTICOLI

SOMMARIO

Siamo l'opposto della generazione di musica con l'AI. Siamo contrari a sostituire le persone. Song Dubbing porta la canzone che conosci in un'altra lingua con la voce dello stesso cantante: cambia solo la lingua. Ecco a cosa dovrebbe servire l'AI: a far capire anche a mia mamma le mie canzoni preferite.

Le canzoni di mia madre

Mia madre mi canta le sue canzoni, e io non le capisco.

Un po' di mandarino lo capisco, ma quando è cantato il verso se n'è già andato prima che riesca ad afferrarlo. E vorrei che lei capisse le mie canzoni preferite.

Le parole sono la parte che ci perdiamo

Tutti vogliamo capire i testi delle canzoni che ascoltiamo.

Sono un audiofilo, e suono pianoforte, violoncello e basso elettrico. In un'altra lingua il testo è l'unica parte di una registrazione che mi perdo, e capirlo può trasformare un verso canticchiato per anni in una confessione o in un addio.

Tutto il team adora il karaoke, e nessuno va al karaoke per sentire cantare una macchina. Scopri che una canzone che ti piaceva non l'ha cantata nessun essere umano e ti piace di meno, ed è giusto così (perché credo che gli interpreti resteranno umani).

Il cantante resta il cantante

GENERARE

  • Una canzone nuova e una voce nuova, create da un prompt.
  • Ha il suo posto dove nessuno ascolta davvero: uno spot, la musica in un negozio.

DOPPIARE

  • La canzone che conosci, lo stesso cantante, la stessa registrazione.
  • La voce, il fraseggio, il respiro e l'emozione restano; il testo passa nella nuova lingua.

Una canzone è un'interpretazione che nasce da una vita vissuta: sostituisci il cantante ed è un'altra canzone. L'artista approva ogni verso prima di qualsiasi uscita.

A cosa dovrebbe servire l'AI

Doppiare, non generare.

Finora una canzone arrivava in un'altra lingua solo se veniva cantata di nuovo: dall'artista, da un altro cantante o con una nuova traccia vocale creata apposta. Con Song Dubbing nulla viene ricantato: l'interpretazione originale passa nella nuova lingua e nel videoclip le labbra seguono le nuove parole. Questo è il primo vero doppiaggio delle canzoni.

Abbiamo costruito il modello di fondazione multimodale per la localizzazione (MLFM) per mantenere intera una persona in un'altra lingua, e un verso cantato è la versione più difficile di quel lavoro. Da musicista ascolto le rime multisillabiche e interne, il significato, il genere, il ritmo: se il nuovo verso non sta nel groove dove stava il vecchio, è il verso sbagliato.

Persone di culture diverse, unite

++

Ci piace capire la canzone.

Song Dubbing è pensato per le etichette discografiche e i loro artisti, un album alla volta, videoclip compresi (Song Dubbing). Per portare un album in nuove lingue, scrivi al team.

DOPPIARE, NON GENERAREDA PERSONA A PERSONA

DOMANDE

Song Dubbing è generazione di musica con l'AI?

No. Non crea né una nuova canzone né una nuova voce: porta una registrazione esistente in un'altra lingua con la voce dello stesso cantante.

Il cantante deve cantarla di nuovo?

No. Con Song Dubbing nulla viene ricantato: passa l'interpretazione originale, ed è per questo che Familiar Labs lo chiama il primo vero doppiaggio delle canzoni.

Chi approva i testi tradotti?

L'artista o il suo team approva ogni verso in ogni lingua prima dell'uscita.

RIFERIMENTI

  1. [1]Song Dubbing
  2. [2]Da persona a persona, non da AI ad AI

Traduzione multimodale

Familiar Labs realizza un doppiaggio di nuova generazione con un modello di fondazione multimodale per la localizzazione (MLFM), il primo modello di fondazione per la traduzione multimodale: un solo modello decide cosa localizzare tra testo, audio e video, e ti mostra le scelte. La tua voce e le tue labbra, portate in nuove lingue. Un team di 7 persone con dottorati di ricerca, sostenuto da Samsung, RedBird e Gold House. La nostra missione

SOSTENUTI DA

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo