Den første grunnmodellen for multimodal oversettelse

01. Hva er en grunnmodell for multimodal oversettelse?

En video sier mer enn ordene sine. Talerens stemme, måten munnen beveger seg på, latteren i rommet og musikken under en scene bærer alle mening. Å oversette en video godt betyr å bære alt dette over og holde det i samsvar: replikken må passe munnen, stemmen må høre hjemme i scenen, og personen på skjermen må forbli den samme.

En grunnmodell for multimodal oversettelse er én modell som gjør hele den jobben. Den tar opptakene som én helhet og avgjør hvordan hver del skal lande på det nye språket. Familiar bygde den første, og kaller den MLDM.

02. Hvorfor gikk dubbing gjennom separate verktøy til nå?

Dubbing utført av mennesker har alltid vært utenfor rekkevidde for det meste av verden. Selv de største produksjonene dubbes bare til noen få språk på grunn av kostnadene, menneskene og tiden; mindre produksjoner, serier og vertikale dramaer dubbes ikke i det hele tatt. En komplett dub utført av mennesker, oversettelse pluss stemme, koster $70 til $150 per ferdig minutt.

03. Hva endres når én modell bærer alt på én gang?

++

Audiovisuell oversettelse i én omgang, ikke i kaskade: den første i sitt slag.

Den samme skuespillerens fremføring kommer gjennom: den egne stemmen, leppene som beveger seg til de nye ordene, ansiktsuttrykkene og lyden i scenen rundt. Latteren, publikum og musikken blir værende som de var. På de samme klippene hadde YouTube 232.6% mer feil i bakgrunnslyden enn Familiar. Ser man bare på ordene, er oversettelsen på nivå med førsteutkastet fra en profesjonell ekspert: 100.3% av kvaliteten. Alle tallene står i benchmarken.

Det endrer også arbeidet rundt en dub. Veien til høy kvalitet i dag er assistert: et team av VFX-artister jobber opptak for opptak i uker, og hvert språk er et nytt prosjekt. Verktøyene som dubber i én omgang i dag, er raske og ofrer resten: oversettelsen kan ikke redigeres, musikken og rommet forsvinner, og leppene svikter i helt vanlige opptak, en hånd foran ansiktet, en mikrofon, uskarphet, bokeh, en sidevinkel, flere personer i bildet. Ingen romlig resonnering, ingen forståelse av verden. Familiar er én omgang og kvaliteten: én opplasting bærer en video over i alle språkene du velger, samtidig, og beslutningene henger sammen fordi én modell tar dem, så ingenting må sys sammen igjen for hånd.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. Hva avgjør MLDM, og hva velger du?

Den multimodale beslutningsmodellen for lokalisering er selve modellen. MLDM avgjør hva som skal lokaliseres, og hvordan, på tvers av tekst, lyd og bilde. Hele definisjonen står i Hva er en multimodal beslutningsmodell for lokalisering (MLDM)?

1. I DAG

   Oversettelsesbeslutningene, gjennomgått av de kreative lederne dine.

   Hver beslutning lagres sammen med jobben. Du kan overstyre hvilken som helst av dem.
2. UNDER UTVIKLING

   Lyd- og bildebeslutningene, i den samme gjennomgangen.

3. UNDER UTVIKLING

   Teksten i bildet, og direktedubbing.

   En mobilskjerm eller et gateskilt skrevet med begrepene du allerede har valgt; et merkenavn eller et navn får stå slik det ble filmet, avgjort underveis: en pose Tostitos forblir Tostitos.

Protokollen over disse valgene står i Beslutningsprotokollen: slik styrer kreative ledere MLDM.

05. Hva får et studio ut av en grunnmodell?

MLDM for det møysommelige arbeidet. De kreative valgene blir hos menneskene som laget verket; modellen bærer resten over i alle språk samtidig.

Hver dub behandles på den klyngen, aldri hos en ekstern inferensleverandør, så mediene dine lekker aldri ut. Detaljene står i dokumentasjonen om privat inferens og dokumentasjonen om leveransene. Bak står forskere med doktorgrad som grunnla feltet for felles audiovisuelle menneskemodeller: 22 artikler, over 10 000 siteringer, med Prof. Xu Zheng og Prof. Youngjung Uh som rådgivere, og med støtte fra Samsung, RedBird og Gold House. Artiklene finnes i forskningen vår.

06. Er en grunnmodell for oversettelse generativ KI?

Ikke i tradisjonell forstand. IBM definerer generativ KI slik:

Det er et sterkt verktøy for å lage nye ting. MLDM har ingen prompt, og ingenting nytt blir funnet på: den bærer det som allerede finnes, over i et annet språk. Ikke «generativ KI», men oversettelse i de kreatives tjeneste. Fra menneske til menneske, med større rekkevidde.

De andre artiklene i serien: Audiovisuell oversettelse i én omgang, ikke i kaskade, Hva en grunnmodell for multimodal oversettelse betyr for studioer og plattformer og Pionerer innen multimodal oversettelse: fra felles audiovisuell forskning til den første grunnmodellen.

SPØRSMÅL