Den første grundmodel til multimodal oversættelse

01. Hvad er en grundmodel til multimodal oversættelse?

En video siger mere end sine ord. Talerens stemme, den måde munden bevæger sig på, latteren i rummet og musikken under en scene bærer alle betydning. At oversætte en video godt betyder at bære det hele over og holde det i overensstemmelse: replikken skal passe til munden, stemmen skal høre hjemme i scenen, og personen på skærmen skal forblive præcis den samme.

En grundmodel til multimodal oversættelse er én model, der klarer hele den opgave. Den tager optagelserne som én helhed og beslutter, hvordan hver del skal lande i det nye sprog. Familiar har bygget den første og kalder den MLDM.

02. Hvorfor gik dubbing hidtil gennem separate værktøjer?

Dubbing udført af mennesker har altid været uden for rækkevidde for det meste af verden. Selv de største produktioner dubber kun til få sprog på grund af prisen, folkene og tiden; mindre produktioner, serier og vertikale dramaer dubbes slet ikke. En komplet dub udført af mennesker, oversættelse plus stemme, koster $70 til $150 pr. færdigt minut.

03. Hvad ændrer sig, når én model bærer det hele på én gang?

++

Audiovisuel oversættelse på én gang, ikke i kæde: den første af sin slags.

Den samme skuespillers præstation kommer igennem: deres egen stemme, læberne, der bevæger sig til de nye ord, ansigtsudtrykkene og scenens lyd omkring dem. Latteren, publikum og musikken bliver, som de var. På de samme klip havde YouTube 232.6% større fejl i baggrundslyden end Familiar. Alene på ordene matcher oversættelsen den professionelle eksperts første udkast: 100.3% af deres kvalitet. Alle tallene står i benchmarken.

Det ændrer også arbejdet omkring en dub. Vejen til høj kvalitet i dag er assisteret: et hold af VFX-artister arbejder klip for klip i ugevis, og hvert sprog er et nyt projekt. De værktøjer, der i dag arbejder i én omgang, er hurtige og ofrer resten: oversættelsen kan ikke redigeres, musikken og rummet forsvinder, og læberne svigter i helt almindelige optagelser, en hånd foran ansigtet, en mikrofon, uskarphed, bokeh, en sidevinkel, flere personer i billedet. Ingen rumlig ræsonnering, ingen forståelse af verden. Familiar er én omgang og kvaliteten: én upload bærer en video over i alle de sprog, I vælger, på én gang, og beslutningerne passer sammen, fordi én model træffer dem, så intet skal sys sammen igen i hånden.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. Hvad beslutter MLDM, og hvad vælger I?

Den multimodale beslutningsmodel til lokalisering er selve modellen. MLDM beslutter, hvad der skal lokaliseres og hvordan, på tværs af tekst, lyd og billede. Hele definitionen står i Hvad er en multimodal beslutningsmodel til lokalisering (MLDM)?

1. I DAG

   Beslutningerne om oversættelsen, gennemgået af jeres kreative direktører.

   Hver beslutning registreres på jobbet. I kan tilsidesætte dem alle.
2. UNDER UDVIKLING

   Beslutningerne om lyd og billede, i den samme gennemgang.

3. UNDER UDVIKLING

   Teksten i billedet og livedubbing.

   En telefonskærm eller et gadeskilt skrevet med de termer, I allerede har valgt; et brand eller et navn bliver stående, som det blev filmet, besluttet i farten: en pose Tostitos forbliver Tostitos.

Protokollen over de valg står i Beslutningsprotokollen: sådan instruerer kreative direktører MLDM.

05. Hvad får et produktionsselskab ud af en grundmodel?

MLDM til det møjsommelige arbejde. De kreative valg bliver hos dem, der skabte værket; modellen bærer resten over i alle sprog på én gang.

Hver dub behandles på den klynge, aldrig hos en ekstern inferensudbyder, så jeres medier lækker aldrig. Detaljerne står i dokumentationen om privat inferens og dokumentationen om output. Bag det står ph.d.er, der grundlagde feltet for fælles audiovisuelle modeller af mennesker: 22 artikler, over 10.000 citationer, med Prof. Xu Zheng og Prof. Youngjung Uh som rådgivere, støttet af Samsung, RedBird og Gold House. Artiklerne findes i vores forskning.

06. Er en grundmodel til oversættelse generativ AI?

Ikke i traditionel forstand. IBM definerer generativ AI sådan:

Det er et stærkt værktøj til at skabe nye ting. MLDM har ingen prompt, og intet nyt bliver fundet på: den bærer det, der allerede findes, over i et andet sprog. Ikke »generativ AI«, men oversættelse til gavn for de kreative. Fra menneske til menneske, og ud til langt flere.

De andre artikler i serien: Audiovisuel oversættelse på én gang, ikke i kæde, Hvad en grundmodel til multimodal oversættelse betyder for produktionsselskaber og platforme og Pionerer inden for multimodal oversættelse: fra fælles audiovisuel forskning til den første grundmodel.

SPØRGSMÅL