RESUMÉ
De fire problemer
Spørg, hvad der gør en dubbet video god, og listen bliver lang. Den kan koges ned til fire:
Svigter de to første, betyder resten intet: en fejloversat sætning eller en stemme, der hørbart er forkert, vælter dubben alene. De to sidste afgør, om resultatet føles som originalen eller som en dub.
Naturlig oversættelse: et nyt manuskript, ikke en afbildning
Hvert sprog udtrykker tingene på sin egen måde: ordene, idiomerne, sætningsbygningen, tiltaleformerne, hvad der overhovedet bliver sagt. Bed en model om at »oversætte«, og den afbilder sætningerne én til én fra sprog A til sprog B. Mennesker gør det samme: Får de rollen som oversætter, skrumper opgaven ind til at omsætte sætninger.
En dub, der er oversat på den måde, er forståelig og forkert.
- Japansk undgår gerne alt for direkte formuleringer; en naturlig replik skal ofte bygges op på ny i en indirekte form, ikke blødes op ord for ord.
- Koreansk udelader hele tiden grundleddet; føres de engelske pronominer over i koreansk lige så hyppigt som på engelsk, lyder det fremmed, selv når hvert ord er korrekt.
- Ordstilling, stilleje, høflighedsformer og det, en kultur lader være usagt, skifter fra sprog til sprog; en oversættelse er ikke god, blot fordi den bogstavelige betydning overlevede.
»Godt« lader sig ikke sætte på en tjekliste, så vi koger målet ned til én sætning: formidl videoens indhold godt på målsproget. Det kan måles:
af kvaliteten i ekspertoversættelse udført af mennesker, fra Familiar, bedømt blindt mod eksperters referenceredigeringer
FRANSK, KINESISK, HINDI, INDONESISK (PROFESSIONELLE EKSPERTOVERSÆTTERES FØRSTE UDKAST)færre vigtige oversættelsesfejl fra Familiar på de samme klip (29 mod 64)
MOD ELEVENLABS DUBBING V2 (ALPHA) · 111 PARREDE DUBS · 3 SPROGNaturlig lyd: den samme person på et nyt sprog
Udtalen er tæt på at være løst. De interessante fejl ligger længere fremme:
- Identitet: den samme person lyder fortsat som den samme person, på hvert eneste sprog.
- Følelse: det, taleren følte, overlever sprogskiftet.
- Betoning, tempo, hensigt: hvor sætningen lægger vægten, hvor hurtigt den bevæger sig, hvad den prøver at opnå.
Målet koges ned på samme måde som oversættelsens: lyden passer til videoen. Ikke »lav sprog B med stemmen fra sprog A«. Den samme præstation på et nyt sprog. Og scenen er en del af lyden: latteren, musikken, rummet.
større skade på baggrundslyden fra ElevenLabs (11.92 mod 3.22 dB): musik, effekter, atmosfære
STUDIET AF DUBBING V2 (ALPHA) · SAMME KLIPhøjere stemmelighed med taleren fra Familiar (0.461 mod 0.360), højere i alle 11 sprog
MOD ELEVENLABS · STUDIET AF DUBBING V1 · 418 PARREDE DUBSEditing the translation means their old model.
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES
261%
ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE
+243.7%
FAMILIAR ON LAUGHTER AND REACTION SHAPE
Tekst på skærmen er en del af videoen
Moderne video læner sig op ad tekst på skærmen: billedtekster, jokes, memes, et enkelt ord timet til et beat. Hver af dem er en visuel begivenhed på kildesproget. At tilpasse dem stiller to krav:
- Skad aldrig videoen. Artefakter eller visuel uro gør resultatet ringere end originalen.
- Oversæt den aldrig bogstaveligt. Man skal forstå, hvorfor teksten dukker op netop i dette øjeblik og netop dette sted, før man kan tilpasse den.
I dag oversætter Familiars multimodale beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse, et nyt paradigme og det første af sin slags, titler, beskrivelser og undertekster sammen med dubben. Teksten i billedet er under udvikling: en telefonskærm eller et gadeskilt, skrevet med de termer, I allerede har valgt, et brand eller et navn bevaret, som det blev filmet, besluttet i farten, så en pose Tostitos forbliver Tostitos, og I vælger, hvilken tekst der skal oversættes. Reglen står fast: kan redigeringen ses, er den ikke god nok.
Lipsync: lykkes ved ikke at blive bemærket
Lipsync stiller det samme hårde krav: skad aldrig videoen. Den største ros, en dubs lipsync kan få, er spørgsmålet »hvad er blevet ændret?«
Effekten virker også til dubbens fordel. Når munden først passer, løser hjernen tvetydigheden i retning af overensstemmelse: udtalen opfattes som tydeligere, og klangen lyder mere som den samme person.
Det svære: stemmer uden for billedet, talere, der overlapper hinanden, personer, der ligner eller lyder ens, og at redigere munden uden at ødelægge ansigtet. Sæt to personer i billedet, og nutidens værktøjer lipsyncer begge munde på én gang.
Læberne er kun begyndelsen. En person fremfører en sætning med hele ansigtet, øjne, bryn, kinder, hoved, og med kroppen: gestik, nik, det halve taktslag, hvor man lytter.
Ét problem, ikke fire
Hvert krav blev ved med at koge ned til den samme sætning. Naturlig oversættelse: skriv det, videoen siger, på målsproget. Naturlig lyd: bevar den samme præstation i de nye ord. Tekst på skærmen: forstå, hvorfor den er der, før du rører den. Lipsync: rediger personen uden at ødelægge den.
Den samme præstation på et andet sprog.
Det er det, MLDM beslutter, målt på de samme klip og offentliggjort på /benchmark. Hver beslutning registreres på jobbet og kan tilsidesættes; i dag vælger jeres kreative direktører mellem oversættelsens gengivelser.
REFERENCER
- [1]Familiar mod ElevenLabs-benchmarken: alle resultater, intervaller og lytteeksempler
- [2]AI mod menneskelig oversættelse: testet mod professionelle
- [3]AI-lipsync: hvad det er, hvad det mangler, og hvad der slår det
- [4]Dubben føles forkert i udlandet: sådan løser produktionsselskaber det (studiets version af denne argumentation)
- [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)
Multimodal oversættelse
Familiar Labs laver en ny generation af dubbing med en multimodal beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse: én model beslutter, hvad der skal lokaliseres på tværs af tekst, lyd og billede, og viser dig valgene. Din stemme og dine læber, båret over i nye sprog. De er et team på 8 med ph.d.er, støttet af Samsung, RedBird og Gold House. Vores mission
