FORKLARING

Oversættelse er ikke generering

FAMILIAR FORSKNINGOPDATERET ALLE ARTIKLER
LÆS ARTIKLEN PÅEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

RESUMÉ

Ikke »generativ AI«, men oversættelse til gavn for de kreative. Generering og oversættelse er to forskellige verber. At generere tager en prompt og skaber noget, der ikke fandtes. At oversætte tager noget, der allerede findes, en præstation, og bærer det over i et andet sprog. Familiar er et nyt paradigme, det første af sin slags: en multimodal beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse. Skuespilleren, timingen og scenen bliver; ordene, munden og stemmesporet ændres, så de passer til det nye sprog.
DEN FØRSTE GRUNDMODEL TIL MULTIMODAL OVERSÆTTELSE

To verber

Generativ AI er et godt værktøj til at skabe nye ting: en prompt går ind, nyt indhold kommer ud, og pointen er, at resultatet er nyt. Oversættelse har det modsatte mål.

OversættelseDET ANDET VERBUM

En præstation går ind, og den samme præstation kommer ud på et andet sprog.

GENERERE

  • Ind: en prompt
  • Ud: nyt indhold
  • Måles på: hvor nyt og godt resultatet er

OVERSÆTTE

  • Ind: en færdig præstation
  • Ud: den samme præstation på et andet sprog
  • Måles på: hvor tro den forbliver mod originalen

Enhver oversætter, menneske eller maskine, bedømmes på, hvor lidt den finder på.

Hvad bliver, hvad ændres

Skuespilleren
ÆNDRESOrdene
Ansigtet
ÆNDRESMundbevægelserne
Timingen
ÆNDRESStemmesporet, på det nye sprog
Scenens lyd: latteren, musikken, atmosfæren
ÆNDRES

Stemmen på det nye sprog er skuespillerens egen, hentet fra selve klippet. Navne og faste vendinger bliver præcis, som de blev sagt, via en Oversæt ikke-liste; jokes skrives om, så de lander på målsproget.

Hvorfor lipsync er en del af oversættelsen

Vi hører ikke tale med ørerne alene. I McGurk-effekten bliver en stemme, der siger [b], lagt på et ansigt, der siger [g], som regel hørt som [d], en lyd, ingen af kanalerne bar (Tiippana, 2014, der beskriver McGurk og MacDonald, 1976). Hjernen smelter det, den ser, sammen med det, den hører.
STEMME [b] + ANSIGT [g] = HØRT [d]

En dub med kun ny stemme lader det misforhold stå i hvert eneste billede: munden siger ét sprog og lydsporet et andet, så det bliver sværere at forstå. Det gør munden til en del af budskabet. At oversætte en præstation betyder at oversætte læberne sammen med ordene, og derfor bevæger en dub fra Familiar læberne efter de nye ord (FAQ'en, »Hvorfor betyder lipsync noget?«).

Kreative direktører gennemgår, før det går ud

Nogle replikker kan forstås på flere måder: en joke, en stikpille, en replik, der kan læses oprigtig eller tør. De kommer tilbage som tre oversættelser med hver sin hensigt og følelse; det samme gælder slangen bevaret ordret og færre bandeord i en version til et yngre publikum. Teamet vælger én, retter enhver linje med originalen ved siden af og starter først derefter renderingen.

MLDM til det møjsommelige arbejde.

Det møjsommelige arbejde i dubbing er at beslutte, hvilken stemme og hvordan læberne følger, for hver replik på hvert sprog. MLDM beslutter det og registrerer hver beslutning på jobbet, så jeres team kan tilsidesætte enhver af dem. Under udvikling: at vælge, hvilke lyde der forbliver på originalsproget, et heppekor eller et råb, og hvilket ansigt eller hvilken tekst i billedet der skal oversættes. De valg, der gør en dub god, hvilken joke der lander, hvilken tone der passer, hvilket navn der bliver, bliver hos dem, der skabte værket.

++
Alle data, vi har trænet med, er lavet af Familiar-teamet selv.

Vi er endnu et værktøj i den kreative proces.

SPØRGSMÅL

Er Familiar generativ AI?

Nej. Familiar er en multimodal beslutningsmodel til lokalisering (MLDM): den beslutter, hvordan det, der allerede findes, skal lokaliseres, uden nogen prompt. Jeres video går ind, og den samme præstation kommer ud på et andet sprog. Alle data, vi har trænet med, er lavet af Familiar-teamet selv. Vi er endnu et værktøj i den kreative proces.

Hvad sker der med min musik og mine lydeffekter?

De bliver. Latteren, musikken og bassen, lydeffekterne og atmosfæren bevares under den nye dialog.

Kan jeg rette oversættelsen?

Ja. Hver video sættes på pause ved en gennemgangsskærm, hvor I retter enhver linje med originalen ved siden af, før den renderes.

REFERENCER

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725, læst 24. oktober 2026
  2. [2]Familiar FAQ: Hvorfor betyder lipsync noget?
  3. [3]AI-lipsync: hvad det er, hvad det mangler, og hvad der slår det
  4. [4]Hvorfor Familiar ikke er traditionel generativ AI
  5. [5]Endnu et værktøj i den kreative proces

Multimodal oversættelse

Familiar Labs laver en ny generation af dubbing med en multimodal beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse: én model beslutter, hvad der skal lokaliseres på tværs af tekst, lyd og billede, og viser dig valgene. Din stemme og dine læber, båret over i nye sprog. De er et team på 8 med ph.d.er, støttet af Samsung, RedBird og Gold House. Vores mission

Se hele benchmarken →Tal med teamet