FORKLARING

Oversettelse er ikke generering

FAMILIAR FORSKNINGOPPDATERT ALLE ARTIKLER
LES ARTIKKELEN PÅEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

SAMMENDRAG

Ikke «generativ KI», men oversettelse i de kreatives tjeneste. Generering og oversettelse er to ulike verb. Å generere tar en prompt og lager noe som ikke fantes. Å oversette tar noe som allerede finnes, en fremføring, og bærer det over i et annet språk. Familiar er et nytt paradigme, det første i sitt slag: en multimodal beslutningsmodell for lokalisering (MLDM), den første grunnmodellen for multimodal oversettelse. Skuespilleren, timingen og scenen blir værende; ordene, munnen og stemmesporet endres for å passe det nye språket.
DEN FØRSTE GRUNNMODELLEN FOR MULTIMODAL OVERSETTELSE

To verb

Generativ KI er et godt verktøy for å lage nye ting: en prompt går inn, nytt innhold kommer ut, og hele poenget er at resultatet er nytt. Oversettelse har det motsatte målet.

OversettelseDET ANDRE VERBET

En fremføring går inn, og den samme fremføringen kommer ut på et annet språk.

GENERERE

  • Inn: en prompt
  • Ut: nytt innhold
  • Måles på: hvor nytt og godt resultatet er

OVERSETTE

  • Inn: en ferdig fremføring
  • Ut: den samme fremføringen på et annet språk
  • Måles på: hvor tro den forblir mot originalen

Enhver oversetter, menneske eller maskin, bedømmes etter hvor lite den finner på.

Det som blir værende, det som endres

Skuespilleren
ENDRESOrdene
Ansiktet
ENDRESMunnbevegelsene
Timingen
ENDRESStemmesporet, på det nye språket
Lyden i scenen: latter, musikk, atmosfære
ENDRES

Stemmen på det nye språket er skuespillerens egen, hentet fra selve klippet. Navn og faste uttrykk blir stående nøyaktig slik de ble sagt, via en Ikke oversett-liste; vitser skrives om så de lander på målspråket.

Hvorfor leppesynk er en del av oversettelsen

Vi hører ikke tale med ørene alene. I McGurk-effekten blir en stemme som sier [b], dubbet over et ansikt som sier [g], som regel hørt som [d], en lyd ingen av kanalene bar (Tiippana, 2014, som beskriver McGurk og MacDonald, 1976). Hjernen smelter sammen det den ser, med det den hører.
STEMME [b] + ANSIKT [g] = HØRT [d]

En dub med bare ny stemme lar den uoverensstemmelsen stå i hvert bilde: munnen sier ett språk og lydsporet et annet, og det blir vanskeligere å forstå. Dermed blir munnen en del av budskapet. Å oversette en fremføring betyr å oversette leppene sammen med ordene, og derfor beveger leppene seg med de nye ordene i en Familiar-dub (FAQ-en, «Hvorfor er leppesynk viktig?»).

Kreative ledere går gjennom før noe går ut

Noen replikker kan oppfattes på flere måter: en vits, et stikk, en replikk som kan leses som oppriktig eller tørr. De kommer tilbake som tre oversettelser med ulik hensikt og følelse; det samme gjelder slangen som beholdes slik den ble sagt, og banningen som tones ned for en yngre versjon. Teamet velger én, redigerer hvilken som helst replikk mot originalen og starter først da renderingen.

MLDM for det møysommelige arbeidet.

Det møysommelige arbeidet i dubbing er å avgjøre hvilken stemme og hvordan leppene følger, for hver replikk på hvert språk. MLDM avgjør det og lagrer hver beslutning med jobben, så teamet ditt kan overstyre hvilken som helst av dem. Under utvikling: å velge hvilke lyder som blir stående på originalspråket, et heiarop eller et rop, og hvilket ansikt eller hvilken tekst i bildet som skal oversettes. Valgene som gjør en dub god, hvilken vits som lander, hvilken tone som passer, hvilket navn som blir stående, forblir hos menneskene som skapte verket.

++
Alle dataene vi har trent på, er faktisk laget av Familiar-teamet selv.

Vi er ett verktøy til i den kreative prosessen.

SPØRSMÅL

Er Familiar generativ KI?

Nei. Familiar er en multimodal beslutningsmodell for lokalisering (MLDM): den avgjør hvordan det som allerede finnes, skal lokaliseres, uten noen prompt. Videoen din går inn, og den samme fremføringen kommer ut på et annet språk. Alle dataene vi har trent på, er faktisk laget av Familiar-teamet selv. Vi er ett verktøy til i den kreative prosessen.

Hva skjer med musikken og lydeffektene mine?

De blir med. Latteren, musikken og bassen, lydeffektene og atmosfæren overlever under den nye dialogen.

Kan jeg rette oversettelsen?

Ja. Hver video stopper på en gjennomgangsskjerm der du redigerer hvilken som helst replikk mot originalen før den rendres.

KILDER

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725, lest 24. oktober 2026
  2. [2]Familiar FAQ: Hvorfor er leppesynk viktig?
  3. [3]KI-leppesynk: hva det er, hva det mangler, hva som slår det
  4. [4]Hvorfor Familiar ikke er tradisjonell generativ KI
  5. [5]Ett verktøy til i den kreative prosessen

Multimodal oversettelse

Familiar Labs lager en ny generasjon dubbing med en multimodal beslutningsmodell for lokalisering (MLDM), den første grunnmodellen for multimodal oversettelse: én modell avgjør hva som skal lokaliseres på tvers av tekst, lyd og bilde, og viser deg valgene. Stemmen og leppene dine, båret over i nye språk. De er et team på 8 med PhD-er, støttet av Samsung, RedBird og Gold House. Vår misjon

Se hele benchmarken →Snakk med teamet