FÖRKLARING

Översättning är inte generering

FAMILIAR FORSKNINGUPPDATERAD ALLA ARTIKLAR

SAMMANFATTNING

Inte ”generativ AI”, utan översättning i kreatörernas tjänst. Generering och översättning är olika verb. Att generera utgår från en prompt och skapar något som inte fanns. Att översätta utgår från något som redan finns, ett framförande, och för det vidare till ett annat språk. Familiar är ett nytt paradigm, det första i sitt slag: en multimodal beslutsmodell för lokalisering (MLDM), den första grundmodellen för multimodal översättning. Skådespelaren, tajmingen och scenen består; orden, munnen och röstspåret ändras för att passa det nya språket.
DEN FÖRSTA GRUNDMODELLEN FÖR MULTIMODAL ÖVERSÄTTNING

Två verb

Generativ AI är ett utmärkt verktyg för att skapa nytt: en prompt går in, nytt innehåll kommer ut, och hela poängen är att resultatet är nytt. Översättning har motsatt mål.

ÖversättningDET ANDRA VERBET

Ett framförande går in, och samma framförande kommer ut på ett annat språk.

GENERERA

  • In: en prompt
  • Ut: nytt innehåll
  • Bedöms efter: hur nytt och bra resultatet är

ÖVERSÄTTA

  • In: ett färdigt framförande
  • Ut: samma framförande på ett annat språk
  • Bedöms efter: hur troget det förblir originalet

Varje översättare, människa eller maskin, bedöms efter hur lite den hittar på.

Vad som består, vad som ändras

Skådespelaren
ÄNDRASOrden
Ansiktet
ÄNDRASMunrörelserna
Tajmingen
ÄNDRASRöstspåret, på det nya språket
Scenens ljud: skratten, musiken, atmosfären
ÄNDRAS

Rösten på det nya språket är skådespelarens egen, hämtad ur själva klippet. Namn och slagord står kvar exakt som de sades, tack vare en Översätt inte-lista; skämt skrivs om så att de landar på målspråket.

Varför läppsynk hör till översättningen

Vi hör inte tal med bara öronen. I McGurk-effekten uppfattas en röst som säger [b], dubbad på ett ansikte som säger [g], oftast som [d], ett ljud som ingen av kanalerna bar (Tiippana, 2014, som beskriver McGurk och MacDonald, 1976). Hjärnan smälter samman det den ser med det den hör.
RÖST [b] + ANSIKTE [g] = HÖRS SOM [d]

En dubbning med bara röst lämnar den krocken kvar i varje bildruta: munnen säger ett språk och ljudspåret ett annat, och det blir svårare att förstå. Det gör munnen till en del av budskapet. Att översätta ett framförande betyder att översätta läpparna tillsammans med orden, och därför rör sig läpparna i en Familiar-dubbning med de nya orden (FAQ:n, ”Varför spelar läppsynk roll?”).

Creative directors granskar innan något går ut

Vissa repliker kan landa på mer än ett sätt: ett skämt, en pik, en replik som kan läsas som uppriktig eller torr. De kommer tillbaka som tre översättningar med olika avsikt och känsla; likaså slangen som behålls som den sades och svordomarna som tonas ned i en version för yngre publik. Teamet väljer en, redigerar valfri rad mot originalet och startar först därefter renderingen.

MLDM för slitgörat.

Slitgörat i en dubbning är att avgöra vilken röst och hur läpparna följer med, för varje replik på varje språk. MLDM avgör det och sparar varje beslut med jobbet, så att ditt team kan köra över vilket som helst av dem. Under utveckling: att välja vilka ljud som behålls på originalspråket, en ramsa eller ett skrik, och vilket ansikte eller vilken text i bilden som ska översättas. Valen som gör en dubbning bra, vilket skämt som landar, vilken ton som passar, vilket namn som står kvar, stannar hos människorna som gjorde verket.

++
All data vi har tränat på har vi i Familiar-teamet tagit fram själva.

Vi är ytterligare ett verktyg i den kreativa processen.

FRÅGOR

Är Familiar generativ AI?

Nej. Familiar är en multimodal beslutsmodell för lokalisering (MLDM): den avgör hur det som redan finns ska lokaliseras, utan någon prompt. Din video går in, samma framförande kommer ut på ett annat språk. All data vi har tränat på har vi i Familiar-teamet tagit fram själva. Vi är ytterligare ett verktyg i den kreativa processen.

Vad händer med min musik och mina ljudeffekter?

De finns kvar. Skratten, musiken och basen, ljudeffekterna och atmosfären ligger kvar under den nya dialogen.

Kan jag rätta översättningen?

Ja. Varje video stannar vid en granskningsvy där du redigerar valfri rad mot originalet innan den renderas.

KÄLLOR

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725, läst 24 oktober 2026
  2. [2]Familiar FAQ: Varför spelar läppsynk roll?
  3. [3]AI-läppsynk: vad det är, vad det missar, vad som slår det
  4. [4]Varför Familiar inte är traditionell generativ AI
  5. [5]Ytterligare ett verktyg i den kreativa processen

Multimodal översättning

Familiar Labs gör en generation bättre dubbning med en multimodal beslutsmodell för lokalisering (MLDM), den första grundmodellen för multimodal översättning: en enda modell avgör vad som ska lokaliseras i text, ljud och bild, och visar dig valen. Din röst och dina läppar, vidare till nya språk. Ett team på 8 med doktorsexamina och Samsung, RedBird och Gold House i ryggen. Vår mission