UITLEG

Vertalen is niet genereren

FAMILIAR ONDERZOEKBIJGEWERKT ALLE ARTIKELEN
LEES DIT INEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

SAMENVATTING

Geen “generatieve AI”, maar vertaling die creatieven verder brengt. Genereren en vertalen zijn twee verschillende werkwoorden. Genereren neemt een prompt en maakt iets wat er nog niet was. Vertalen neemt iets wat er al is, een performance, en brengt dat naar een andere taal. Familiar is een nieuw paradigma, het eerste in zijn soort: een multimodaal beslismodel voor lokalisatie (MLDM), het eerste foundation model voor multimodale vertaling. De acteur, de timing en de scène blijven; de woorden, de mond en het stemspoor veranderen om bij de nieuwe taal te passen.
HET EERSTE FOUNDATION MODEL VOOR MULTIMODALE VERTALING

Twee werkwoorden

Generatieve AI is prima om nieuwe dingen te maken: er gaat een prompt in, er komt nieuwe content uit, en het hele punt is dat het resultaat nieuw is. Vertalen wil precies het omgekeerde.

VertalenHET ANDERE WERKWOORD

Er gaat een performance in, en dezelfde performance komt eruit in een andere taal.

GENEREREN

  • Erin: een prompt
  • Eruit: nieuwe content
  • Gemeten aan: hoe nieuw en goed het resultaat is

VERTALEN

  • Erin: een afgeronde performance
  • Eruit: dezelfde performance in een andere taal
  • Gemeten aan: hoe trouw die aan het origineel blijft

Elke vertaler, mens of machine, wordt beoordeeld op hoe weinig hij verzint.

Wat blijft, wat verandert

De acteur
VERANDERTDe woorden
Het gezicht
VERANDERTDe mondbewegingen
De timing
VERANDERTHet stemspoor, in de nieuwe taal
Het scènegeluid: gelach, muziek, sfeer
VERANDERT

De stem in de nieuwe taal is die van de acteur zelf, uit de clip gehaald. Namen en catchphrases blijven precies zoals ze gezegd zijn, via een Niet-vertalen-lijst; grappen worden herschreven zodat ze landen in de doeltaal.

Waarom lipsync bij vertalen hoort

Mensen horen spraak niet alleen met hun oren. Bij het McGurk-effect wordt een stem die [b] zegt, gemonteerd op een gezicht dat [g] zegt, meestal gehoord als [d], een klank die geen van beide kanalen bevatte (Tiippana, 2014, over McGurk en MacDonald, 1976). Het brein smelt wat het ziet samen met wat het hoort.
STEM [b] + GEZICHT [g] = GEHOORD [d]

Een dub die alleen de stem vervangt, laat die mismatch in elk frame staan: de mond spreekt de ene taal en de soundtrack de andere, dus het verstaan kost meer moeite. Zo wordt de mond deel van de boodschap. Een performance vertalen betekent de lippen meevertalen met de woorden, en daarom bewegen in een dub van Familiar de lippen mee met de nieuwe woorden (de FAQ, "Waarom is lipsync belangrijk?").

Creative directors kijken alles na voordat het de deur uitgaat

Sommige zinnen kunnen meer dan één kant op: een grap, een steek onder water, een zin die oprecht of juist droog kan klinken. Die komen terug als drie vertalingen met een andere bedoeling en emotie; net als de straattaal die blijft zoals die gezegd is en het grove taalgebruik dat wordt afgezwakt voor een jongere versie. Het team kiest er één, bewerkt elke zin naast het origineel en start pas daarna de render.

MLDM voor het monnikenwerk.

Het monnikenwerk van nasynchronisatie is beslissen welke stem en hoe de lippen volgen, voor elke zin in elke taal. Het MLDM beslist erover en legt elke beslissing vast bij de opdracht, zodat uw team ze allemaal kan aanpassen. In de maak: kiezen welke geluiden in de oorspronkelijke taal blijven, een spreekkoor of een kreet, en welk gezicht of welke tekst in beeld er vertaald wordt. De keuzes die een dub goed maken, welke grap landt, welke toon past, welke naam blijft, blijven bij de mensen die het werk maakten.

++
Alle data waarmee we hebben getraind, is door het Familiar-team zelf gemaakt.

Wij zijn een extra tool in het creatieve proces.

VRAGEN

Is Familiar generatieve AI?

Nee. Familiar is een multimodaal beslismodel voor lokalisatie (MLDM): het beslist hoe je lokaliseert wat er al is, zonder prompt. Uw video gaat erin, dezelfde performance komt eruit in een andere taal. Alle data waarmee we hebben getraind, is door het Familiar-team zelf gemaakt. Wij zijn een extra tool in het creatieve proces.

Wat gebeurt er met mijn muziek en geluidseffecten?

Die blijven. Het gelach, de muziek en de bas, de geluidseffecten en de sfeer blijven staan onder de nieuwe dialoog.

Kan ik de vertaling aanpassen?

Ja. Elke video stopt bij een reviewscherm waar u elke zin naast het origineel bewerkt voordat er gerenderd wordt.

BRONNEN

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725, gelezen op 24 oktober 2026
  2. [2]FAQ van Familiar: Waarom is lipsync belangrijk?
  3. [3]AI-lipsync: wat het is, wat het mist en wat het verslaat
  4. [4]Waarom Familiar geen traditionele generatieve AI is
  5. [5]Een extra tool in het creatieve proces

Multimodale vertaling

Familiar Labs zet met een multimodaal beslismodel voor lokalisatie (MLDM) een generatiesprong in nasynchronisatie. Het eerste foundation model voor multimodale vertaling: één model beslist wat er gelokaliseerd wordt in tekst, audio en beeld, en laat je de keuzes zien. Jouw stem en lippen, meegenomen naar nieuwe talen. Een team van 8 met PhD's, gesteund door Samsung, RedBird en Gold House. Onze missie

Bekijk de volledige benchmark →Praat met het team