Pionjärer inom multimodal översättning: från audiovisuell forskning till den första grundmodellen

01. Vem grundade gemensamma audiovisuella människomodeller?

En dubbning håller bara om rösten och ansiktet förblir en och samma människa. Familiars forskare har doktorsexamen och grundade fältet gemensamma audiovisuella människomodeller: deras artikel JAM-Flow, på ECCV 2026, är den första gemensamma audiovisuella människomodellen, där rösten och ansiktet hos en talande människa behandlas som ett och samma problem.

Arbetet täcker de delar som multimodal översättning behöver: gemensamma audiovisuella människomodeller, snabba videomodeller, redigering och multimodal perception. Varje artikel och konferens finns i vår forskningsöversikt. Skälet är personligt: An Zhu Liu, vd, kunde som barn inte prata engelska med sina klasskamrater och lärde sig språket från tv, en berättelse som finns på vår uppdragssida.

02. Varför gick dubbning via separata verktyg?

För att varje del först löstes för sig. Maskindubbning kom som en kedja, och den kedjan är det som över huvud taget gjorde den möjlig. Den satte också gränsen, och verktygen som byggts sedan dess byter fortfarande kvalitet mot tid. De assisterande verktygen når kvaliteten med ett team av VFX-artister och veckor per projekt, ett nytt projekt per språk. Verktygen som dubbar i ett svep är snabba och offrar resten: läpparna hänger inte med vid en hand framför ansiktet, en mikrofon, oskärpa, bokeh, en sidovinkel eller flera personer i bild, utan rumsligt resonemang och utan förståelse för världen. Familiar är både ett svep och kvaliteten.

++

Familiar är den första grundmodellen för multimodal översättning: en enda modell som för orden, rösten, läpparna och scenen vidare till ett nytt språk, allt på en gång.

Kontrasten steg för steg finns i Audiovisuell översättning på en gång, inte i kaskad; definitionen finns i Den första grundmodellen för multimodal översättning.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Vad betyder pionjärarbete här?

Tre saker, tillsammans för första gången. Den första är att ljudet och bilden förs vidare till det nya språket på en gång, av en enda modell, så att besluten hänger ihop: rösten är skådespelarens egen, läpparna följer de nya orden, och skratten, publiken och musiken stannar där de var.

Den andra är ordningen. Först översättningen, sedan dubbningen i ett enda svep: rösten, läpparna och scenen tillsammans. Orden är fastställda, och granskade av dina creative directors, innan något får en röst.

Den tredje är besluten bakom dubbningen. Varje beslut som MLDM fattar sparas med dubbningsjobbet, och du kan köra över vilket som helst av dem. Hela redogörelsen finns i Besluten bakom dubbningen: så styr creative directors MLDM; vad MLDM är, i definitionsartikeln.

04. Vad avgör modellen, och vad väljer du?

Ett forskningsresultat blir en produkt när de som använder den behåller kontrollen. MLDM för slitgörat. De kreativa besluten är dina.

05. Vad är fortfarande under utveckling?

Pionjärarbete betyder den första versionen, inte den sista. Översättningsvalen är öppna i dag; resten av besluten öppnas steg för steg.

1. I DAG

   Dina creative directors granskar översättningsbesluten.

   Återgivningarna med resonemanget bakom var och en; en Översätt inte-lista och en kontextrad på en mening följer med jobbet.
2. UNDER UTVECKLING

   Besluten om ljud och bild, i samma granskning.

3. UNDER UTVECKLING

   Texten i bilden.

   En mobilskärm, ett bokomslag, en gatuskylt, skrivna med de termer du redan har valt; ett varumärke eller ett namn får stå kvar som det filmades, avgjort i stunden: en påse Tostitos förblir Tostitos.
4. UNDER UTVECKLING

   Livedubbning.

06. Vad ändrar det för dem i bild?

Mänsklig dubbning ligger utom räckhåll för större delen av världen. Även de största produktionerna dubbar bara till ett fåtal språk, på grund av kostnaden, personerna och tiden det tar; mindre produktioner, serier och vertikala dramer dubbas för det mesta inte alls. En grundmodell för multimodal översättning ger var och en av dem samma framförande på ett annat språk: skådespelarens röst, läppar och ansiktsuttryck på 30 språk, levererat i upp till 4K med en äkta 5.1-surround- eller stereomix i 24-bitars PCM (leveransfilerna).

Översättningen mäts till 100.3% av kvaliteten i mänsklig expertöversättning: likvärdigt; studierna finns på /benchmark. Inte ”generativ AI”, utan översättning i kreatörernas tjänst. Från människa till människa, med större räckvidd. Vad det betyder för en katalog står i artikeln för studior och plattformar.

FRÅGOR