Beslutningsprotokollen: sådan instruerer kreative direktører MLDM

FAMILIAR FORSKNING2026-10-28OPDATERET 2026-11-01ALLE ARTIKLER

RESUMÉ

MLDM er den første grundmodel til multimodal oversættelse, et nyt paradigme og det første af sin slags. Hver beslutning, den træffer, registreres med dubben: I læser den, tilsidesætter den og gemmer et valg til næste afsnit. Beslutningerne om oversættelsen gennemgås i dag; dem om lyd og billede er under udvikling.

DEN FØRSTE GRUNDMODEL TIL MULTIMODAL OVERSÆTTELSE

De beslutninger, I instruerer i dag

01
Oversættelsen kommer tilbage først.
02
Hvor en replik kan forstås på flere måder, giver gennemgangen tre gengivelser tilbage, hver med sin hensigt og følelse og med begrundelsen for hver af dem.
03
Jeres kreative direktører vælger én eller skriver deres egen og starter så renderingen.

Den samme gennemgang dækker lokaliseringsvalgene, først det, der ikke skal oversættes: slangen bevaret ordret, navnet og brandet bevaret, en reference byttet ud med en, publikum kender, det, kulturen undgår, og færre bandeord i en version til et yngre publikum.

Et ordspil, fra koreansk til engelsk

»사과하려고 사과 사 왔어.« bygger på, at 사과 betyder både undskyldning og æble. Tre gengivelser kommer tilbage:

»Apples. I'm sorry, right down to the core.« Ordspillet bevaret.
»I came to say sorry. I brought apples.« Kun betydningen.
»An apple a day keeps the silent treatment away.« En ny joke.

Den kreative direktør valgte den første og redigerede den.

En stikpille, fra kinesisk til engelsk

»你可真行啊。« kan læses som ros eller som en stikpille, alt efter scenen:

»Wow. You're incredible.« Oprigtig.
»Well, aren't you something.« Sarkastisk, det valgte.
»Look at you, hotshot.« Drillende.

En podcast, et afsnit eller en film rummer mange af den slags passager: jokes, samtaler, historier.

Beslutningerne om lyden

MLDM beslutter, hvad der overhovedet skal oversættes. Den finder hovedstemmen, bærer den over i det nye sprog med talerens egen stemme og lader resten være, som det var. At vise jeres team alle de svære valg i lyden er under udvikling.

Det, der forbliver på originalsproget: et heppekor på stadion, bevaret på koreansk; et råb på tværs af et køkken; en catchphrase, fansene kender. Taleren i baggrunden, som ingen kan opfatte, bliver, som den var, eller kommer tilbage som et valg om alligevel at oversætte.

Beslutningerne om billedet

UNDER UDVIKLING

HVEM DER FAKTISK SIGER DET

HVAD DER REGISTRERESDet ansigt, en replik høres fra, fortælleren, stemmen uden for billedet.

HVAD I KAN GØRENår modellen vælger den forkerte taler, vælger I ansigtet blandt kandidaterne, og læberne bevæger sig på den rigtige person.

TEKSTEN I BILLEDET

HVAD DER REGISTRERESTelefonskærmen, hvor der står 내일 봐, et gadeskilt, en butiksfacade, og det, den i farten lod stå, som det blev filmet: brandet på en pose Tostitos, et navn.

HVAD I KAN GØREHvert element skrives med de termer, I allerede har valgt, som »See you tomorrow«, eller bliver stående, som det blev filmet.

ANSIGTSUDTRYK OG GESTIK

HVAD DER REGISTRERESDe følger den nye repliks betoning eller kulturen.

HVAD I KAN GØREEt løftet øjenbryn, som det nye publikum læser anderledes, kan bevares, som det blev filmet.

Registreret med dubben

Det er protokollen, der gør MLDM til et nyt paradigme og det første af sin slags: en model, der viser sine beslutninger.

Beslutningsprotokollen, som er under udvikling, rummer hver beslutning med dens muligheder, begrundelsen, hvad der blev valgt, og af hvem: modellen, jer eller hukommelsen.

Den er åben under gennemgangen og låst ved renderingen. Ændr en beslutning på en leveret dub, og render igen; kun de sprog, den berører, renderes igen. En dub, der er renderet med review=auto, skriver stadig protokollen, med modellens valg. Selve dubben laves i én omgang ud fra de beslutninger: stemmen, læberne og scenen sammen. De værktøjer, der i dag arbejder i én omgang, gør det omvendt: man uploader én gang og får det, der kommer ud. Vejen til høj kvalitet bevarer i stedet kontrollen i hånden, med et assisterende værktøj, et hold af VFX-artister og uger pr. projekt. Familiar er én omgang og kvaliteten.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Et valg, der er truffet én gang, følger med til næste afsnit

I DAG
To faste beslutninger virker allerede i dag.
Oversæt ikke bevarer en vending, som den blev sagt, og Kontekst giver briefingen på én sætning; I sætter begge før dubben. Protokollen rummer de beslutninger, modellen traf undervejs.
UNDER UDVIKLING
Beslutningshukommelse.
Gem en tilsidesættelse for en creator, et program, en kanal eller en person, og den næste dub anvender den først, når den samme replik, term, navn, heppekor, skilt eller ansigt dukker op igen. Den catchphrase, der blev bevaret på originalsproget, følger med til afsnit 2 uden en ny gennemgang.

På gennemgangsskærmen og i API'et

Under udvikling: gennemgangsskærmen får en skinne med beslutninger. En tidslinje over afsnittet har en markør pr. beslutning, filtreret efter oversættelse, lyd eller billede; hvert kort viser øjeblikket, mulighederne med begrundelsen og modellens valg fremhævet. Ét tryk vælger en anden mulighed, lader jer skrive jeres egen, bevarer originalen eller husker valget for denne creator.

API'et returnerer den samme protokol, så et valg truffet på skærmen ses i API'et og omvendt. Den planlagte overflade, alt sammen under udvikling:

GET /v1/dubs/{dub_id}/decisions

HVAD DET GØRLæser protokollen.

PATCH /v1/dubs/{dub_id}/decisions/{decision_id}

HVAD DET GØRTilsidesætter én beslutning.

decisions.*

HVAD DET GØRIndstillingerne på en ny dub afgør, hvor mange gengivelser der kommer tilbage, niveauet af bandeord, og hvilke valg der sendes tilbage til jer.

dub.decisions_ready

HVAD DET GØRWebhooken udløses, når protokollen er åben.

decisions.json

HVAD DET GØRIndeholder hele protokollen med hver leveret dub.

Referencen findes under Beslutninger; dagens gennemgangstrin findes under Transskription og gennemgang.

SPØRGSMÅL

Hvilke beslutninger kan jeg ændre i dag?

Beslutningerne om oversættelsen. En replik, der kan forstås på flere måder, kommer tilbage som tre gengivelser, hver med sin begrundelse; jeres kreative direktører vælger én eller skriver deres egen og starter så renderingen. Beslutningerne om lyd og billede er under udvikling.

Kan jeg bevare et heppekor på originalsproget?

Det valg er under udvikling. Et heppekor på stadion, et råb eller en catchphrase vil komme tilbage som en lydbeslutning, I kan bevare på kildesproget, og valget kan følge med til næste afsnit.

Hvad hvis modellen valgte det forkerte ansigt?

At vælge et andet ansigt er under udvikling. Replikken vil komme tilbage med kandidatansigterne; I vælger den rigtige taler, og læberne bevæger sig på den person.

Følger et valg med til næste afsnit?

Beslutningshukommelse er under udvikling: en tilsidesættelse, der huskes for en creator, gælder først ved den næste dub. I dag følger Oversæt ikke og Kontekst med på tværs af de dubs, I har sat dem for.

Registrerer review=auto stadig beslutningerne?

Ja. I den planlagte protokol skriver en dub, der renderes uden gennemgang, stadig hver beslutning med modellens valg, så den kan læses efter renderingen. I kan ændre én og rendere igen.

Er det generativ AI?

Nej. MLDM er et nyt paradigme, det første af sin slags. Der er ingen prompt, og intet nyt bliver fundet på: den beslutter, hvordan det, der allerede findes, skal lokaliseres, og viser jer de beslutninger.

REFERENCER

Multimodal oversættelse

Familiar Labs laver en ny generation af dubbing med en multimodal beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse: én model beslutter, hvad der skal lokaliseres på tværs af tekst, lyd og billede, og viser dig valgene. Din stemme og dine læber, båret over i nye sprog. De er et team på 8 med ph.d.er, støttet af Samsung, RedBird og Gold House. Vores mission

Se hele benchmarken →Tal med teamet