Hva en grunnmodell for multimodal oversettelse betyr for studioer og plattformer

01. Hva endrer en grunnmodell ved dubbing?

Maskinell dubbing var tidligere en kaskade av separate verktøy: transkripsjon, så oversettelse, så en stemme, så leppesynk. Hvert ledd gjettet uten de andre, og feilene ble med fra ledd til ledd. Det en kjøper møter i dag, bytter kvalitet mot tid. De assisterende verktøyene når kvaliteten med et team av VFX-artister: uker per prosjekt, og hvert språk er et nytt prosjekt. Verktøyene som dubber i én omgang, er raske og ofrer resten: oversettelsen kan ikke redigeres, stemmen glir bort, musikken og rommet forsvinner, og leppene svikter ved en hånd foran ansiktet, en mikrofon, uskarphet, bokeh, en sidevinkel eller flere personer i bildet. Ingen romlig resonnering, ingen forståelse av verden, ingen kontroll. Familiar erstatter kjeden med én multimodal beslutningsmodell for lokalisering (MLDM): én omgang og kvaliteten.

++

Først oversettelsen, så dubben i én omgang: stemmen, leppene og scenen samlet.

Audiovisuell oversettelse i én omgang, ikke i kaskade: den første i sitt slag. Definisjonen står i Den første grunnmodellen for multimodal oversettelse; kontrasten til kaskaden, steg for steg, står i Audiovisuell oversettelse i én omgang, ikke i kaskade.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Kan én opplasting dekke alle markedene vi selger til?

Ja. Opptak på hvilket som helst av 99 kildespråk går inn én gang, og dubbene kommer ut på de av de 30 målspråkene du bestiller: alle språk fra én opplasting, hver med den samme fremføringen. En sesong, et bibliotek eller en strøm av vertikale episoder følger samme vei, og begrepene du har angitt én gang, følger med til neste episode.

Komplett dubbing utført av mennesker, oversettelse pluss stemme, koster $70 til $150 per ferdig minutt. Til den prisen er den utenfor rekkevidde for det meste av verden. Selv de største produksjonene dubbes bare til noen få språk, på grunn av kostnadene, menneskene og tiden det tar.

Det er gapet Familiar lukker. Ikke «generativ KI», men oversettelse i de kreatives tjeneste. MLDM for det møysommelige arbeidet. Fra menneske til menneske, med større rekkevidde.

03. Hvem avgjør hvordan en replikk lander på et annet språk?

MLDM avgjør hva som skal lokaliseres, og hvordan, på tvers av tekst, lyd og bilde. Teamet ditt bestemmer fortsatt over valgene som betyr noe. Oversettelsen kommer først, og der en replikk kan oppfattes på flere måter, ser de kreative lederne dine alternativene og begrunnelsen bak hvert av dem før noe dubbes.

Hver beslutning lagres sammen med jobben, og du kan overstyre hvilken som helst av dem. Hele historien står i Beslutningsprotokollen: slik styrer kreative ledere MLDM. Ser man bare på ordene, er oversettelsen på nivå med menneskelige ekspertoversettere: 100.3% av kvaliteten deres, målt i benchmarken.

04. Hva kommer tilbake med en ferdig dub?

En leveranse etterarbeidsteamet ditt kan legge rett inn i utgivelsen, etter spesifikasjonen en strømmetjeneste krever. Lyden i scenen blir værende som den var: musikken, atmosfæren og latteren beholdes, og bare talen bytter språk.

Undertekstene bygges fra den gjennomgåtte oversettelsen, tilpasset konvensjonene i Netflix' Timed Text Style Guide, undertekstmalen bransjen arbeider etter. Alle filer og formater står i dokumentasjonen om leveransene.

05. Hvor behandles opptakene våre?

Upubliserte opptak er det et studio beskytter aller mest. Hver dub behandles på Familiars egen GPU-klynge til et åttesifret dollarbeløp, med NVIDIA B300-brikker, i Toronto i Canada, på regnekraft Familiar eier selv.

Veien en dub går, og svarene til sikkerhetsgjennomgangen deres, står i dokumentasjonen om privat inferens.

06. Hva er tilgjengelig i dag, og hva er under utvikling?

1. I DAG

   Alle språk fra én opplasting, med skuespillerens egen stemme og lepper.

   30 målspråk, 99 kildespråk inn; opptil 4K, ekte 5.1- eller stereomiks, undertekster.
2. I DAG

   De kreative lederne dine går gjennom oversettelsesbeslutningene.

   Alternativene med begrunnelsen bak hvert av dem, lagret sammen med jobben.
3. UNDER UTVIKLING

   Lyd- og bildebeslutningene, i den samme gjennomgangen.

   Hva som skal bli stående på originalspråket, et annet ansikt, hvilken tekst i bildet som skal oversettes.
4. UNDER UTVIKLING

   Direktedubbing.

Tilgang skjer gjennom Studio-kontrakt, tilpasset katalogen din: snakk med teamet om titlene, språkene og leveransespesifikasjonen deres. Teamet består av forskere med doktorgrad som grunnla feltet for felles audiovisuelle menneskemodeller: 22 artikler, over 10 000 siteringer, med Prof. Xu Zheng og Prof. Youngjung Uh som rådgivere, og med støtte fra Samsung, RedBird og Gold House. Forskningen finnes i artiklene våre og i Pionerer innen multimodal oversettelse: fra felles audiovisuell forskning til den første grunnmodellen; grunnleggerens historie står på siden om oppdraget vårt.

SPØRSMÅL