RESUMÉ
Hvad ændrer en grundmodel ved dubbing?
Maskinel dubbing var før en kæde af separate værktøjer: transskription, så oversættelse, så en stemme, så lipsync. Hvert led gættede uden de andre, og fejlene blev båret videre fra led til led. Det, en køber møder i dag, bytter kvalitet for tid. De assisterende værktøjer når kvaliteten med et hold af VFX-artister: uger pr. projekt, og hvert sprog er et nyt projekt. De værktøjer, der arbejder i én omgang, er hurtige og ofrer resten: oversættelsen kan ikke redigeres, stemmen glider, musikken og rummet forsvinder, og læberne svigter ved en hånd foran ansigtet, en mikrofon, uskarphed, bokeh, en sidevinkel eller flere personer i billedet. Ingen rumlig ræsonnering, ingen forståelse af verden, ingen kontrol. Familiar erstatter kæden med én multimodal beslutningsmodel til lokalisering (MLDM): én omgang og kvaliteten.
KÆDENS TID
- Fire værktøjer, hvert finjusteret for sig.
- En oversættelse skrevet uden den mund, den skal passe til.
- En fremmeds stemme over det originale ansigt.
ÉN GRUNDMODEL
- Én model træffer beslutningerne samlet, så de passer sammen.
- Oversættelsen kender munden; stemmen kender scenen.
- Personen på skærmen forbliver den samme.
Audiovisuel oversættelse på én gang, ikke i kæde: den første af sin slags. Definitionen står i Den første grundmodel til multimodal oversættelse; kontrasten til kæden, trin for trin, står i Audiovisuel oversættelse på én gang, ikke i kæde.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
Kan én upload dække alle de markeder, vi sælger til?
Ja. Optagelser på et hvilket som helst af 99 kildesprog går ind én gang, og dubbene kommer ud på de af de 30 outputsprog, I bestiller: alle sprog fra én upload, hver med den samme præstation. En sæson, et bibliotek eller et flow af vertikale afsnit følger den samme vej, og de termer, I har sat én gang, følger med til næste afsnit.
Komplet dubbing udført af mennesker, oversættelse plus stemme, koster $70 til $150 pr. færdigt minut. Til den pris er den uden for rækkevidde for det meste af verden. Selv de største produktioner dubber kun til få sprog på grund af prisen, folkene og den tid, det tager.
Mindre produktioner, serier og vertikale dramaer dubbes stort set slet ikke.
Det er det hul, Familiar lukker. Ikke »generativ AI«, men oversættelse til gavn for de kreative. MLDM til det møjsommelige arbejde. Fra menneske til menneske, og ud til langt flere.
Hvem beslutter, hvordan en replik lander på et andet sprog?
MLDM beslutter, hvad der skal lokaliseres og hvordan, på tværs af tekst, lyd og billede. Jeres team bevarer styringen over de valg, der betyder noget. Oversættelsen kommer først, og hvor en replik kan forstås på flere måder, ser jeres kreative direktører mulighederne og begrundelsen for hver af dem, før noget dubbes.
BESLUTTET OG VALGT
Hver beslutning registreres på jobbet, og I kan tilsidesætte dem alle. Hele historien står i Beslutningsprotokollen: sådan instruerer kreative direktører MLDM. Alene på ordene matcher oversættelsen menneskelige ekspertoversættere: 100.3% af deres kvalitet, målt i benchmarken.
Hvad følger med en færdig dub?
En leverance, jeres postproduktion kan lægge direkte ind i udgivelsen, efter den specifikation, en streamingtjeneste beder om. Scenens lyd bliver, som den var: musikken, atmosfæren og latteren bevares, og kun talen skifter sprog.
VIDEO
Op til 4K
Lipsync indgår i hver videorendering.
MIX
Ægte 5.1-surround eller stereo
I vælger, i 24-bit PCM. Streamingtjenesterne kræver, at dubben matcher originalmixet: 5.1 ind, 5.1 ud.
SCENENS LYD
Bevaret
Musikken, atmosfæren, latteren og publikum bliver.
UNDERTEKSTER
.srt og .vtt
Højst to linjer, 42 tegn pr. linje, op til 17 tegn i sekundet.
Underteksterne bygges ud fra den gennemgåede oversættelse og klippes efter konventionerne i Netflix' Timed Text Style Guide, den skabelonstandard for undertekster, branchen arbejder efter. Alle filer og formater står i dokumentationen om output.
Hvor behandles vores optagelser?
Uudgivne optagelser er det aktiv, et produktionsselskab beskytter mest. Hver dub behandles på Familiars egen klynge til et ottecifret dollarbeløb af NVIDIA B300 GPU'er i Toronto, Canada, på regnekraft, Familiar selv ejer.
En dubs vej og svarene til jeres sikkerhedsgennemgang står i dokumentationen om privat inferens.
Hvad findes i dag, og hvad er under udvikling?
- I DAG
Alle sprog fra én upload, med skuespillerens egen stemme og læber.
30 outputsprog, 99 kildesprog ind; op til 4K, et ægte 5.1- eller stereomix, undertekster. - I DAG
Jeres kreative direktører gennemgår beslutningerne om oversættelsen.
Mulighederne med begrundelsen for hver af dem, registreret på jobbet. - UNDER UDVIKLING
Beslutningerne om lyd og billede, i den samme gennemgang.
Hvad der forbliver på originalsproget, et andet ansigt, hvilken tekst i billedet der skal oversættes. - UNDER UDVIKLING
Livedubbing.
Adgang sker via Studio-kontrakt, dimensioneret efter jeres katalog: tal med teamet om jeres titler, jeres sprog og jeres leveringsspecifikation. Teamet er ph.d.er, der grundlagde feltet for fælles audiovisuelle modeller af mennesker: 22 artikler, over 10.000 citationer, med Prof. Xu Zheng og Prof. Youngjung Uh som rådgivere, støttet af Samsung, RedBird og Gold House. Forskningen står i vores artikler og Pionerer inden for multimodal oversættelse: fra fælles audiovisuel forskning til den første grundmodel; grundlæggerens historie står på vores missionsside.
SPØRGSMÅL
Hvad ændrer en grundmodel til multimodal oversættelse for et produktionsselskab?
Én upload bærer ordene, stemmen, læberne og scenen over i alle de sprog, I bestiller, på én gang. Skuespilleren beholder sin egen stemme og sit eget ansigt, scenens lyd bliver, og hver beslutning registreres på jobbet.
Kan vores team gennemgå oversættelsen, før dubben laves?
Ja. Oversættelsen kommer først. Hvor en replik kan forstås på flere måder, ser jeres kreative direktører gengivelserne med begrundelsen for hver af dem og vælger én. En Oversæt ikke-liste og en kontekst på én sætning følger med jobbet.
Hvilke filer får vi tilbage?
Den dubbede video i op til 4K, et ægte 5.1-surround- eller stereomix i 24-bit PCM og undertekster i .srt og .vtt, klippet efter konventionerne i Netflix' Timed Text Style Guide. Dubbing af kun lyd findes til podcasts og stemmespor.
Hvor behandles vores optagelser?
Hver dub behandles på Familiars egen klynge til et ottecifret dollarbeløb af NVIDIA B300 GPU'er i Toronto, Canada, på regnekraft, Familiar selv ejer. Den behandles aldrig i en offentlig cloud som Google Cloud eller AWS eller hos en ekstern inferensudbyder.
Er det generativ AI?
Nej. Der er ingen prompt, og intet nyt bliver fundet på. Familiar er en multimodal beslutningsmodel til lokalisering (MLDM), der beslutter, hvordan optagelser, der allerede findes, skal lokaliseres: skuespilleren, timingen og scenen bliver; ordene, stemmesporet og læberne ændres.
Hvordan får vi adgang?
Via Studio-kontrakt, dimensioneret efter jeres katalog. Tal med teamet om jeres titler, jeres sprog og jeres leveringsspecifikation, og start med et pilotprojekt på jeres egne optagelser. Der findes ingen offentlig prisliste.
REFERENCER
Multimodal oversættelse
Familiar Labs laver en ny generation af dubbing med en multimodal beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse: én model beslutter, hvad der skal lokaliseres på tværs af tekst, lyd og billede, og viser dig valgene. Din stemme og dine læber, båret over i nye sprog. De er et team på 8 med ph.d.er, støttet af Samsung, RedBird og Gold House. Vores mission