Vad en grundmodell för multimodal översättning betyder för studior och plattformar

01. Vad ändrar en grundmodell i dubbningen?

Maskindubbning var förr en kaskad av separata verktyg: transkription, sedan översättning, sedan en röst, sedan läppsynk. Varje steg gissade utan de andra, och felen följde med från ett steg till nästa. Det en köpare möter i dag byter kvalitet mot tid. De assisterande verktygen når kvaliteten med ett team av VFX-artister: veckor per projekt, och varje språk är ett nytt projekt. Verktygen som dubbar i ett svep är snabba och offrar resten: översättningen går inte att redigera, rösten glider iväg, musiken och rummets ljud försvinner, och läpparna hänger inte med vid en hand framför ansiktet, en mikrofon, oskärpa, bokeh, en sidovinkel eller flera personer i bild. Inget rumsligt resonemang, ingen förståelse för världen, ingen kontroll. Familiar ersätter kedjan med en enda multimodal beslutsmodell för lokalisering (MLDM): både ett svep och kvaliteten.

++

Först översättningen, sedan dubbningen i ett enda svep: rösten, läpparna och scenen tillsammans.

Audiovisuell översättning på en gång, inte i kaskad: den första i sitt slag. Definitionen finns i Den första grundmodellen för multimodal översättning; kontrasten mot kaskaden, steg för steg, finns i Audiovisuell översättning på en gång, inte i kaskad.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Räcker en uppladdning för alla marknader vi säljer till?

Ja. Material på något av 99 källspråk går in en gång, och dubbningarna kommer ut på vilka av de 30 utdataspråken du än beställer: alla språk från en uppladdning, vart och ett med samma framförande. En säsong, ett bibliotek eller ett flöde av vertikala avsnitt går samma väg, och termerna du ställt in en gång följer med till nästa avsnitt.

Full mänsklig dubbning, översättning plus röst, kostar $70 till $150 per färdig minut. Till det priset ligger den utom räckhåll för större delen av världen. Även de största produktionerna dubbar bara till ett fåtal språk, på grund av kostnaden, personerna och tiden det tar.

Det är det gapet Familiar sluter. Inte ”generativ AI”, utan översättning i kreatörernas tjänst. MLDM för slitgörat. Från människa till människa, med större räckvidd.

03. Vem avgör hur en replik landar på ett annat språk?

MLDM avgör vad som ska lokaliseras och hur, i text, ljud och bild. Ditt team bestämmer över de val som spelar roll. Översättningen kommer först, och där en replik kan landa på mer än ett sätt ser dina creative directors alternativen och resonemanget bakom vart och ett innan något dubbas.

Varje beslut sparas med dubbningsjobbet, och du kan köra över vilket som helst av dem. Hela historien finns i Besluten bakom dubbningen: så styr creative directors MLDM. Sett enbart till orden är översättningen likvärdig med mänskliga expertöversättare: 100.3% av deras kvalitet, uppmätt i vår benchmark.

04. Vad följer med en färdig dubbning?

En leverans som ditt postproduktionsteam kan lägga direkt i releasen, enligt den specifikation en streamingtjänst kräver. Scenens ljud förblir som det var: musiken, atmosfären och skratten behålls, och bara talet byter språk.

Undertexterna byggs från den granskade översättningen och skärs enligt konventionerna i Netflix Timed Text Style Guide, den mall för undertexter som branschen arbetar efter. Varje fil och format finns listade i dokumentationen om leveransfiler.

05. Var körs vårt material?

Opublicerat material är den tillgång en studio skyddar mest. Varje dubbning bearbetas på Familiars eget GPU-kluster med NVIDIA B300, värt åtta siffror, i Toronto i Kanada, på datorkraft som Familiar äger.

En dubbnings väg och svaren till din säkerhetsgranskning finns i dokumentationen om privat inferens.

06. Vad finns i dag, och vad är under utveckling?

1. I DAG

   Alla språk från en uppladdning, med skådespelarens egen röst och läppar.

   30 utdataspråk, 99 källspråk in; upp till 4K, en äkta 5.1- eller stereomix, undertexter.
2. I DAG

   Dina creative directors granskar översättningsbesluten.

   Alternativen med resonemanget bakom vart och ett, sparade med dubbningsjobbet.
3. UNDER UTVECKLING

   Besluten om ljud och bild, i samma granskning.

   Vad som behålls på originalspråket, ett annat ansikte, vilken text i bilden som ska översättas.
4. UNDER UTVECKLING

   Livedubbning.

Tillgången går via Studio-avtal, anpassade till din katalog: prata med teamet om dina titlar, dina språk och din leveransspecifikation. Teamet består av forskare med doktorsexamen som grundade fältet gemensamma audiovisuella människomodeller: 22 artiklar, över 10 000 citeringar, med professor Xu Zheng och professor Youngjung Uh som rådgivare, och med stöd från Samsung, RedBird och Gold House. Forskningen finns i våra artiklar och i Pionjärer inom multimodal översättning; grundarens berättelse finns på vår uppdragssida.

FRÅGOR