Den första grundmodellen för multimodal översättning

01. Vad är en grundmodell för multimodal översättning?

En video säger mer än sina ord. Talarens röst, hur munnen rör sig, skratten i rummet och musiken under en scen bär alla betydelse. Att översätta en video väl betyder att föra över allt det och hålla det samstämmigt: repliken måste passa munnen, rösten måste höra hemma i scenen och människan i bild måste förbli precis den hon är.

En grundmodell för multimodal översättning är en enda modell som gör hela det jobbet. Den tar materialet som en helhet och avgör hur varje del ska landa på det nya språket. Familiar byggde den första och kallar den MLDM.

02. Varför har dubbning gått via separata verktyg fram till nu?

Mänsklig dubbning har alltid legat utom räckhåll för större delen av världen. Även de största produktionerna dubbar bara till ett fåtal språk på grund av kostnaden, personerna och tiden; mindre produktioner, serier och vertikala dramer dubbas inte alls. En full mänsklig dubbning, översättning plus röst, kostar $70 till $150 per färdig minut.

03. Vad förändras när en enda modell bär allt på en gång?

++

Audiovisuell översättning på en gång, inte i kaskad: den första i sitt slag.

Samma skådespelares framförande går fram: den egna rösten, läpparna som rör sig efter de nya orden, ansiktsuttrycken och scenens ljud runt omkring. Skratten, publiken och musiken får vara som de var. På samma klipp hade YouTube 232.6% mer fel i bakgrundsljudet än Familiar. Sett enbart till orden är översättningen likvärdig med den professionella expertens första utkast: 100.3% av deras kvalitet. Alla siffror finns i vår benchmark.

Det ändrar också arbetet runt en dubbning. Vägen till hög kvalitet i dag är assisterad: ett team av VFX-artister arbetar tagning för tagning i veckor, och varje språk är ett nytt projekt. Dagens verktyg som dubbar i ett svep är snabba och offrar resten: översättningen går inte att redigera, musiken och rummets ljud försvinner, och läpparna hänger inte med i helt vanliga tagningar, en hand framför ansiktet, en mikrofon, oskärpa, bokeh, en sidovinkel, flera personer i bild. Inget rumsligt resonemang, ingen förståelse för världen. Familiar är både ett svep och kvaliteten: en uppladdning för en video vidare till varje språk du väljer, på en gång, och besluten hänger ihop eftersom en och samma modell fattar dem, så ingenting behöver sys ihop för hand.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. Vad avgör MLDM, och vad väljer du?

Den multimodala beslutsmodellen för lokalisering är själva modellen. MLDM avgör vad som ska lokaliseras och hur, i text, ljud och bild. Hela definitionen finns i Vad är en multimodal beslutsmodell för lokalisering (MLDM)?

1. I DAG

   Översättningsbesluten, granskade av dina creative directors.

   Varje beslut sparas med dubbningsjobbet. Du kan köra över vilket som helst av dem.
2. UNDER UTVECKLING

   Besluten om ljud och bild, i samma granskning.

3. UNDER UTVECKLING

   Texten i bilden, och livedubbning.

   En mobilskärm eller en gatuskylt skriven med de termer du redan har valt; ett varumärke eller ett namn får stå kvar som det filmades, avgjort i stunden: en påse Tostitos förblir Tostitos.

Valen sparas i Besluten bakom dubbningen: så styr creative directors MLDM.

05. Vad får en studio ut av en grundmodell?

MLDM för slitgörat. De kreativa besluten stannar hos dem som gjorde verket; modellen bär resten vidare till varje språk på en gång.

Varje dubbning bearbetas på det klustret, aldrig hos en extern inferensleverantör, så ditt material läcker aldrig. Detaljerna finns i dokumentationen om privat inferens och dokumentationen om leveransfiler. Bakom det står forskare med doktorsexamen som grundade fältet gemensamma audiovisuella människomodeller: 22 artiklar, över 10 000 citeringar, med professor Xu Zheng och professor Youngjung Uh som rådgivare, och med stöd från Samsung, RedBird och Gold House. Artiklarna finns i vår forskning.

06. Är en grundmodell för översättning generativ AI?

Inte i traditionell mening. IBM definierar generativ AI så här:

Det är ett starkt verktyg för att skapa nya saker. MLDM har ingen prompt, och inget nytt hittas på: den för det som redan finns vidare till ett annat språk. Inte ”generativ AI”, utan översättning i kreatörernas tjänst. Från människa till människa, med större räckvidd.

De andra artiklarna i serien: Audiovisuell översättning på en gång, inte i kaskad, Vad en grundmodell för multimodal översättning betyder för studior och plattformar och Pionjärer inom multimodal översättning.

FRÅGOR