SAMMANFATTNING
Vad avgör MLFM?
VALEN DU SER
Varför en enda modell?
EN KEDJA AV VERKTYG
- Tal till text, sedan översättning, sedan en röst, sedan läppsynk, varje steg finjusterat för sig.
- Den kedjan gjorde maskindubbning möjlig.
- Varje steg gissar ändå utan de andra, så felen förstärks från ett steg till nästa.
EN GRUNDMODELL, DEN FÖRSTA I SITT SLAG
- MLFM fattar besluten tillsammans.
- Översättningen vet vilken mun den ska passa.
- Rösten vet vilken scen den hör hemma i.
- Människan förändras aldrig.
Audiovisuell översättning på en gång, inte i kaskad: den första i sitt slag. Det är det som gör MLFM till den första grundmodellen för multimodal översättning: en enda modell som för orden, rösten, läpparna och scenen vidare till ett nytt språk, allt på en gång. Vägen till hög kvalitet i dag är assisterad: ett team av VFX-artister och veckor per projekt, och varje språk är ett nytt projekt. Dagens verktyg som dubbar i ett svep är snabba och offrar resten. Familiar Labs är både ett svep och kvaliteten.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR LABS VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR LABS CLOSER TO THE REAL SPEAKER
Vad är skillnaden mellan lokalisering och översättning?
Översättning är orden. Lokalisering är det en kultur behöver av dem.
Är MLFM generativ AI?
Nej. IBM definierar det så här:
Generativ AI, ibland kallad gen AI, är artificiell intelligens (AI) som kan skapa originellt innehåll som text, bilder, video, ljud eller programkod som svar på en användares prompt eller förfrågan.
Det är ett starkt verktyg för att skapa nya saker. MLFM har ingen prompt, och inget nytt hittas på: den avgör hur det som redan finns ska lokaliseras. Hela vår hållning finns i Varför Familiar Labs inte är traditionell generativ AI och Översättning är inte generering.
Vems beslut är det?
Dina. Varje beslut som MLFM fattar sparas med dubbningen, bland besluten bakom dubbningen.
- I DAG
Dina creative directors granskar översättningsbesluten.
Återgivningarna med resonemanget bakom var och en; de väljer en innan något går ut. - I DAG
En Översätt inte-lista och en kontextrad på en mening följer med jobbet.
- UNDER UTVECKLING
Besluten om ljud och bild, i samma granskning.
- UNDER UTVECKLING
Beslutsminne.
Ett åsidosättande som sparats för en kreatör gäller först vid nästa dubbning, så ett val som gjorts en gång följer med till nästa avsnitt.
Hela historien finns i Besluten bakom dubbningen: så styr creative directors MLFM; det planerade API:et finns i dokumentationen om beslut.
FRÅGOR
Vad står MLFM för?
MLFM står för Multimodal Localization Foundation Model, på svenska en multimodal grundmodell för lokalisering, ett nytt paradigm och det första i sitt slag: en enda modell som avgör vad som ska lokaliseras och hur, i text, ljud och bild. Den väljer återgivningen av en replik, vad som ska översättas i ljudet, vem i bild som talar och hur läpparna, ansiktsuttrycken och gesterna följer med.
Är MLFM en videomodell?
Inte i vanlig mening. MLFM arbetar med material som redan finns och avgör hur det ska lokaliseras: orden, rösten, läpparna och ansiktsuttrycken. Människan i bild förblir precis den hon är, på varje språk.
Skapar MLFM nytt bildmaterial?
Nej. Det finns ingen prompt, och inget nytt hittas på. MLFM avgör hur det som redan finns ska lokaliseras: skådespelaren, tajmingen och scenen består, medan orden, röstspåret och läpparna ändras för att passa det nya språket.
Vad avgör MLFM i ljudet?
Vad som över huvud taget ska översättas. Den hittar huvudrösten och för den vidare till det nya språket med talarens egen röst. Skratten, publiken, ett rop och en talare i bakgrunden som ingen kan urskilja får vara som de var.
Ändrar MLFM ansiktsuttryck?
När betoningen eller kulturen kräver det. Läpparna följer de nya orden i varje replik; ansiktsuttrycken och gesterna följer med när en replik landar annorlunda på det nya språket. Människan förblir precis den hon är.
Översätter MLFM text i bild?
Inte ännu. Texten i bilden, som en mobilskärm, ett bokomslag, en gatuskylt eller en butiksfasad, håller på att integreras och skrivs med de termer du redan har valt; modellen avgör i stunden vad som får stå kvar som det filmades, ett varumärke, ett namn, slang: en påse Tostitos förblir Tostitos. I dag lokaliseras orden, rösten, läpparna, ansiktsuttrycken och gesterna.
Kan jag ändra ett beslut som modellen har fattat?
Ja. Varje beslut sparas med jobbet, och du kan köra över det. I dag väljer dina creative directors bland översättningens återgivningar, var och en med sitt resonemang, och ett val som gjorts en gång följer med till nästa avsnitt.
Visar modellen sina val i ljud och bild?
Översättningsvalen visas i dag. Valen i ljudet, som vad som behålls på originalspråket, och valen i bilden, som att välja ett annat ansikte eller vilken text i bilden som ska översättas, är under utveckling.
KÄLLOR
Multimodal översättning
Familiar Labs gör en generation bättre dubbning med en multimodal grundmodell för lokalisering (MLFM), den första grundmodellen för multimodal översättning: en enda modell avgör vad som ska lokaliseras i text, ljud och bild, och visar dig valen. Din röst och dina läppar, vidare till nya språk. Ett team på 7 med doktorsexamina och Samsung, RedBird och Gold House i ryggen. Vår mission