KONTROLL

Besluten bakom dubbningen: så styr creative directors MLDM

FAMILIAR FORSKNINGUPPDATERAD ALLA ARTIKLAR
LÄS ARTIKELN PÅEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

SAMMANFATTNING

MLDM är den första grundmodellen för multimodal översättning, ett nytt paradigm, det första i sitt slag. Varje beslut den fattar sparas med dubbningen: du läser det, kör över det och sparar ett val till nästa avsnitt. Översättningsbesluten granskas redan i dag; besluten om ljud och bild är under utveckling.
DEN FÖRSTA GRUNDMODELLEN FÖR MULTIMODAL ÖVERSÄTTNING

Besluten du styr i dag

  1. 01

    Översättningen kommer tillbaka först.

  2. 02

    Där en replik kan landa på mer än ett sätt ger granskningssteget tillbaka tre återgivningar, var och en för en annan avsikt och känsla, med resonemanget bakom var och en.

  3. 03

    Dina creative directors väljer en eller skriver en egen och renderar sedan.

Samma granskning omfattar lokaliseringsbesluten, med vad som inte ska översättas först: slangen som behålls som den sades, namnet och varumärket som behålls, en referens som byts mot en som publiken känner till, det som just den kulturen undviker och svordomarna som tonas ned i en version för yngre publik.

En ordvits, från koreanska till engelska

”사과하려고 사과 사 왔어.” bygger på att 사과 betyder både ursäkt och äpple. Tre återgivningar kommer tillbaka:

  • ”Apples. I'm sorry, right down to the core.” Ordvitsen behålls.
  • ”I came to say sorry. I brought apples.” Bara betydelsen.
  • ”An apple a day keeps the silent treatment away.” Ett nytt skämt.

Teamets creative director valde den första och redigerade den.

En pik, från kinesiska till engelska

”你可真行啊。” kan läsas som beröm eller som en pik, beroende på scenen:

  • ”Wow. You're incredible.” Uppriktigt.
  • ”Well, aren't you something.” Sarkastiskt, det valda.
  • ”Look at you, hotshot.” Retsamt.

En podd, ett avsnitt eller en film rymmer många sådana segment: skämten, samtalen, berättelserna.

Besluten i ljudet

MLDM avgör vad som över huvud taget ska översättas. Den hittar huvudrösten, för den vidare till det nya språket med talarens egen röst och låter resten vara som det var. Att visa ditt team varje gränsfall i ljudet är under utveckling.

Vad som behålls på originalspråket: en ramsa på en arena, kvar på koreanska; ett rop tvärs över ett kök; en slogan som fansen kan. Talaren i bakgrunden som ingen kan urskilja får vara som den var, eller kommer tillbaka som ett val att ändå översätta.

Besluten i bilden

UNDER UTVECKLING

VEM SOM FAKTISKT SÄGER DET
VAD SOM SPARASAnsiktet som en replik hörs från, berättarrösten, rösten utanför bild.
VAD DU KAN GÖRANär modellen väljer fel talare väljer du ansiktet bland kandidaterna, och läpparna rör sig på rätt person.
TEXTEN I BILDEN
VAD SOM SPARASMobilskärmen där det står 내일 봐, en gatuskylt, en butiksfasad, och det modellen i stunden lät stå kvar som det filmades: varumärket på en påse Tostitos, ett namn.
VAD DU KAN GÖRAVarje text skrivs med de termer du redan har valt, som ”See you tomorrow”, eller får stå kvar som den filmades.
ANSIKTSUTTRYCK OCH GESTER
VAD SOM SPARASDe följer den nya replikens betoning eller kulturen.
VAD DU KAN GÖRAEtt höjt ögonbryn som den nya publiken läser annorlunda kan behållas som den filmades.

Sparat med dubbningen

Det är besluten bakom dubbningen som gör MLDM till ett nytt paradigm, det första i sitt slag: en modell som visar sina beslut.

++
Besluten bakom dubbningen, under utveckling, rymmer varje beslut med alternativen, resonemanget, vad som valdes och av vem: modellen, du eller minnet.

De är öppna vid granskningen och låses vid renderingen. Ändra ett beslut i en levererad dubbning och rendera igen; bara de språk som beslutet berör renderas om. En dubbning som renderats med review=auto sparar ändå besluten, med modellens val. Själva dubbningen görs i ett enda svep utifrån de besluten: rösten, läpparna och scenen tillsammans. Dagens verktyg som dubbar i ett svep fungerar tvärtom: ladda upp en gång och ta det som kommer ut. Vägen till hög kvalitet behåller i stället kontrollen för hand, med ett assisterande verktyg, ett team av VFX-artister och veckor per projekt. Familiar är både ett svep och kvaliteten.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Ett val som gjorts en gång följer med till nästa avsnitt

  1. I DAG

    Två stående beslut fungerar redan i dag.

    Översätt inte-listan behåller en fras som den sades, och kontextraden ger en genomgång på en mening; du ställer in båda före dubbningen. Besluten bakom dubbningen rymmer de beslut som modellen fattade under den.
  2. UNDER UTVECKLING

    Beslutsminne.

    Spara ett åsidosättande för en kreatör, en serie, en kanal eller en person, så tillämpar nästa dubbning det först när samma replik, term, namn, ramsa, skylt eller ansikte dyker upp igen. Sloganen som behölls på originalspråket följer med till avsnitt 2 utan en andra granskning.

I granskningsvyn och i API:et

Under utveckling: granskningsvyn får en rad för besluten. En tidslinje över avsnittet har en markering per beslut, filtrerad på översättning, ljud eller bild; varje kort visar ögonblicket, alternativen med resonemanget och modellens val markerat. Ett tryck väljer ett annat alternativ, skriver ett eget, behåller originalet eller sparar valet för den här kreatören.

API:et returnerar samma beslut, så ett val som gjorts i vyn syns i API:et och tvärtom. Den planerade ytan, helt under utveckling:

GET /v1/dubs/{dub_id}/decisions
VAD DET GÖRLäser besluten.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
VAD DET GÖRKör över ett beslut.
decisions.*
VAD DET GÖRInställningarna för en ny dubbning avgör hur många återgivningar som kommer tillbaka, nivån på svordomarna och vilka beslut som kommer tillbaka till dig.
dub.decisions_ready
VAD DET GÖRWebhooken utlöses när besluten är öppna.
decisions.json
VAD DET GÖRInnehåller alla beslut med varje levererad dubbning.

Referensen finns under Beslut; dagens granskningssteg finns under Transkription och granskning.

FRÅGOR

Vilka beslut kan jag ändra i dag?

Översättningsbesluten. En replik som kan landa på mer än ett sätt kommer tillbaka som tre återgivningar, var och en med sitt resonemang; dina creative directors väljer en eller skriver en egen och renderar sedan. Besluten om ljud och bild är under utveckling.

Kan jag behålla en ramsa på originalspråket?

Det valet är under utveckling. En ramsa på en arena, ett rop eller en slogan kommer att komma tillbaka som ett ljudbeslut som du kan behålla på källspråket, och valet kan följa med till nästa avsnitt.

Vad händer om modellen valde fel ansikte?

Att välja ett annat ansikte är under utveckling. Repliken kommer att komma tillbaka med kandidatansiktena; du väljer rätt talare, och läpparna rör sig på den personen.

Följer ett val med till nästa avsnitt?

Beslutsminnet är under utveckling: ett åsidosättande som sparats för en kreatör gäller först vid nästa dubbning. I dag följer Översätt inte-listan och kontextraden med till de dubbningar du ställer in dem för.

Sparas besluten även med review=auto?

Ja. I den planerade lösningen sparar en dubbning som renderats utan granskning ändå varje beslut med modellens val, läsbart efter renderingen. Du kan ändra ett och rendera igen.

Är det här generativ AI?

Nej. MLDM är ett nytt paradigm, det första i sitt slag. Det finns ingen prompt, och inget nytt hittas på: den avgör hur det som redan finns ska lokaliseras och visar dig de besluten.

KÄLLOR

  1. [1]Vad är en multimodal beslutsmodell för lokalisering (MLDM)?
  2. [2]API: Beslut
  3. [3]API: Transkription och granskning

Multimodal översättning

Familiar Labs gör en generation bättre dubbning med en multimodal beslutsmodell för lokalisering (MLDM), den första grundmodellen för multimodal översättning: en enda modell avgör vad som ska lokaliseras i text, ljud och bild, och visar dig valen. Din röst och dina läppar, vidare till nya språk. Ett team på 8 med doktorsexamina och Samsung, RedBird och Gold House i ryggen. Vår mission

Se hela benchmarken →Prata med teamet