CONTROLE

Het beslissingslogboek: zo sturen creative directors het MLDM

FAMILIAR ONDERZOEKBIJGEWERKT ALLE ARTIKELEN
LEES DIT INEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

SAMENVATTING

Het MLDM is het eerste foundation model voor multimodale vertaling, een nieuw paradigma, het eerste in zijn soort. Elke beslissing die het neemt, wordt bij de dub vastgelegd: u leest haar, past haar aan en bewaart een keuze voor de volgende aflevering. De vertaalbeslissingen worden vandaag nagekeken; die over audio en beeld zijn in de maak.
HET EERSTE FOUNDATION MODEL VOOR MULTIMODALE VERTALING

De beslissingen die u vandaag stuurt

  1. 01

    Eerst komt de vertaling terug.

  2. 02

    Waar een zin meer dan één kant op kan, levert de reviewstap drie vertalingen op, elk voor een andere bedoeling en emotie, met de onderbouwing bij elk ervan.

  3. 03

    Uw creative directors kiezen er één of schrijven hun eigen versie, en daarna wordt er gerenderd.

Dezelfde review omvat de lokalisatiekeuzes, te beginnen met wat onvertaald blijft: de straattaal zoals die gezegd is, de naam en het merk die blijven staan, een verwijzing vervangen door een die het publiek kent, wat die cultuur vermijdt, en minder grof taalgebruik voor een jongere versie.

Een woordspeling, van Koreaans naar Engels

"사과하려고 사과 사 왔어." draait om 사과, dat zowel excuses als appel betekent. Er komen drie vertalingen terug:

  • "Apples. I'm sorry, right down to the core." De woordspeling behouden.
  • "I came to say sorry. I brought apples." Alleen de betekenis.
  • "An apple a day keeps the silent treatment away." Een nieuwe grap.

De creative director koos de eerste en paste die aan.

Een steek onder water, van Chinees naar Engels

"你可真行啊。" leest als lof of als steek onder water, afhankelijk van de scène:

  • "Wow. You're incredible." Gemeend.
  • "Well, aren't you something." Sarcastisch, de gekozen versie.
  • "Look at you, hotshot." Plagerig.

Een podcast, een aflevering of een film bevat veel van zulke fragmenten: de grappen, de gesprekken, de verhalen.

De beslissingen over audio

Het MLDM beslist wat er überhaupt vertaald wordt. Het vindt de hoofdstem, neemt die mee naar de nieuwe taal in de eigen stem van de spreker en laat de rest zoals het was. Uw team elk twijfelgeval in de audio laten zien, is in de maak.

Wat in de oorspronkelijke taal blijft: een spreekkoor in een stadion, in het Koreaans gelaten; een schreeuw door een keuken; een catchphrase die de fans kennen. De spreker op de achtergrond die niemand kan verstaan, blijft zoals hij was, of komt terug als keuze om hem toch te vertalen.

De beslissingen in beeld

IN DE MAAK

WIE HET ECHT ZEGT
WAT WORDT VASTGELEGDHet gezicht waar een zin uit klinkt, de verteller, de stem buiten beeld.
WAT U KUNT DOENAls het model de verkeerde spreker kiest, kiest u het gezicht uit de kandidaten, en bewegen de lippen bij de juiste persoon.
DE TEKST IN BEELD
WAT WORDT VASTGELEGDHet telefoonscherm met 내일 봐, een straatnaambord, een winkelgevel, en wat het model ter plekke liet staan zoals gefilmd: het merk op een zak Tostitos, een naam.
WAT U KUNT DOENElk item wordt geschreven in de termen die u al hebt gekozen, als "Tot morgen", of blijft zoals gefilmd.
MIMIEK EN GEBAREN
WAT WORDT VASTGELEGDZe volgen de nadruk van de nieuwe zin of de cultuur.
WAT U KUNT DOENEen opgetrokken wenkbrauw die het nieuwe publiek anders leest, kan blijven zoals gefilmd.

Vastgelegd bij de dub

Het logboek maakt MLDM tot een nieuw paradigma, het eerste in zijn soort: een model dat zijn beslissingen laat zien.

++
Het beslissingslogboek, in de maak, bevat elke beslissing met de opties, de onderbouwing, wat er gekozen is en door wie: het model, u, of het geheugen.

Het staat open tijdens de review en ligt vast bij het renderen. Wijzig een beslissing in een opgeleverde dub en render opnieuw; alleen de talen die ze raakt, worden opnieuw gerenderd. Een dub die met review=auto is gerenderd, schrijft het logboek ook, met de keuzes van het model. De dub zelf wordt in één keer gemaakt uit die beslissingen: de stem, de lippen en de scène samen. De tools die nu alles in één keer doen, werken andersom: één keer uploaden, en u krijgt wat eruit komt. De route naar hoge kwaliteit houdt de controle juist met de hand vast, met een ondersteunende tool, een team van VFX-artiesten en weken per project. Familiar doet het in één keer, en met de kwaliteit.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Een keuze die u één keer maakt, gaat mee naar de volgende aflevering

  1. VANDAAG

    Twee vaste beslissingen werken vandaag al.

    De Niet-vertalen-lijst houdt een zin zoals die gezegd is, en de contextregel geeft de briefing van één zin; u stelt beide in vóór de dub. Het logboek bevat de beslissingen die het model tijdens de dub nam.
  2. IN DE MAAK

    Een geheugen voor beslissingen.

    Onthoud een aanpassing voor een creator, één show, kanaal of persoon, en de volgende dub past die als eerste toe als dezelfde zin, term, naam, hetzelfde spreekkoor, bord of gezicht terugkomt. De catchphrase die in het origineel bleef, gaat mee naar aflevering 2 zonder tweede review.

Op het reviewscherm en in de API

In de maak: het reviewscherm krijgt een balk met beslissingen. Een tijdlijn van de aflevering toont per beslissing een markering, te filteren op vertaling, audio of beeld; elke kaart toont het moment, de opties met de onderbouwing en de keuze van het model uitgelicht. Met één tik kiest u een andere optie, typt u uw eigen versie, houdt u het origineel aan, of onthoudt u de keuze voor deze creator.

De API geeft hetzelfde logboek terug, dus een keuze op het scherm is zichtbaar in de API en andersom. Het geplande aanbod, helemaal in de maak:

GET /v1/dubs/{dub_id}/decisions
WAT HET DOETLeest het logboek.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
WAT HET DOETPast één beslissing aan.
decisions.*
WAT HET DOETDe instellingen bij een nieuwe dub bepalen hoeveel vertalingen er terugkomen, het niveau van grof taalgebruik, en welke keuzes bij u terugkomen.
dub.decisions_ready
WAT HET DOETDe webhook gaat af zodra het logboek openstaat.
decisions.json
WAT HET DOETBevat het volledige logboek bij elke opgeleverde dub.

De referentie staat bij Beslissingen; de reviewstap van vandaag staat bij Transcript en review.

VRAGEN

Welke beslissingen kan ik vandaag wijzigen?

De vertaalbeslissingen. Een zin die meer dan één kant op kan, komt terug als drie vertalingen, elk met de onderbouwing; uw creative directors kiezen er één of schrijven hun eigen versie, en daarna wordt er gerenderd. De beslissingen over audio en beeld zijn in de maak.

Kan ik een spreekkoor in de oorspronkelijke taal laten?

Die keuze is in de maak. Een spreekkoor in een stadion, een schreeuw of een catchphrase komt terug als audiobeslissing die u in de brontaal kunt laten, en de keuze kan meegaan naar de volgende aflevering.

Wat als het model het verkeerde gezicht kiest?

Een ander gezicht kiezen is in de maak. De zin komt terug met de kandidaat-gezichten; u kiest de juiste spreker, en de lippen bewegen bij die persoon.

Gaat een keuze mee naar de volgende aflevering?

Een geheugen voor beslissingen is in de maak: een aanpassing die voor een creator is onthouden, geldt als eerste bij de volgende dub. Vandaag gaan de Niet-vertalen-lijst en de contextregel mee naar de dubs waarvoor u ze instelt.

Legt review=auto de beslissingen ook vast?

Ja. In het geplande logboek schrijft een dub zonder review toch elke beslissing met de keuze van het model weg, leesbaar na het renderen. U kunt er één wijzigen en opnieuw renderen.

Is dit generatieve AI?

Nee. MLDM is een nieuw paradigma, het eerste in zijn soort. Er is geen prompt en er wordt niets nieuws verzonnen: het beslist hoe je lokaliseert wat er al is, en laat u die beslissingen zien.

BRONNEN

  1. [1]Wat is een multimodaal beslismodel voor lokalisatie (MLDM)?
  2. [2]API: Beslissingen
  3. [3]API: Transcript en review

Multimodale vertaling

Familiar Labs zet met een multimodaal beslismodel voor lokalisatie (MLDM) een generatiesprong in nasynchronisatie. Het eerste foundation model voor multimodale vertaling: één model beslist wat er gelokaliseerd wordt in tekst, audio en beeld, en laat je de keuzes zien. Jouw stem en lippen, meegenomen naar nieuwe talen. Een team van 8 met PhD's, gesteund door Samsung, RedBird en Gold House. Onze missie

Bekijk de volledige benchmark →Praat met het team