Het eerste foundation model voor multimodale vertaling

01. Wat is een foundation model voor multimodale vertaling?

Een video zegt meer dan zijn woorden. De stem van de spreker, hoe de mond beweegt, het gelach in de zaal en de muziek onder een scène dragen allemaal betekenis. Een video goed vertalen betekent dat alles meenemen en het met elkaar in overeenstemming houden: de zin moet in de mond passen, de stem moet in de scène staan, en de persoon in beeld moet precies blijven wie hij is.

Een foundation model voor multimodale vertaling is één model dat dat hele werk doet. Het neemt het beeldmateriaal als één geheel en beslist hoe elk deel in de nieuwe taal moet landen. Familiar bouwde het eerste, en noemt het MLDM.

02. Waarom liep nasynchronisatie tot nu toe via losse tools?

Menselijke nasynchronisatie is voor het grootste deel van de wereld altijd onbereikbaar geweest. Zelfs topproducties dubben maar een paar talen, vanwege de kosten, de mensen en de tijd; kleinere producties, series en verticale drama's dubben helemaal niet. Een volledige menselijke dub, vertaling plus stem, kost $70 tot $150 per opgeleverde minuut.

03. Wat verandert er als één model alles tegelijk draagt?

++

Audiovisuele vertaling in één keer, niet in een keten: de eerste in haar soort.

De performance van dezelfde acteur komt erdoor: de eigen stem, de lippen die de nieuwe woorden volgen, de mimiek, en het scènegeluid eromheen. Het gelach, het publiek en de muziek blijven zoals ze waren. Op dezelfde clips had YouTube 232.6% meer fouten in het achtergrondgeluid dan Familiar. Op de tekst alleen evenaart de vertaling de eerste versie van de professional: 100.3% van hun kwaliteit. De volledige cijfers staan op de benchmark.

Het verandert ook het werk rond een dub. De route naar hoge kwaliteit is vandaag ondersteunend: een team van VFX-artiesten werkt wekenlang shot voor shot, en elke taal is een nieuw project. De tools die nu alles in één keer doen, zijn snel en leveren de rest in: de vertaling is niet te bewerken, de muziek en de ruimteklank vallen weg, en de lippen haperen bij de gewone shots, een hand voor het gezicht, een microfoon, onscherpte, bokeh, een zijaanzicht, meerdere mensen in beeld. Geen ruimtelijk redeneren, geen begrip van de wereld. Familiar doet het in één keer, en met de kwaliteit: één upload brengt een video tegelijk naar elke taal die u kiest, en de beslissingen kloppen met elkaar omdat één model ze neemt, dus niets hoeft met de hand weer aan elkaar te worden gezet.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. Waarover beslist MLDM, en wat kiest u zelf?

Het multimodale beslismodel voor lokalisatie is het model zelf. MLDM beslist wat er gelokaliseerd wordt en hoe, in tekst, audio en beeld. De volledige definitie staat in Wat is een multimodaal beslismodel voor lokalisatie (MLDM)?

1. VANDAAG

   De vertaalbeslissingen, nagekeken door uw creative directors.

   Elke beslissing wordt bij de opdracht vastgelegd. U kunt alles zelf aanpassen.
2. IN DE MAAK

   De beslissingen over audio en beeld, in dezelfde review.

3. IN DE MAAK

   De tekst in beeld, en live nasynchronisatie.

   Een telefoonscherm of een straatnaambord, geschreven in de termen die u al hebt gekozen; een merk of een naam blijft zoals gefilmd, ter plekke beslist: een zak Tostitos blijft Tostitos.

Het overzicht van die keuzes staat in Het beslissingslogboek.

05. Wat heeft een studio aan een foundation model?

MLDM voor het monnikenwerk. De creatieve keuzes blijven bij de mensen die het werk maakten; het model brengt de rest tegelijk naar elke taal.

Elke dub wordt verwerkt op dat cluster, nooit door een externe inferentieprovider, dus uw materiaal lekt nooit uit. De details staan in de documentatie over private inferentie en de documentatie over uitvoer. Erachter staan PhD's die aan de wieg stonden van het vakgebied van audiovisuele modellen van mensen: 22 papers, meer dan 10.000 citaties, met prof. Xu Zheng en prof. Youngjung Uh als adviseurs, gesteund door Samsung, RedBird en Gold House. De papers staan in ons onderzoek.

06. Is een foundation model voor vertaling generatieve AI?

Niet in de traditionele zin. IBM omschrijft generatieve AI zo:

Dat is een sterke tool om nieuwe dingen te maken. MLDM heeft geen prompt, en er wordt niets nieuws verzonnen: het brengt wat er al is naar een andere taal. Geen “generatieve AI”, maar vertaling die creatieven verder brengt. Van mens tot mens, met een groter bereik.

De andere papers in deze reeks: Audiovisuele vertaling in één keer, niet in een keten, Wat een foundation model voor multimodale vertaling betekent voor studio's en platforms en Pionieren in multimodale vertaling.

VRAGEN