Wat een foundation model voor multimodale vertaling betekent voor studio's en platforms

01. Wat verandert een foundation model aan nasynchronisatie?

Machinale nasynchronisatie was vroeger een keten van losse tools: transcriptie, dan vertaling, dan een stem, dan lipsync. Elke stap gokte zonder de andere, en de fouten gingen van stap naar stap mee. Wat een koper vandaag aantreft, ruilt kwaliteit in tegen tijd. De ondersteunende tools halen de kwaliteit met een team van VFX-artiesten: weken per project, en elke taal is een nieuw project. De tools die alles in één keer doen, zijn snel en leveren de rest in: de vertaling is niet te bewerken, de stem lijkt steeds minder op de spreker, de muziek en de ruimteklank vallen weg, en de lippen haperen bij een hand voor het gezicht, een microfoon, onscherpte, bokeh, een zijaanzicht of meerdere mensen in beeld. Geen ruimtelijk redeneren, geen begrip van de wereld, geen controle. Familiar vervangt de keten door één multimodaal beslismodel voor lokalisatie (MLDM): in één keer, en met de kwaliteit.

++

Eerst de vertaling, dan de dub in één keer: de stem, de lippen en de scène samen.

Audiovisuele vertaling in één keer, niet in een keten: de eerste in haar soort. De definitie staat in Het eerste foundation model voor multimodale vertaling; het contrast met de keten, stap voor stap, staat in Audiovisuele vertaling in één keer, niet in een keten.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Dekt één upload elke markt waarin we verkopen?

Ja. Beeldmateriaal in een van 99 brontalen gaat er één keer in, en de dubs komen eruit in elk van de 30 uitvoertalen die u bestelt: elke taal uit één upload, elk met dezelfde performance. Een seizoen, een bibliotheek of een stroom verticale afleveringen volgt hetzelfde pad, en de termen die u één keer vastlegt, gaan mee naar de volgende aflevering.

Een volledige menselijke dub, vertaling plus stem, kost $70 tot $150 per opgeleverde minuut. Tegen dat tarief is die voor het grootste deel van de wereld onbereikbaar. Zelfs topproducties dubben maar een paar talen, vanwege de kosten, de mensen en de tijd die het kost.

Dat is het gat dat Familiar dicht. Geen “generatieve AI”, maar vertaling die creatieven verder brengt. MLDM voor het monnikenwerk. Van mens tot mens, met een groter bereik.

03. Wie beslist hoe een zin in een andere taal aankomt?

Het MLDM beslist wat er gelokaliseerd wordt en hoe, in tekst, audio en beeld. Uw team houdt de regie over de keuzes die ertoe doen. Eerst komt de vertaling, en waar een zin meer dan één kant op kan, zien uw creative directors de opties en de onderbouwing bij elk ervan voordat er iets gedubd wordt.

Elke beslissing wordt bij de opdracht vastgelegd en u kunt alles zelf aanpassen. Het volledige verhaal staat in Het beslissingslogboek. Op de tekst alleen evenaart de vertaling menselijke vertalers van expertniveau: 100.3% van hun kwaliteit, gemeten in de benchmark.

04. Wat krijgt u terug bij een afgewerkte dub?

Een levering die uw postproductieteam zo in de release kan zetten, volgens de specificaties die een streamingdienst vraagt. Het scènegeluid blijft zoals het was: de muziek, de sfeer en het gelach blijven, en alleen de spraak verandert van taal.

De ondertitels worden opgebouwd uit de nagekeken vertaling en opgemaakt volgens de conventies van de Timed Text Style Guide van Netflix, de ondertitelstandaard waar de branche mee werkt. Elk bestand en elk formaat staat in de documentatie over uitvoer.

05. Waar wordt ons beeldmateriaal verwerkt?

Onuitgebracht beeldmateriaal is wat een studio het best beschermt. Elke dub wordt verwerkt op het eigen achtcijferige cluster van NVIDIA B300 GPU's van Familiar in Toronto, Canada, op rekenkracht die Familiar zelf bezit.

Het pad van een dub en de antwoorden voor uw securityreview staan in de documentatie over private inferentie.

06. Wat is er vandaag beschikbaar, en wat is in de maak?

1. VANDAAG

   Elke taal uit één upload, met de eigen stem en lippen van de acteur.

   30 uitvoertalen, 99 brontalen erin; tot 4K, een echte 5.1- of stereomix, ondertitels.
2. VANDAAG

   Uw creative directors kijken de vertaalbeslissingen na.

   De opties met de onderbouwing bij elk ervan, vastgelegd bij de opdracht.
3. IN DE MAAK

   De beslissingen over audio en beeld, in dezelfde review.

   Wat in de oorspronkelijke taal blijft, een ander gezicht, welke tekst in beeld vertaald wordt.
4. IN DE MAAK

   Live nasynchronisatie.

Toegang loopt via een Studio-contract, afgestemd op uw catalogus: praat met het team over uw titels, uw talen en uw leverspecificaties. Het team bestaat uit PhD's die aan de wieg stonden van het vakgebied van audiovisuele modellen van mensen: 22 papers, meer dan 10.000 citaties, met prof. Xu Zheng en prof. Youngjung Uh als adviseurs, gesteund door Samsung, RedBird en Gold House. Het onderzoek staat in onze papers en Pionieren in multimodale vertaling; het verhaal van de oprichter staat op onze missiepagina.

VRAGEN