Van mens tot mens, niet van AI tot AI

01. Empathie

Het draait om emotie. We weten dat een echt mens rauwe emoties speelt, en we voelen met hem mee. Een deel van het publiek wil alleen de stemmen horen; het grootste deel merkt het verschil. En het label komt er hoe dan ook: de grote platforms markeren content die met AI is gemaakt. De kloof gaat dus niet dicht als de pixels beter worden. Die gaat pas dicht als de persoon echt is.

02. Sterrenkracht

We houden van sterren. We kijken een serie om een bekend gezicht en een sterke performance. Als zij het niet echt zijn, verliest de ster zijn aantrekkingskracht, en daarmee ook de grote productie die eromheen is gebouwd.

03. Wat een dub bewaart

Een dub houdt alles gelijk: de persoon, de performance, de scène, de muziek. Alleen de taal verandert. Daarom bouwden we een beslismodel en geen videomodel: wie in beeld de zin uitspreekt, de emotie van een fluistering tot een schreeuw, welke naam of welk merk blijft staan, wat de tekst in beeld zegt. Er wordt niets verzonnen. Het wordt meegenomen.

04. Content die met AI is gemaakt, met moeite

Er komt content die met hulp van AI is gemaakt en content die helemaal met AI is gemaakt, en een deel daarvan wordt met echte moeite gemaakt. Die content heeft nog steeds een dub nodig. Een algemeen model kan dezelfde scène niet opnieuw draaien in een nieuwe taal, met de juiste persoon aan het woord, de lach en de muziek intact en de tekst in beeld vervangen. En juist bij vertalen schieten zelfs de beste algemene modellen op eigen kracht tekort: een grap die niet overkomt, een naam die wordt vertaald, straattaal met een kwalijke betekenis in de nieuwe taal, een onderwerp dat die cultuur liever vermijdt. Content waar weinig moeite in zit, is een dub niet waard; die wordt gewoon per cultuur opnieuw gemaakt. Prima. Daar zijn wij niet voor.

En sommige content valt helemaal niet opnieuw te maken:

Een live moment kun je alleen meenemen. Daar gaat onze volgende versie naartoe.

05. Twee banen

De snelle baan: één keer uploaden en nemen wat eruit komt, zonder controle, met een vertaling die u niet kunt nakijken. De kwaliteitsbaan: de persoon, de performance en de scène blijven overeind, elke beslissing wordt vastgelegd en u kunt die altijd aanpassen, in één keer. Wij kozen bewust voor de tweede baan.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

06. Waarom de kwaliteitsbaan zich opstapelt

Elke titel vult het verslag aan: wat die cultuur liever vermijdt, welke straattaal verkeerd valt, hoe ver het grove taalgebruik mag gaan, de juiste termen, hoe een grap overkomt. Een keuze die u één keer maakt, gaat mee naar de volgende aflevering. Algemene videomodellen kunnen al lang in een taal genereren voordat ze erin kunnen lokaliseren; wij werken in 30 talen, en de nuance stapelt zich op.

++

Van mens tot mens, met een groter bereik.