GUIDE TIL MÅLING

Verdens bedste AI-dubbing: sådan måler man den

FAMILIAR FORSKNINGOPDATERET ALLE ARTIKLER
LÆS ARTIKLEN PÅEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

RESUMÉ

Den bedste AI-dubbing er den, der scorer højest på seks dimensioner på de samme klip: den talte mening, stemmekloning, ansigtet (lipsync og mere til), scenens lyd, vokale hændelser og timing samt arbejdsgang og levering. Alle data, konfidensintervaller og lytteeksempler: benchmark-hubben for dubbing.

»Bedst« kan måles

TABEL 01 · DUBBINGKVALITETENS SEKS DIMENSIONER

Den talte mening
SÅDAN SCORES DETSagde dubben det, I sagde? Vigtige oversættelsesfejl pr. output.
SÅDAN SER EN FEJL UDDubben ændrer eller taber vigtige pointer.
Stemmekloning
SÅDAN SCORES DETLuk øjnene: er det den samme person? Lighed med den rigtige taler.
SÅDAN SER EN FEJL UDYouTubes autodubbing erstatter talerens stemme med en fremmed standardstemme.
Ansigtet
SÅDAN SCORES DETPasser mund, kæbe og ansigtsudtryk til de nye ord? Søgeordet er AI-lipsync; læberne er kun bunden.
SÅDAN SER EN FEJL UDVærktøjer til kun lyd springer denne dimension over.
Scenens lyd
SÅDAN SCORES DETOverlever lydtæppet (musik, atmosfære, lydeffekter) dubben? Spektral fejl mellem dubbens baggrund og kildens.
SÅDAN SER EN FEJL UDMusikken, atmosfæren eller lydeffekterne forsvinder.
Vokale hændelser og timing
SÅDAN SCORES DETLander grin, suk og beats, hvor og som de landede? Korrelation af hændelsernes form; F1 for timing af transienter.
SÅDAN SER EN FEJL UDEt grin, et suk eller et beat lander for sent eller fladt.
Arbejdsgang og levering
SÅDAN SCORES DETTager værktøjet imod jeres klip, og hvad kommer der tilbage? Mindstelængder, loft over batches, antal sprog, opløsning og lydkanaler: 4K ud, ægte 5.1 ud. Streamingtjenester kræver, at dubben matcher det originale mix: 5.1 ind, 5.1 ud.
SÅDAN SER EN FEJL UDEt afvist klip scorer nul på det klip.

Dubbing over for undertekster og speak: guiden til videooversættelse.

Metoden, der gør sammenligninger ærlige

  1. 01

    Parret og black-box.

    Det samme kildeklip og det samme målsprog går til hvert system; kun den endelige lyd, brugeren hører, bliver vurderet.
  2. 02

    Én godkendt betydning.

    Hver dub transskriberes med tidsstempler pr. ord og gennemgås mod den, og gyldige omskrivninger accepteres.
  3. 03

    Akustiske mål sammenligner dubben med kildescenen.

  4. 04

    Lige vægt pr. kildeklip.

    95%-intervallerne gensampler kildeklippene.
  5. 05

    Et afvist klip registreres som en afvisning.

    Separate produkter er separate studier.

De aktuelle tal

Vi kørte denne metode mod ElevenLabs Dubbing to gange den 5. august 2026.
STUDIE A · DUBBING V1 · 418 PARREDE OUTPUT · 38 KLIP · 11 SPROG STUDIE B · DUBBING V2 (ALPHA), DERES NYESTE · 111 PARREDE OUTPUT · MANDARIN · SPANSK · JAPANSK
FIG. 01 · STEMMELIGHED, DUB MOD DEN RIGTIGE TALER · DET STABILE DUBBING V1 · 418 PARREDE OUTPUT · 11 SPROG
Familiar0.4605
ElevenLabs0.3604
FIG. 02 · FEJL I DET TALTE OUTPUT, MARKERET VED GENNEMGANGEN · DET STABILE DUBBING V1 · 418 PARREDE OUTPUT
ElevenLabs258
Familiar132
  • Familiar lyder 27.8% mere som den rigtige taler; alle 11 sprog faldt ud til Familiars fordel.
  • ElevenLabs lavede 95.5% flere fejl markeret ved gennemgangen.
  • Den forudsagte naturlighed lå 10.2% højere for Familiar (eksplorativt).
261%

ElevenLabs havde 261% større spektral fejl i baggrunden.

12.27 MOD 3.40 DB · DUBBING V1
+243.7%

Familiar scorede højere på korrelationen af latterens og reaktionernes form.

0.759 MOD 0.221 · DUBBING V1
+24.3%

Familiar scorede højere på F1 for timingen af lydeffekter og beats.

0.947 MOD 0.762 · DUBBING V1

Mønstret holdt på det nyeste produkt:

FIG. 03 · VIGTIGE OVERSÆTTELSESFEJL I DET TALTE · DUBBING V2 (ALPHA) · 111 PARREDE OUTPUT
ElevenLabs64
Familiar29
270%

ElevenLabs havde 270% større fejl i baggrundslyden: latteren, musikken, atmosfæren.

11.92 MOD 3.22 DB · DUBBING V2 (ALPHA)
221%

ElevenLabs havde 221% større fejl i lydstyrken på latter og reaktioner.

3.32 MOD 1.04 DB · 18 KLIP, 54 SAMMENLIGNINGER · DUBBING V2 (ALPHA)
+28.2%

Familiar scorede højere på korrelationen af latterens og reaktionernes form.

0.960 MOD 0.749 · DUBBING V2 (ALPHA)
56.5%

ElevenLabs havde i alt 56.5% flere markerede dubs.

36 MOD 23
37/38

ElevenLabs' dækning af kildeklip; den afviste klip under 11 sekunder.

FAMILIAR 38/38

Opdeling klip for klip: den direkte sammenligning.

ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Oversættelsesteksten har sit eget studie (august 2026): Familiar mod professionelle ekspertoversættere, bedømt blindt mod eksperters referenceredigeringer.

FIG. 04 · OVERSÆTTELSESKVALITET MOD DEN PROFESSIONELLE EKSPERTS FØRSTE UDKAST · STIPLET LINJE = DEN PROFESSIONELLES 100%
Fransk100.0%
Kinesisk98.2%
Hindi103.3%
Indonesisk99.6%
PROFESSIONELLE EKSPERTOVERSÆTTERES FØRSTE UDKAST
  • 100.3% i gennemsnit over fire sprog: Familiars produktionsoversættelse matcher kvaliteten i den professionelles første udkast.
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Det, ingen gør godt endnu

Lav testen selv

Et grin, musik i baggrunden og en hurtig sidebemærkning: de tre ting knækker dubs.

I behøver ikke stole på nogens tal, heller ikke vores. Til et pilotprojekt med en sæson eller et katalog: Sådan kører man et pilotprojekt med AI-dubbing (2026); til en filmscene med flere talere: Hvad er den bedste AI-dubbing til film?

  • Vælg ét klip med en taler, I kender, med alle tre ting.
  • Dub det i to værktøjer: samme klip, samme målsprog.
  • Tjek ordene. Lad en modersmålstalende, eller en tilbageoversættelse, sammenligne dubben med det, der blev sagt.
  • Luk øjnene, og spørg, hvem der taler. Hvis svaret er »en fortæller«, er stemmekloningen slået fejl.
  • Lyt efter rummet. Er musikken der stadig? Atmosfæren? Grinet, og lyder det som taleren? Og spørg, hvilket mix der leveres: 5.1, stereo eller mono.
  • Se på munden. Holder lipsyncen, og passer hele ansigtet til de nye ord?
FIG. 05 · PRIS PR. FÆRDIGT MINUT PR. MÅLSPROG · ELEVENLABS = $3/MIN VED KASSEN · 5. AUG. 2026 · INTERVALLER VED MIDTPUNKTET
ElevenLabs$3 kun lyd
Menneskelig stemme$39–94
Komplet menneskelig dub$70–150
  • Komplet dubbing udført af mennesker, oversættelse plus stemme, koster $70 til $150 pr. færdigt minut, så den kan ikke bruges i det meste af verden. De assisterende værktøjer til visuel dubbing når udgivelseskvalitet med et hold af VFX-artister og uger pr. projekt, et nyt projekt pr. sprog; de værktøjer, der i dag arbejder i én omgang, er hurtige og ofrer resten, uden kontrol og med en lipsync, der falder fra hinanden ved en hånd foran ansigtet, en mikrofon, uskarphed, bokeh, en sidevinkel eller flere personer i billedet. Familiar er én omgang og kvaliteten: dens multimodale beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse, et nyt paradigme og det første af sin slags, sælges via Studio-kontrakt efter leveringsspecifikationen: én rendering med oversættelsen, talerens egen stemme, scenens lyd og lipsyncen, leveret i op til 4K med et ægte 5.1- eller stereomix. Jeres gennemlæser vælger mellem dens gengivelser af oversættelsen, og hver beslutning registreres på jobbet.
  • Start med demoerne på forsiden.
  • Test det på jeres egne optagelser: skriv til teamet. Kontrakterne tilpasses jeres katalog, med alle 30 sprog, fra hvilket som helst til hvilket som helst (priser).
DEN FØRSTE GRUNDMODEL TIL MULTIMODAL OVERSÆTTELSE
Ét kriterium mere for et katalog: hvor dubben behandles. Familiar kører hver dub på sin egen klynge til et ottecifret dollarbeløb af NVIDIA B300 GPU'er i Toronto, Canada, aldrig i en offentlig cloud som Google Cloud eller AWS og aldrig hos en ekstern inferensudbyder.
PRIVAT INFERENS · TORONTO, CANADA

REFERENCER

  1. [1]Familiar mod ElevenLabs-benchmarken: alle resultater, intervaller og lytteeksempler
  2. [2]ElevenLabs Dubbing-dokumentation
  3. [3]AI mod menneskelig oversættelse: testet mod professionelle

Multimodal oversættelse

Familiar Labs laver en ny generation af dubbing med en multimodal beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse: én model beslutter, hvad der skal lokaliseres på tværs af tekst, lyd og billede, og viser dig valgene. Din stemme og dine læber, båret over i nye sprog. De er et team på 8 med ph.d.er, støttet af Samsung, RedBird og Gold House. Vores mission

Se hele benchmarken →Tal med teamet