EXPLICACIÓ DEL TERME

Sincronització labial amb IA: què és, què se li escapa, què la supera (2026)

FAMILIAR RECERCAACTUALITZAT TOTS ELS ARTICLES
LLEGEIX-HO ENEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

RESUM

La sincronització labial amb IA reajusta la boca a una pista d'àudio nova. És el nom més cercat de la traducció de vídeo i la peça més petita del problema: un doblatge només s'aguanta si la veu continua sent la del parlant, tota la cara interpreta en la nova llengua i l'escena es conserva.

Què és la sincronització labial amb IA

Sincronització labialSINCRONITZACIÓ LABIAL AMB IA

Un model de sincronització labial deforma la boca perquè encaixi amb l'àudio nou; resol el desajust més visible del doblatge clàssic, i res més. Amb qualitat d'estrena, avui és una eina d'assistència: un equip d'artistes de VFX retalla les cares, corregeix les oclusions i revisa cada pla, setmanes per projecte. Les eines de sincronització labial d'una sola passada són ràpides i fallen en els plans corrents: una mà davant de la cara, un micròfon, un desenfocament, un bokeh, un pla de perfil, diverses persones en pantalla; sense raonament espacial i sense comprensió del món. Familiar és d'una sola passada i té la qualitat.

LES ALTRES TRES CAPES D'UN DOBLATGE · AMB NOMÉS SINCRONITZACIÓ LABIAL

VEU
QUÈ LI PASSANo és feina de la sincronització labial; és on la majoria de doblatges perden la persona.
LA RESTA DE LA CARA
QUÈ LI PASSAContinua interpretant la llengua antiga, mig temps desfasada.
ESCENA
QUÈ LI PASSAEl llit sonor (música, efectes, ambient) i les rialles: intactes o malmesos abans d'arribar-hi.

Per què els llavis sols no n'hi ha prou, en xifres

Totes les xifres següents provenen d'estudis aparellats amb els mateixos clips, publicats a /benchmark.

FIG. 01 · SEMBLANÇA AMB EL PARLANT · ESTUDI DE DUBBING V1 · 418 DOBLATGES APARELLATS · 11 LLENGÜES
Familiar0.461
ElevenLabs0.360
FAMILIAR S'ASSEMBLA UN 27.8% MÉS AL PARLANT REAL · MÉS PROPER EN LES 11 LLENGÜES
270%

més dany al so de fons per part d'ElevenLabs (11.92 vs 3.22 dB)

VS EL SEU PRODUCTE MÉS NOU, DUBBING V2 (ALPHA) · 111 DOBLATGES APARELLATS · MÚSICA, EFECTES I AMBIENT DE LA SALA
54.7%

menys errors de traducció importants per a Familiar (29 vs 64)

MATEIX ESTUDI · 3 LLENGÜES
100.3%

de la qualitat d'un traductor humà expert per a Familiar

FRANCÈS, XINÈS, HINDI, INDONESI (PRIMERA VERSIÓ DE TRADUCTORS PROFESSIONALS EXPERTS)
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

La sincronització labial i tot el que ve després

El model multimodal de decisió de localització (MLDM) de Familiar, el primer model fundacional de traducció multimodal, un nou paradigma i el primer del seu gènere, decideix qui parla a la pantalla i després la veu i la cara, de manera que l'edició va més enllà dels llavis.

EL PRIMER MODEL FUNDACIONAL DE TRADUCCIÓ MULTIMODAL

NOMÉS SINCRONITZACIÓ LABIAL

  • Els llavis: reajustats a l'àudio nou.

UN DOBLATGE COMPLET AMB FAMILIAR

  • Tota la cara: els ulls, les celles, les galtes i el cap interpreten la frase en la nova llengua.
  • La veu: la del mateix parlant, en la nova llengua.
  • L'escena: la música i les rialles es queden on eren, i la mescla torna en 5.1 real o estèreo.
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Les opcions: cada decisió queda registrada en el treball i es pot modificar. Avui el teu revisor tria entre les versions de la traducció; triar una altra cara o quin text de la pantalla es tradueix està en preparació.

TOT INCLÒS

la traducció, la veu pròpia del parlant, el so de l'escena i la sincronització labial, lliurada fins a 4K amb una mescla 5.1 real o estèreo, en una sola renderització del vídeo enregistrat, per contracte Studio

ELEVENLABS DONAVA UN PREU DE $3 AL PROCÉS DE COMPRA, NOMÉS ÀUDIO · 5 D'AG. DE 2026

Com ho aplica un estudi: Per què el doblatge grinyola a l'estranger i com ho arreglen els estudis.

REFERÈNCIES

  1. [1]Benchmark Familiar vs ElevenLabs: resultats complets, intervals i exemples d'escolta
  2. [2]Traducció amb IA vs traducció humana: a prova contra professionals
  3. [3]El doblatge de vídeo amb IA, explicat

Traducció multimodal

Familiar Labs fa un doblatge d'una altra generació amb un model multimodal de decisió de localització (MLDM), el primer model fundacional de traducció multimodal: un sol model decideix què cal localitzar en el text, l'àudio i la imatge, i et mostra les opcions. La teva veu i els teus llavis, portats a llengües noves. Un equip de 8 persones amb doctorats, amb el suport de Samsung, RedBird i Gold House. La nostra missió

Mira el benchmark complet →Parla amb l'equip