NOTA DE PESQUISA

O que importa na tradução de vídeo

FAMILIAR PESQUISAATUALIZADO TODOS OS ARTIGOS

RESUMO

Quatro coisas decidem se uma dublagem se sustenta: a tradução soa como se tivesse sido escrita na língua de destino, o áudio continua soando como quem fala, o texto na tela acompanha e os lábios combinam. As duas primeiras condicionam todo o resto. No fim, as quatro são o mesmo problema: a mesma performance, em outra língua.

Os quatro problemas

Pergunte o que faz um vídeo dublado ser bom e a lista sai comprida. Ela cabe em quatro itens:

TRADUÇÃO NATURAL
O QUE É FAZER BEMUm roteiro novo na língua de destino, que transmite bem o vídeo; não uma correspondência frase a frase.
ÁUDIO NATURAL
O QUE É FAZER BEMA mesma pessoa, a mesma emoção, a mesma ênfase, na nova língua.
TEXTO NA TELA
O QUE É FAZER BEMAdaptado à língua e ao momento em que aparece, sem estragar o vídeo.
LIP SYNC
O QUE É FAZER BEMInvisível. Quem assiste nunca percebe que ele aconteceu.

Se as duas primeiras falham, nada depois importa: uma frase mal traduzida ou uma voz que soa claramente errada derruba a dublagem sozinha. As duas últimas decidem se o resultado parece o original ou parece dublagem.

Tradução natural: um roteiro novo, não uma correspondência

Cada língua diz as coisas do seu jeito: as palavras, as expressões, a estrutura da frase, as formas de tratamento, o que se diz e o que se deixa de dizer. Peça a um modelo para "traduzir" e ele faz a correspondência frase a frase, da língua A para a língua B. As pessoas fazem o mesmo: quando a tarefa é enquadrada como tradução, ela vira conversão de frases.

Uma dublagem traduzida assim é compreensível e está errada.

O que o público precisa é de um roteiro novo, escrito na língua de destino, que transmita bem o conteúdo do vídeo.
  • O japonês costuma evitar formulações diretas demais; muitas vezes uma fala natural precisa ser reconstruída de forma indireta, não suavizada palavra por palavra.
  • O coreano omite o sujeito o tempo todo; levar os pronomes do inglês para o coreano na mesma frequência soa estrangeiro, mesmo com cada palavra correta.
  • A ordem das palavras, o registro, os honoríficos e o que uma cultura deixa implícito mudam de língua para língua; uma tradução não é boa só porque o sentido literal sobreviveu.

"Bem" não cabe num checklist, então resumimos o objetivo a uma frase: transmitir bem o conteúdo do vídeo na língua de destino. Isso dá para medir:

100.3%

da qualidade da tradução humana especializada, na tradução da Familiar, com avaliação às cegas contra edições de referência de especialistas

FRANCÊS, CHINÊS, HINDI, INDONÉSIO (PRIMEIRA VERSÃO DE TRADUTORES PROFISSIONAIS ESPECIALISTAS)
54.7%

menos erros importantes de tradução da Familiar nos mesmos clipes (29 contra 64)

VS ELEVENLABS DUBBING V2 (ALPHA) · 111 DUBLAGENS PAREADAS · 3 LÍNGUAS

Áudio natural: a mesma pessoa, numa nova língua

A pronúncia está quase resolvida. As falhas interessantes vêm depois dela:

  • Identidade: a mesma pessoa continua soando como a mesma pessoa, em todas as línguas.
  • Emoção: o que quem fala sentiu sobrevive à troca de língua.
  • Ênfase, ritmo, intenção: onde a frase pesa, a velocidade com que anda, o que ela quer fazer.

O objetivo se resume do mesmo jeito que o da tradução: o áudio combina com o vídeo. Não é "gerar a língua B com a voz da língua A". A mesma performance, numa nova língua. E a cena faz parte do áudio: as risadas, a música, o som ambiente.

270%

mais erros no som de fundo na ElevenLabs (11.92 contra 3.22 dB): música, efeitos, som ambiente

ESTUDO DO DUBBING V2 (ALPHA) · MESMOS CLIPES
+27.8%

mais semelhança com a voz real de quem fala na Familiar (0.461 contra 0.360), mais próxima em todas as 11 línguas

VS ELEVENLABS · ESTUDO DO DUBBING V1 · 418 DUBLAGENS PAREADAS
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

O texto na tela faz parte do vídeo

O vídeo de hoje se apoia no texto na tela: legendas embutidas, piadas, memes, uma única palavra no tempo de uma batida. Cada um é um evento visual na língua de origem. Adaptá-lo tem duas exigências:

  • Nunca estragar o vídeo. Artefatos ou distrações visuais deixam o resultado pior que o original.
  • Nunca traduzir ao pé da letra. É preciso entender por que aquele texto aparece naquele momento, naquele lugar, antes de adaptá-lo.

Hoje o Modelo Multimodal de Decisão de Localização (MLDM) da Familiar, o primeiro modelo de fundação para tradução multimodal, um novo paradigma e o primeiro do gênero, traduz títulos, descrições e legendas junto com a dublagem. O texto no quadro está em desenvolvimento: a tela de um celular ou uma placa de rua, escrita nos termos que você já escolheu, uma marca ou um nome mantidos como foram filmados, decididos na hora, então um pacote de Tostitos continua Tostitos, e você escolhe qual texto traduzir. A regra vale: se a edição pode ser notada, ainda não está boa o bastante.

O PRIMEIRO MODELO DE FUNDAÇÃO PARA TRADUÇÃO MULTIMODAL

Lip sync: acertar sem ser notado

O lip sync carrega a mesma exigência dura: nunca estragar o vídeo. O maior elogio que o lip sync de uma dublagem pode receber é a pergunta "o que mudou?"

Parece o menos importante dos quatro; na experiência final, é quase o contrário. A gente também ouve com os olhos: o mesmo áudio é percebido como sons diferentes sobre movimentos de boca diferentes, o efeito McGurk. Uma boca que não combina é um dos motivos pelos quais o vídeo dublado incomoda de um jeito que o público não sabe nomear.
McGURK & MacDONALD, “HEARING LIPS AND SEEING VOICES,” NATURE 264 (1976)

O efeito também trabalha a favor da dublagem. Quando a boca combina, o cérebro resolve a ambiguidade a favor da concordância: a pronúncia soa mais clara, e o timbre soa mais como o da mesma pessoa.

As partes difíceis: vozes fora de quadro, falas sobrepostas, pessoas que se parecem na aparência ou na voz, e editar a boca sem quebrar o rosto. Coloque duas pessoas na tela e as ferramentas de hoje fazem o lip sync das duas bocas ao mesmo tempo.

Os lábios são só o começo. Uma pessoa interpreta uma frase com o rosto inteiro, os olhos, as sobrancelhas, as bochechas, a cabeça, e com o corpo: os gestos, os acenos, a meia batida de quem escuta.

Um problema, não quatro

Cada exigência acabou se resumindo à mesma frase. Tradução natural: escrever o que este vídeo diz, na língua de destino. Áudio natural: manter a mesma performance nas novas palavras. Texto na tela: saber por que ele está ali antes de mexer nele. Lip sync: editar a pessoa sem quebrá-la.

A mesma performance, em outra língua.

É isso que o MLDM decide, medido nos mesmos clipes e publicado em /benchmark. Cada decisão fica registrada junto com o trabalho e pode ser alterada; hoje, seus diretores criativos escolhem entre as versões da tradução.

REFERÊNCIAS

  1. [1]Benchmark Familiar vs ElevenLabs: resultados completos, intervalos e exemplos para ouvir
  2. [2]IA vs tradução humana: testada contra profissionais
  3. [3]Lip sync com IA: o que é, o que perde, o que supera
  4. [4]Dublagem que não convence no exterior: como os estúdios resolvem (a versão deste argumento para estúdios)
  5. [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)

TRADUÇÃO MULTIMODAL

A Familiar Labs faz dublagem uma geração à frente com um Modelo Multimodal de Decisão de Localização (MLDM), o primeiro modelo de fundação para tradução multimodal: um só modelo decide o que localizar em texto, áudio e imagem, e mostra para você as escolhas. Sua voz e seus lábios, levados para novas línguas. Uma equipe de 8, com doutores, investida por Samsung, RedBird e Gold House. Nossa missão