RESUMO
Os quatro problemas
Pergunte o que faz um vídeo dublado ser bom e a lista sai comprida. Ela cabe em quatro itens:
Se as duas primeiras falham, nada depois importa: uma frase mal traduzida ou uma voz que soa claramente errada derruba a dublagem sozinha. As duas últimas decidem se o resultado parece o original ou parece dublagem.
Tradução natural: um roteiro novo, não uma correspondência
Cada língua diz as coisas do seu jeito: as palavras, as expressões, a estrutura da frase, as formas de tratamento, o que se diz e o que se deixa de dizer. Peça a um modelo para "traduzir" e ele faz a correspondência frase a frase, da língua A para a língua B. As pessoas fazem o mesmo: quando a tarefa é enquadrada como tradução, ela vira conversão de frases.
Uma dublagem traduzida assim é compreensível e está errada.
- O japonês costuma evitar formulações diretas demais; muitas vezes uma fala natural precisa ser reconstruída de forma indireta, não suavizada palavra por palavra.
- O coreano omite o sujeito o tempo todo; levar os pronomes do inglês para o coreano na mesma frequência soa estrangeiro, mesmo com cada palavra correta.
- A ordem das palavras, o registro, os honoríficos e o que uma cultura deixa implícito mudam de língua para língua; uma tradução não é boa só porque o sentido literal sobreviveu.
"Bem" não cabe num checklist, então resumimos o objetivo a uma frase: transmitir bem o conteúdo do vídeo na língua de destino. Isso dá para medir:
da qualidade da tradução humana especializada, na tradução da Familiar, com avaliação às cegas contra edições de referência de especialistas
FRANCÊS, CHINÊS, HINDI, INDONÉSIO (PRIMEIRA VERSÃO DE TRADUTORES PROFISSIONAIS ESPECIALISTAS)menos erros importantes de tradução da Familiar nos mesmos clipes (29 contra 64)
VS ELEVENLABS DUBBING V2 (ALPHA) · 111 DUBLAGENS PAREADAS · 3 LÍNGUASÁudio natural: a mesma pessoa, numa nova língua
A pronúncia está quase resolvida. As falhas interessantes vêm depois dela:
- Identidade: a mesma pessoa continua soando como a mesma pessoa, em todas as línguas.
- Emoção: o que quem fala sentiu sobrevive à troca de língua.
- Ênfase, ritmo, intenção: onde a frase pesa, a velocidade com que anda, o que ela quer fazer.
O objetivo se resume do mesmo jeito que o da tradução: o áudio combina com o vídeo. Não é "gerar a língua B com a voz da língua A". A mesma performance, numa nova língua. E a cena faz parte do áudio: as risadas, a música, o som ambiente.
mais erros no som de fundo na ElevenLabs (11.92 contra 3.22 dB): música, efeitos, som ambiente
ESTUDO DO DUBBING V2 (ALPHA) · MESMOS CLIPESmais semelhança com a voz real de quem fala na Familiar (0.461 contra 0.360), mais próxima em todas as 11 línguas
VS ELEVENLABS · ESTUDO DO DUBBING V1 · 418 DUBLAGENS PAREADASEditing the translation means their old model.
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES
261%
ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE
+243.7%
FAMILIAR ON LAUGHTER AND REACTION SHAPE
O texto na tela faz parte do vídeo
O vídeo de hoje se apoia no texto na tela: legendas embutidas, piadas, memes, uma única palavra no tempo de uma batida. Cada um é um evento visual na língua de origem. Adaptá-lo tem duas exigências:
- Nunca estragar o vídeo. Artefatos ou distrações visuais deixam o resultado pior que o original.
- Nunca traduzir ao pé da letra. É preciso entender por que aquele texto aparece naquele momento, naquele lugar, antes de adaptá-lo.
Hoje o Modelo Multimodal de Decisão de Localização (MLDM) da Familiar, o primeiro modelo de fundação para tradução multimodal, um novo paradigma e o primeiro do gênero, traduz títulos, descrições e legendas junto com a dublagem. O texto no quadro está em desenvolvimento: a tela de um celular ou uma placa de rua, escrita nos termos que você já escolheu, uma marca ou um nome mantidos como foram filmados, decididos na hora, então um pacote de Tostitos continua Tostitos, e você escolhe qual texto traduzir. A regra vale: se a edição pode ser notada, ainda não está boa o bastante.
Lip sync: acertar sem ser notado
O lip sync carrega a mesma exigência dura: nunca estragar o vídeo. O maior elogio que o lip sync de uma dublagem pode receber é a pergunta "o que mudou?"
O efeito também trabalha a favor da dublagem. Quando a boca combina, o cérebro resolve a ambiguidade a favor da concordância: a pronúncia soa mais clara, e o timbre soa mais como o da mesma pessoa.
As partes difíceis: vozes fora de quadro, falas sobrepostas, pessoas que se parecem na aparência ou na voz, e editar a boca sem quebrar o rosto. Coloque duas pessoas na tela e as ferramentas de hoje fazem o lip sync das duas bocas ao mesmo tempo.
Os lábios são só o começo. Uma pessoa interpreta uma frase com o rosto inteiro, os olhos, as sobrancelhas, as bochechas, a cabeça, e com o corpo: os gestos, os acenos, a meia batida de quem escuta.
Um problema, não quatro
Cada exigência acabou se resumindo à mesma frase. Tradução natural: escrever o que este vídeo diz, na língua de destino. Áudio natural: manter a mesma performance nas novas palavras. Texto na tela: saber por que ele está ali antes de mexer nele. Lip sync: editar a pessoa sem quebrá-la.
A mesma performance, em outra língua.
É isso que o MLDM decide, medido nos mesmos clipes e publicado em /benchmark. Cada decisão fica registrada junto com o trabalho e pode ser alterada; hoje, seus diretores criativos escolhem entre as versões da tradução.
REFERÊNCIAS
- [1]Benchmark Familiar vs ElevenLabs: resultados completos, intervalos e exemplos para ouvir
- [2]IA vs tradução humana: testada contra profissionais
- [3]Lip sync com IA: o que é, o que perde, o que supera
- [4]Dublagem que não convence no exterior: como os estúdios resolvem (a versão deste argumento para estúdios)
- [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)
TRADUÇÃO MULTIMODAL
A Familiar Labs faz dublagem uma geração à frente com um Modelo Multimodal de Decisão de Localização (MLDM), o primeiro modelo de fundação para tradução multimodal: um só modelo decide o que localizar em texto, áudio e imagem, e mostra para você as escolhas. Sua voz e seus lábios, levados para novas línguas. Uma equipe de 8, com doutores, investida por Samsung, RedBird e Gold House. Nossa missão
