Tradução audiovisual de uma vez só, não em cascata

01. O que foi a era da cascata na dublagem automática?

A dublagem automática começou como uma cascata: quatro ferramentas em fila, cada uma construída e ajustada separadamente, cada uma passando o seu resultado para a seguinte.

1. 01

   Transcrição.

   A conversão de fala em texto escreve o que foi dito.
2. 02

   Tradução.

   Um modelo de texto passa a transcrição para a nova língua, sem ouvir a voz nem ver o rosto.
3. 03

   Uma voz.

   A síntese de voz lê a tradução em voz alta, muitas vezes com a voz de um estranho.
4. 04

   Lip sync.

   Uma ferramenta à parte mexe a boca de acordo com o novo áudio, depois que cada palavra já está fixada.

Essa cadeia tornou a dublagem automática possível. O limite dela está no próprio formato: cada etapa adivinha sem as outras. A tradução não tem como saber que a fala precisa caber numa boca fechada. A voz não tem como saber em que ambiente está. Uma palavra mal ouvida ou uma fala longa demais é passada adiante, e o erro se acumula a cada etapa seguinte.

Cada ferramenta melhorou com os anos: uma transcrição mais limpa, uma tradução mais precisa, uma voz mais natural. A dublagem final melhorou mais devagar, porque as costuras entre as ferramentas continuaram no mesmo lugar.

02. O que um comprador encontra hoje?

Na prática, a cascata chega como uma pilha de ferramentas: a transcrição de uma, a tradução de outra, a voz de uma terceira, o lip sync e as legendas de uma quarta. Corrigir uma fala significa rodar de novo todas as etapas depois dela, e alguém da sua equipe fica segurando os arquivos juntos. As ferramentas que pulam a pilha trocam qualidade por tempo. As ferramentas assistivas chegam à qualidade com uma equipe de artistas de VFX nos planos difíceis: semanas por projeto, e cada língua é um projeto novo. As ferramentas que fazem tudo de uma vez só são rápidas e abrem mão do resto: a voz se afasta da de quem fala, o som ambiente some, e os lábios falham com uma mão na frente do rosto, um microfone, desfoque, bokeh, um rosto de perfil ou várias pessoas no quadro, sem raciocínio espacial e sem compreensão do mundo. A Familiar é de uma vez só e com qualidade.

O outro caminho é a dublagem humana completa, tradução e voz, a $70–150 por minuto finalizado. O custo, a mão de obra e o tempo a deixam fora do alcance da maior parte do mundo: mesmo as grandes produções dublam só algumas línguas, e produções menores, séries e microdramas verticais na maioria das vezes não dublam.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Se você está avaliando o ElevenLabs Dubbing, aqui está a documentação deles, citada, ao lado do nosso estudo:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. O que muda quando um único modelo toma todas as decisões?

A Familiar dubla com um Modelo Multimodal de Decisão de Localização (MLDM). O MLDM decide o que localizar e como, em texto, áudio e imagem, e as decisões combinam entre si porque um único modelo as toma. A definição está em O primeiro modelo de fundação para tradução multimodal.

O que volta para você é a própria performance do ator em outra língua: a voz, os lábios, as expressões e o som da cena, levados juntos. Um upload sai em todas as línguas de uma vez: dublagens em 30 línguas, a partir de imagens em qualquer uma de 99 línguas de origem.

Decidir em conjunto também muda o que pode dar errado. Uma fala que ficaria longa demais é ajustada ao tempo e à boca antes de qualquer voz ser feita. Uma risada no meio de uma frase continua sendo uma risada. Quando duas pessoas falam ao mesmo tempo, o modelo sabe quem está dizendo cada fala, e os lábios certos se mexem.

04. O que isso muda na dublagem final?

Passamos os mesmos clipes pelos dois sistemas e avaliamos do mesmo jeito. Cada número vem do seu próprio estudo, publicado no benchmark.

A voz também é medida: a Familiar soa 27.8% mais parecida com a voz real de quem fala do que o ElevenLabs Dubbing v1, mais próxima em todas as 11 línguas, no estudo citado acima.

A dublagem automática do YouTube teve 232.6% mais erros no som de fundo, no estudo dela. A cena sobrevive porque o MLDM ouve tudo o que está na faixa, as risadas, a plateia, a música, encontra a voz principal, leva essa voz para a nova língua com a própria voz de quem fala e mantém o resto como estava.

05. O que quer dizer "primeiro a tradução, depois a dublagem de uma vez só"?

++

Primeiro a tradução, depois a dublagem de uma vez só: a voz, os lábios e a cena juntos.

A ordem importa. A tradução vem primeiro, e seus diretores criativos a revisam: quando uma fala pode ser lida de mais de um jeito, eles veem as versões com o raciocínio por trás de cada uma e escolhem. Só então a dublagem é feita, uma vez. Nada novo é inventado. Não é “IA generativa”: é tradução a serviço de quem cria. MLDM para a parte chata.

As legendas são cortadas segundo as convenções do Timed Text Style Guide da Netflix, o padrão de modelos de legenda com que a indústria trabalha. Toda dublagem é processada no cluster próprio da Familiar, de dezenas de milhões de dólares em GPUs NVIDIA B300, em Toronto, no Canadá, nunca em nuvem pública como Google Cloud ou AWS, e nunca por um provedor terceirizado de inferência. Os arquivos estão na documentação de saídas, o processamento em inferência privada, e o que isso significa para um catálogo em O que um modelo de fundação para tradução multimodal significa para estúdios e plataformas.

06. Quem dá a palavra final?

1. HOJE

   Seus diretores criativos revisam as decisões de tradução.

   As versões com o raciocínio por trás de cada uma; eles escolhem uma antes de qualquer coisa sair.
2. HOJE

   Uma lista de termos para não traduzir e uma frase de contexto acompanham o trabalho.

3. EM DESENVOLVIMENTO

   As decisões de áudio e imagem, na mesma revisão.

   O que fica na língua original, outro rosto quando o modelo errou quem fala, e o texto no quadro.

O que muda para um catálogo é o alcance. Uma série que ficaria em uma língua pode sair em 30 de uma vez, com as performances dos próprios atores, enquanto a sua equipe continua tomando cada decisão que importa.

Esse é o registro de decisões; a história completa está em O registro de decisões, e o que o modelo decide em O que é MLDM. A pesquisa por trás está em Pioneiros da tradução multimodal. De pessoa para pessoa, ampliando o alcance.

PERGUNTAS