Pioneiros da tradução multimodal: da pesquisa audiovisual conjunta ao primeiro modelo de fundação

01. Quem criou os modelos audiovisuais conjuntos de pessoas?

Uma dublagem só se sustenta se a voz e o rosto continuam sendo a mesma pessoa. Os pesquisadores da Familiar são doutores que criaram o campo dos modelos audiovisuais conjuntos de pessoas: o artigo deles, JAM-Flow, na ECCV 2026, é o primeiro modelo audiovisual conjunto de pessoas, que trata a voz e o rosto de quem fala como um só problema.

O trabalho cobre as peças de que a tradução multimodal precisa: modelos audiovisuais conjuntos de pessoas, modelos de vídeo rápidos, edição e percepção multimodal. Cada artigo e cada conferência estão na visão geral da nossa pesquisa. O motivo é pessoal: An Zhu Liu, o CEO, não conseguia falar inglês com os colegas de classe quando criança e aprendeu a língua pela televisão, uma história contada na página da nossa missão.

02. Por que a dublagem passava por ferramentas separadas?

Porque cada peça foi resolvida sozinha primeiro. A dublagem automática chegou como uma cadeia, e foi essa cadeia que a tornou possível. Ela também definiu o seu limite, e as ferramentas construídas desde então ainda trocam qualidade por tempo. As ferramentas assistivas chegam à qualidade com uma equipe de artistas de VFX e semanas por projeto, um projeto novo por língua. As ferramentas que fazem tudo de uma vez só são rápidas e abrem mão do resto: os lábios delas falham com uma mão na frente do rosto, um microfone, desfoque, bokeh, um rosto de perfil ou várias pessoas no quadro, sem raciocínio espacial e sem compreensão do mundo. A Familiar é de uma vez só e com qualidade.

++

A Familiar é o primeiro modelo de fundação para tradução multimodal: um único modelo que leva as palavras, a voz, os lábios e a cena para uma nova língua, tudo de uma vez.

O contraste passo a passo está em Tradução audiovisual de uma vez só, não em cascata; a definição está em O primeiro modelo de fundação para tradução multimodal.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. O que quer dizer ser pioneiro aqui?

Três coisas, juntas pela primeira vez. A primeira é o áudio e a imagem levados para a nova língua de uma vez, por um único modelo, então as decisões combinam: a voz é a do próprio ator, os lábios acompanham as novas palavras, e as risadas, a plateia e a música ficam onde estavam.

A segunda é a ordem. Primeiro a tradução, depois a dublagem de uma vez só: a voz, os lábios e a cena juntos. As palavras são definidas, e revisadas pelos seus diretores criativos, antes de qualquer voz ser feita.

A terceira é o registro. Cada decisão que o MLDM toma fica registrada junto com o trabalho, e você pode alterar qualquer uma delas. O relato completo está em O registro de decisões; o que é o MLDM, no artigo que o define.

04. O que o modelo decide, e o que você escolhe?

Um resultado de pesquisa vira produto quando as pessoas que o usam continuam no comando. MLDM para a parte chata. As decisões criativas continuam suas.

05. O que ainda está em desenvolvimento?

Ser pioneiro quer dizer a primeira versão, não a última. As escolhas de tradução estão abertas hoje; o resto do registro abre por etapas.

1. HOJE

   Seus diretores criativos revisam as decisões de tradução.

   As versões com o raciocínio por trás de cada uma; uma lista de termos para não traduzir e uma frase de contexto acompanham o trabalho.
2. EM DESENVOLVIMENTO

   As decisões de áudio e imagem, na mesma revisão.

3. EM DESENVOLVIMENTO

   O texto no quadro.

   A tela de um celular, a capa de um livro, uma placa de rua, escritas nos termos que você já escolheu; uma marca ou um nome ficam como foram filmados, decididos na hora: um pacote de Tostitos continua Tostitos.
4. EM DESENVOLVIMENTO

   Dublagem ao vivo.

06. O que isso muda para quem está na tela?

A dublagem humana está fora do alcance da maior parte do mundo. Mesmo as grandes produções dublam só algumas línguas, pelo custo, pelas pessoas e pelo tempo que leva; produções menores, séries e microdramas verticais na maioria das vezes não dublam. Um modelo de fundação para tradução multimodal dá a cada um deles a mesma performance em outra língua: a voz, os lábios e as expressões do ator em 30 línguas, entregues em até 4K com mixagem surround 5.1 real ou estéreo em PCM de 24 bits (as saídas).

A tradução mede 100.3% da qualidade da tradução humana especializada, um empate; os estudos estão em /benchmark. Não é “IA generativa”: é tradução a serviço de quem cria. De pessoa para pessoa, ampliando o alcance. O que isso significa para um catálogo está no artigo para estúdios e plataformas.

PERGUNTAS