O primeiro modelo de fundação para tradução multimodal

01. O que é um modelo de fundação para tradução multimodal?

Um vídeo diz mais do que as suas palavras. A voz de quem fala, o jeito como a boca se mexe, as risadas no ambiente e a música por baixo de uma cena, tudo isso carrega sentido. Traduzir bem um vídeo é levar tudo isso junto, e em acordo: a fala precisa caber na boca, a voz precisa estar na cena, e a pessoa na tela precisa continuar exatamente quem ela é.

Um modelo de fundação para tradução multimodal é um único modelo que faz esse trabalho inteiro. Ele recebe as imagens como uma coisa só e decide como cada parte deve chegar à nova língua. A Familiar construiu o primeiro, e o chama de MLDM.

02. Por que a dublagem passava por ferramentas separadas até agora?

A dublagem humana sempre esteve fora do alcance da maior parte do mundo. Mesmo as grandes produções dublam só algumas línguas, por causa do custo, das pessoas e do tempo; produções menores, séries e microdramas verticais simplesmente não dublam. Uma dublagem humana completa, tradução mais voz, custa de $70 a $150 por minuto finalizado.

03. O que muda quando um só modelo leva tudo de uma vez?

++

Tradução audiovisual de uma vez só, não em cascata: a primeira do gênero.

A performance do mesmo ator chega inteira: a própria voz, os lábios acompanhando as novas palavras, as expressões e o som da cena ao redor. As risadas, a plateia e a música ficam como estavam. Nos mesmos clipes, o YouTube teve 232.6% mais erros no som de fundo do que a Familiar. Só nas palavras, a tradução empata com a primeira versão do profissional especialista: 100.3% da qualidade dele. Os números completos estão no benchmark.

Muda também o trabalho em volta de uma dublagem. O caminho de alta qualidade hoje é assistivo: uma equipe de artistas de VFX trabalha plano a plano durante semanas, e cada língua é um projeto novo. As ferramentas que hoje fazem tudo de uma vez só são rápidas e abrem mão do resto: a tradução não pode ser editada, a música e o som ambiente somem, e os lábios falham nos planos comuns, uma mão na frente do rosto, um microfone, desfoque, bokeh, um rosto de perfil, várias pessoas no quadro. Sem raciocínio espacial, sem compreensão do mundo. A Familiar é de uma vez só e com qualidade: um upload leva um vídeo para todas as línguas que você escolher, de uma vez, e as decisões combinam entre si porque um único modelo as toma, então nada precisa ser costurado de volta à mão.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. O que o MLDM decide, e o que você escolhe?

O Modelo Multimodal de Decisão de Localização é o próprio modelo. O MLDM decide o que localizar e como, em texto, áudio e imagem. A definição completa está em O que é um Modelo Multimodal de Decisão de Localização (MLDM)?

1. HOJE

   As decisões de tradução, revisadas pelos seus diretores criativos.

   Cada decisão fica registrada junto com o trabalho. Você pode alterar qualquer uma delas.
2. EM DESENVOLVIMENTO

   As decisões de áudio e imagem, na mesma revisão.

3. EM DESENVOLVIMENTO

   O texto no quadro, e a dublagem ao vivo.

   A tela de um celular ou uma placa de rua escritas nos termos que você já escolheu; uma marca ou um nome ficam como foram filmados, decididos na hora: um pacote de Tostitos continua Tostitos.

O registro dessas escolhas está em O registro de decisões.

05. O que um estúdio ganha com um modelo de fundação?

MLDM para a parte chata. As decisões criativas ficam com as pessoas que fizeram a obra; o modelo leva o resto para todas as línguas de uma vez.

Toda dublagem é processada nesse cluster, nunca por um provedor terceirizado de inferência, então a sua mídia nunca vaza. Os detalhes estão na documentação de inferência privada e na documentação de saídas. Por trás disso estão doutores que criaram o campo dos modelos audiovisuais conjuntos de pessoas: 22 artigos, mais de 10.000 citações, com o Prof. Xu Zheng e o Prof. Youngjung Uh como consultores, com investimento de Samsung, RedBird e Gold House. Os artigos estão na nossa pesquisa.

06. Um modelo de fundação para tradução é IA generativa?

Não no sentido tradicional. A IBM define a IA generativa assim:

É uma ferramenta poderosa para fazer coisas novas. O MLDM não tem prompt, e nada novo é inventado: ele leva o que já existe para outra língua. Não é “IA generativa”: é tradução a serviço de quem cria. De pessoa para pessoa, ampliando o alcance.

Os outros artigos desta série: Tradução audiovisual de uma vez só, não em cascata, O que um modelo de fundação para tradução multimodal significa para estúdios e plataformas e Pioneiros da tradução multimodal.

PERGUNTAS