RESUMO
O que o MLDM decide?
AS ESCOLHAS QUE VOCÊ VÊ
Por que um só modelo?
UMA CADEIA DE FERRAMENTAS
- Transcrição, depois tradução, depois uma voz, depois lip sync, cada etapa ajustada separadamente.
- Foi essa cadeia que tornou a dublagem automática possível.
- Cada etapa ainda adivinha sem as outras, então os erros se acumulam de uma etapa para a seguinte.
UM MODELO DE FUNDAÇÃO, O PRIMEIRO DO GÊNERO
- O MLDM toma as decisões em conjunto.
- A tradução conhece a boca em que precisa caber.
- A voz conhece a cena em que está.
- A pessoa nunca muda.
Tradução audiovisual de uma vez só, não em cascata: a primeira do gênero. É isso que faz do MLDM o primeiro modelo de fundação para tradução multimodal: um único modelo que leva as palavras, a voz, os lábios e a cena para uma nova língua, tudo de uma vez. O caminho de alta qualidade hoje é assistivo: uma equipe de artistas de VFX e semanas por projeto, e cada língua é um projeto novo. As ferramentas que hoje fazem tudo de uma vez só são rápidas e abrem mão do resto. A Familiar é de uma vez só e com qualidade.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
Qual é a diferença entre localização e tradução?
Tradução são as palavras. Localização é o que uma cultura precisa delas.
O MLDM é IA generativa?
Não. A IBM a define assim:
A IA generativa, às vezes chamada de gen AI, é a inteligência artificial (IA) que pode criar conteúdo original, como texto, imagens, vídeo, áudio ou código de software, em resposta ao prompt ou à solicitação de um usuário.
É uma ferramenta poderosa para fazer coisas novas. O MLDM não tem prompt, e nada novo é inventado: ele decide como localizar o que já existe. A posição completa está em Por que a Familiar não é IA generativa tradicional e em Traduzir não é gerar.
De quem são as decisões?
Suas. Cada decisão que o MLDM toma fica registrada junto com a dublagem, no registro de decisões.
- HOJE
Seus diretores criativos revisam as decisões de tradução.
As versões com o raciocínio por trás de cada uma; eles escolhem uma antes de qualquer coisa sair. - HOJE
Uma lista de termos para não traduzir e uma frase de contexto acompanham o trabalho.
- EM DESENVOLVIMENTO
As decisões de áudio e imagem, na mesma revisão.
- EM DESENVOLVIMENTO
Memória de decisões.
Uma alteração lembrada para um criador vale primeiro na próxima dublagem, então uma escolha feita uma vez vale para o próximo episódio.
A história completa está em O registro de decisões; a API planejada está na documentação das decisões.
PERGUNTAS
O que significa MLDM?
MLDM quer dizer Modelo Multimodal de Decisão de Localização (Multimodal Localization Decision Model), um novo paradigma e o primeiro do gênero: um único modelo que decide o que localizar e como, em texto, áudio e imagem. Ele escolhe a versão de uma fala, o que traduzir no áudio, quem na tela está falando e como os lábios, as expressões e os gestos acompanham.
O MLDM é um modelo de vídeo?
Não no sentido usual. O MLDM trabalha sobre imagens que já existem e decide como localizá-las: as palavras, a voz, os lábios e as expressões. A pessoa na tela continua exatamente quem ela é, em todas as línguas.
O MLDM cria imagens novas?
Não. Não há prompt, e nada novo é inventado. O MLDM decide como localizar o que já existe: o ator, o tempo e a cena ficam, enquanto as palavras, a faixa de voz e os lábios mudam para caber na nova língua.
O que o MLDM decide no áudio?
O que deve ser traduzido, antes de tudo. Ele encontra a voz principal e a leva para a nova língua com a própria voz de quem fala. As risadas, a plateia, um grito e alguém ao fundo que ninguém consegue entender ficam como estavam.
O MLDM muda as expressões?
Quando a ênfase ou a cultura pedem. Os lábios acompanham as novas palavras em todas as falas; as expressões e os gestos acompanham quando uma fala soa diferente na nova língua. A pessoa continua exatamente quem ela é.
O MLDM traduz o texto na tela?
Ainda não. O texto no quadro, como a tela de um celular, a capa de um livro, uma placa de rua ou uma fachada de loja, está sendo integrado agora, escrito nos termos que você já escolheu; o modelo decide na hora o que fica como foi filmado, uma marca, um nome, uma gíria: um pacote de Tostitos continua Tostitos. Hoje, as palavras, a voz, os lábios, as expressões e os gestos são localizados.
Posso mudar uma decisão que o modelo tomou?
Sim. Cada decisão fica registrada junto com o trabalho, e você pode alterá-la. Hoje seus diretores criativos escolhem entre as versões da tradução, cada uma com o seu raciocínio, e uma escolha feita uma vez vale para o próximo episódio.
O modelo mostra as escolhas de áudio e de vídeo?
As escolhas de tradução já aparecem hoje. As escolhas de áudio, como o que fica na língua original, e as de imagem, como escolher outro rosto ou qual texto no quadro traduzir, estão em desenvolvimento.
REFERÊNCIAS
TRADUÇÃO MULTIMODAL
A Familiar Labs faz dublagem uma geração à frente com um Modelo Multimodal de Decisão de Localização (MLDM), o primeiro modelo de fundação para tradução multimodal: um só modelo decide o que localizar em texto, áudio e imagem, e mostra para você as escolhas. Sua voz e seus lábios, levados para novas línguas. Uma equipe de 8, com doutores, investida por Samsung, RedBird e Gold House. Nossa missão