Dúvidas
Dublagem uma geração à frente: sua voz e seus lábios, levados para novas línguas; costurar ElevenLabs com HeyGen continua soando e parecendo um estranho. E é mais que sincronia labial com IA: o rosto inteiro atua na nova língua, incluindo oclusões e raciocínio espacial.
- o produto mais novo dela teve 270% mais erros no som de fundo: as risadas, a música, o som ambiente
- 54,7% menos erros importantes de tradução que o produto mais novo dela
- no Dubbing v1 dela, a nossa voz soou 27,8% mais parecida com a voz real de quem fala, mais próxima em todas as 11 línguas
Nos mesmos clipes, a ElevenLabs:
- engoliu ou inventou palavras 45 vezes
- quebrou risadas e efeitos sonoros 8 vezes
- perdeu a voz de quem fala 6 vezes
- embolou vozes sobrepostas 6 vezes
- achatou a interpretação 4 vezes
- apagou o som ambiente da cena 4 vezes
- a API dela recusa clipes com menos de 11 segundos
Quem costura por conta própria paga $11 por minuto: $8 pelo lip sync da Sync.so mais $3 pelo áudio da ElevenLabs. Uma dublagem da Familiar Labs inclui voz, lip sync e tradução, em até 4K, com mixagem surround 5.1 real ou estéreo.
O MLFM é o primeiro modelo de fundação para tradução multimodal, um novo paradigma, o primeiro do gênero: um único modelo que decide o que localizar e como, em texto, áudio e imagem, e mostra para você as escolhas que importam. Primeiro a tradução, depois a dublagem de uma vez só: a voz, os lábios e a cena juntos.
- Na tradução: qual versão carrega uma piada, uma história ou uma réplica numa conversa; o que não traduzir, a gíria mantida como foi dita, o nome e a marca mantidos, a referência trocada, o que uma cultura evita, o nível de palavrões para o público. Seus diretores criativos veem as opções com o raciocínio e escolhem.
- No áudio: antes de tudo, o que traduzir. Ele encontra a voz principal e mantém as risadas, a plateia e um grito como estavam; escolher o que fica na língua original está em desenvolvimento.
- Na imagem: quem está falando na tela, quem narra, quem está fora de quadro; os lábios, incluindo oclusões e raciocínio espacial; as expressões e os gestos quando a ênfase pede. O texto no quadro está em desenvolvimento: o modelo decide na hora o que fica como foi filmado, uma marca, um nome, uma gíria, então um pacote de Tostitos continua Tostitos; a escolha de qual rosto e qual texto vem junto.
Cada decisão fica registrada junto com a dublagem, e você pode alterá-la. Sem prompt, e nada de novo é inventado: ele decide como localizar o que já existe.

