RESUMO
O que um modelo de fundação muda na dublagem?
A dublagem automática era uma cascata de ferramentas separadas: transcrição, depois tradução, depois uma voz, depois lip sync. Cada etapa adivinhava sem as outras, e os erros passavam de uma etapa para a seguinte. O que um comprador encontra hoje troca qualidade por tempo. As ferramentas assistivas chegam à qualidade com uma equipe de artistas de VFX: semanas por projeto, e cada língua é um projeto novo. As ferramentas que fazem tudo de uma vez só são rápidas e abrem mão do resto: a tradução não pode ser editada, a voz se afasta da de quem fala, a música e o som ambiente somem, e os lábios falham com uma mão na frente do rosto, um microfone, desfoque, bokeh, um rosto de perfil ou várias pessoas no quadro. Sem raciocínio espacial, sem compreensão do mundo, sem controle. A Familiar troca a cadeia por um único Modelo Multimodal de Decisão de Localização (MLDM): de uma vez só e com qualidade.
A ERA DA CASCATA
- Quatro ferramentas, cada uma ajustada separadamente.
- Uma tradução escrita sem conhecer a boca em que precisa caber.
- A voz de um estranho sobre o rosto original.
UM MODELO DE FUNDAÇÃO
- Um único modelo toma as decisões em conjunto, então elas combinam.
- A tradução conhece a boca; a voz conhece a cena.
- A pessoa na tela nunca muda.
Tradução audiovisual de uma vez só, não em cascata: a primeira do gênero. A definição está em O primeiro modelo de fundação para tradução multimodal; o contraste com a cascata, passo a passo, está em Tradução audiovisual de uma vez só, não em cascata.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
Um único upload cobre todos os mercados em que vendemos?
Sim. Imagens em qualquer uma de 99 línguas de origem entram uma vez, e as dublagens saem em qualquer uma das 30 línguas de saída que você encomendar: todas as línguas a partir de um upload, cada uma com a mesma performance. Uma temporada, um acervo ou uma sequência de episódios verticais seguem o mesmo caminho, e os termos que você define uma vez valem para o próximo episódio.
A dublagem humana completa, tradução mais voz, custa de $70 a $150 por minuto finalizado. Nesse preço, ela fica fora do alcance da maior parte do mundo. Mesmo as grandes produções dublam só algumas línguas, por causa do custo, das pessoas e do tempo que leva.
Produções menores, séries e microdramas verticais praticamente não dublam.
É essa lacuna que a Familiar fecha. Não é “IA generativa”: é tradução a serviço de quem cria. MLDM para a parte chata. De pessoa para pessoa, ampliando o alcance.
Quem decide como uma fala chega em outra língua?
O MLDM decide o que localizar e como, em texto, áudio e imagem. A sua equipe continua no comando das escolhas que importam. A tradução vem primeiro e, quando uma fala pode ser lida de mais de um jeito, seus diretores criativos veem as opções e o raciocínio por trás de cada uma antes de qualquer coisa ser dublada.
DECIDIDO E ESCOLHIDO
Cada decisão fica registrada junto com o trabalho, e você pode alterar qualquer uma delas. A história completa está em O registro de decisões. Só nas palavras, a tradução empata com tradutores humanos especialistas: 100.3% da qualidade deles, medido no benchmark.
O que volta com uma dublagem finalizada?
Uma entrega que a sua equipe de pós-produção pode colocar direto no lançamento, na especificação que um streaming pede. O som da cena fica como estava: a música, o som ambiente e as risadas são mantidos, e só a fala muda de língua.
VÍDEO
Até 4K
Lip sync incluído em toda renderização de vídeo.
MIXAGEM
Surround 5.1 real ou estéreo
Você escolhe, em PCM de 24 bits. As plataformas de streaming exigem que a dublagem acompanhe a mixagem original: entra 5.1, sai 5.1.
SOM DA CENA
Mantido
A música, o som ambiente, as risadas e a plateia ficam.
LEGENDAS
.srt e .vtt
No máximo duas linhas, 42 caracteres por linha, até 17 caracteres por segundo.
As legendas são feitas a partir da tradução revisada, cortadas segundo as convenções do Timed Text Style Guide da Netflix, o padrão de modelos de legenda com que a indústria trabalha. Cada arquivo e formato está listado na documentação de saídas.
Onde as nossas imagens são processadas?
Imagens ainda não lançadas são o ativo que um estúdio mais protege. Toda dublagem é processada no cluster próprio da Familiar, de dezenas de milhões de dólares em GPUs NVIDIA B300, em Toronto, no Canadá, em poder computacional próprio.
O caminho de uma dublagem e as respostas para a sua revisão de segurança estão na documentação de inferência privada.
O que já está disponível, e o que está em desenvolvimento?
- HOJE
Todas as línguas a partir de um upload, com a própria voz e os próprios lábios do ator.
30 línguas de saída, 99 línguas de origem; até 4K, mixagem 5.1 real ou estéreo, legendas. - HOJE
Seus diretores criativos revisam as decisões de tradução.
As opções com o raciocínio por trás de cada uma, registradas junto com o trabalho. - EM DESENVOLVIMENTO
As decisões de áudio e imagem, na mesma revisão.
O que fica na língua original, outro rosto, qual texto no quadro traduzir. - EM DESENVOLVIMENTO
Dublagem ao vivo.
O acesso é por contrato Studio, dimensionado para o seu catálogo: fale com a equipe sobre os seus títulos, as suas línguas e a sua especificação de entrega. A equipe é formada por doutores que criaram o campo dos modelos audiovisuais conjuntos de pessoas: 22 artigos, mais de 10.000 citações, com o Prof. Xu Zheng e o Prof. Youngjung Uh como consultores, com investimento de Samsung, RedBird e Gold House. A pesquisa está nos nossos artigos e em Pioneiros da tradução multimodal; a história do fundador está na página da nossa missão.
PERGUNTAS
O que um modelo de fundação para tradução multimodal muda para um estúdio?
Um upload leva as palavras, a voz, os lábios e a cena para todas as línguas que você encomendar, tudo de uma vez. O ator mantém a própria voz e o próprio rosto, o som da cena fica, e cada decisão fica registrada junto com o trabalho.
A nossa equipe pode revisar a tradução antes de a dublagem ser feita?
Sim. A tradução vem primeiro. Quando uma fala pode ser lida de mais de um jeito, seus diretores criativos veem as versões com o raciocínio por trás de cada uma e escolhem. Uma lista de termos para não traduzir e uma frase de contexto acompanham o trabalho.
Que arquivos recebemos de volta?
O vídeo dublado em até 4K, uma mixagem surround 5.1 real ou estéreo em PCM de 24 bits, e legendas .srt e .vtt cortadas segundo as convenções do Timed Text Style Guide da Netflix. A dublagem só de áudio está disponível para podcasts e faixas de voz.
Onde as nossas imagens são processadas?
Toda dublagem é processada no cluster próprio da Familiar, de dezenas de milhões de dólares em GPUs NVIDIA B300, em Toronto, no Canadá, em poder computacional próprio. Nunca é processada em nuvem pública como Google Cloud ou AWS, nem por um provedor terceirizado de inferência.
Isso é IA generativa?
Não. Não há prompt, e nada novo é inventado. A Familiar é um Modelo Multimodal de Decisão de Localização (MLDM) que decide como localizar imagens que já existem: o ator, o tempo e a cena ficam; as palavras, a faixa de voz e os lábios mudam.
Como conseguimos acesso?
Por contrato Studio, dimensionado para o seu catálogo. Fale com a equipe sobre os seus títulos, as suas línguas e a sua especificação de entrega, e comece com um piloto nas suas próprias imagens. Não há tabela de preços pública.
REFERÊNCIAS
TRADUÇÃO MULTIMODAL
A Familiar Labs faz dublagem uma geração à frente com um Modelo Multimodal de Decisão de Localização (MLDM), o primeiro modelo de fundação para tradução multimodal: um só modelo decide o que localizar em texto, áudio e imagem, e mostra para você as escolhas. Sua voz e seus lábios, levados para novas línguas. Uma equipe de 8, com doutores, investida por Samsung, RedBird e Gold House. Nossa missão