CONTROLE

O registro de decisões: como os diretores criativos dirigem o MLDM

FAMILIAR PESQUISAATUALIZADO TODOS OS ARTIGOS
LEIA EMEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

RESUMO

O MLDM é o primeiro modelo de fundação para tradução multimodal, um novo paradigma, o primeiro do gênero. Cada decisão que ele toma fica registrada junto com a dublagem: você lê, altera e guarda uma escolha para o próximo episódio. As decisões de tradução já são revisadas hoje; as de áudio e imagem estão em desenvolvimento.
O PRIMEIRO MODELO DE FUNDAÇÃO PARA TRADUÇÃO MULTIMODAL

As decisões que você dirige hoje

  1. 01

    A tradução volta primeiro.

  2. 02

    Quando uma fala pode ser lida de mais de um jeito, a etapa de revisão devolve três versões, cada uma para uma intenção e uma emoção diferentes, com o raciocínio por trás de cada uma.

  3. 03

    Seus diretores criativos escolhem uma ou escrevem a própria, e a dublagem é feita.

A mesma revisão cobre as decisões de localização, a começar pelo que não traduzir: a gíria mantida como foi dita, o nome e a marca mantidos, a referência trocada por uma que o público conhece, o que aquela cultura evita e os palavrões suavizados numa versão para um público mais jovem.

Um trocadilho, do coreano para o inglês

"사과하려고 사과 사 왔어." se apoia em 사과, que quer dizer ao mesmo tempo desculpa e maçã. Voltam três versões:

  • "Apples. I'm sorry, right down to the core." O trocadilho mantido.
  • "I came to say sorry. I brought apples." Só o sentido.
  • "An apple a day keeps the silent treatment away." Uma piada nova.

O diretor criativo escolheu a primeira e editou.

Uma alfinetada, do chinês para o inglês

"你可真行啊。" soa como elogio ou como alfinetada, dependendo da cena:

  • "Wow. You're incredible." Sincero.
  • "Well, aren't you something." Sarcástico, o escolhido.
  • "Look at you, hotshot." Provocador.

Um podcast, um episódio ou um filme tem muitos trechos assim: as piadas, as conversas, as histórias.

As decisões de áudio

O MLDM decide, antes de tudo, o que traduzir. Ele encontra a voz principal, leva essa voz para a nova língua com a própria voz de quem fala e mantém o resto como estava. Mostrar para a sua equipe cada caso duvidoso no áudio está em desenvolvimento.

O que fica na língua original: um grito de torcida no estádio, mantido em coreano; um berro de um lado a outro da cozinha; um bordão que os fãs conhecem. Alguém ao fundo que ninguém consegue entender fica como estava, ou volta como uma escolha de traduzir, no fim das contas.

As decisões de imagem

EM DESENVOLVIMENTO

QUEM ESTÁ DE FATO FALANDO
O QUE FICA REGISTRADOO rosto de onde vem a fala, o narrador, a voz fora de quadro.
O QUE VOCÊ PODE FAZERQuando o modelo erra quem fala, você escolhe o rosto entre os candidatos, e os lábios se mexem na pessoa certa.
O TEXTO NO QUADRO
O QUE FICA REGISTRADOA tela de um celular que diz 내일 봐, uma placa de rua, uma fachada de loja, e o que o modelo decidiu na hora manter como foi filmado: a marca num pacote de Tostitos, um nome.
O QUE VOCÊ PODE FAZERCada item é escrito nos termos que você já escolheu, como "See you tomorrow", ou mantido como foi filmado.
EXPRESSÕES E GESTOS
O QUE FICA REGISTRADOAcompanham a ênfase da nova fala ou a cultura.
O QUE VOCÊ PODE FAZERUma sobrancelha erguida que o novo público lê de outro jeito pode ficar como foi filmada.

Registrado junto com a dublagem

O registro é o que faz do MLDM um novo paradigma, o primeiro do gênero: um modelo que mostra as suas decisões.

++
O registro de decisões, em desenvolvimento, guarda cada decisão com as opções, o raciocínio, o que foi escolhido e por quem: o modelo, você ou a memória.

Ele fica aberto na revisão e travado quando a dublagem é feita. Mude uma decisão numa dublagem já entregue e faça de novo; só as línguas afetadas são refeitas. Uma dublagem feita com review=auto também grava o registro, com as escolhas do modelo. A dublagem em si sai de uma vez só a partir dessas decisões: a voz, os lábios e a cena juntos. As ferramentas que hoje fazem tudo de uma vez só funcionam ao contrário: um upload só, e você recebe o que sair. O caminho de alta qualidade mantém o controle à mão, com uma ferramenta assistiva, uma equipe de artistas de VFX e semanas por projeto. A Familiar é de uma vez só e com qualidade.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Uma escolha feita uma vez vale para o próximo episódio

  1. HOJE

    Duas decisões permanentes já funcionam hoje.

    A lista de termos para não traduzir mantém uma frase como foi dita, e o contexto dá a orientação em uma frase; você define as duas antes da dublagem. O registro guarda as decisões que o modelo tomou durante ela.
  2. EM DESENVOLVIMENTO

    Memória de decisões.

    Guarde uma alteração para um criador, seja um programa, um canal ou uma pessoa, e a próxima dublagem a aplica primeiro quando a mesma fala, termo, nome, grito de torcida, placa ou rosto voltar. O bordão mantido no original acompanha o episódio 2 sem uma segunda revisão.

Na tela de revisão e na API

Em desenvolvimento: a tela de revisão ganha uma faixa de decisões. Uma linha do tempo do episódio traz um marcador por decisão, com filtro por tradução, áudio ou imagem; cada card mostra o momento, as opções com o raciocínio e a escolha do modelo em destaque. Um toque escolhe outra opção, digita a sua, mantém o original ou guarda a escolha para este criador.

A API devolve o mesmo registro, então uma escolha feita na tela aparece na API, e vice-versa. A superfície planejada, toda em desenvolvimento:

GET /v1/dubs/{dub_id}/decisions
O QUE FAZLê o registro.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
O QUE FAZAltera uma decisão.
decisions.*
O QUE FAZAs configurações de uma nova dublagem definem quantas versões voltam, o nível de palavrão e quais decisões voltam para você.
dub.decisions_ready
O QUE FAZO webhook dispara quando o registro está aberto.
decisions.json
O QUE FAZTraz o registro completo com cada dublagem entregue.

A referência está em Decisões; a etapa de revisão de hoje está em Transcrição e revisão.

PERGUNTAS

Quais decisões posso mudar hoje?

As decisões de tradução. Uma fala que pode ser lida de mais de um jeito volta em três versões, cada uma com o seu raciocínio; seus diretores criativos escolhem uma ou escrevem a própria, e a dublagem é feita. As decisões de áudio e imagem estão em desenvolvimento.

Dá para manter um grito de torcida na língua original?

Essa escolha está em desenvolvimento. Um grito de torcida, um berro ou um bordão vão voltar como uma decisão de áudio que você pode manter na língua de origem, e a escolha pode valer para o próximo episódio.

E se o modelo escolher o rosto errado?

Escolher outro rosto está em desenvolvimento. A fala vai voltar com os rostos candidatos; você escolhe quem de fato fala, e os lábios se mexem nessa pessoa.

Uma escolha vale para o próximo episódio?

A memória de decisões está em desenvolvimento: uma alteração guardada para um criador vale primeiro na próxima dublagem. Hoje a lista de termos para não traduzir e o contexto valem para as dublagens em que você os definiu.

Com review=auto as decisões também ficam registradas?

Sim. No registro planejado, uma dublagem feita sem revisão também grava cada decisão com a escolha do modelo, para ler depois de pronta. Você pode mudar uma e fazer a dublagem de novo.

Isso é IA generativa?

Não. O MLDM é um novo paradigma, o primeiro do gênero. Não há prompt, e nada novo é inventado: ele decide como localizar o que já existe e mostra essas decisões para você.

REFERÊNCIAS

  1. [1]O que é um Modelo Multimodal de Decisão de Localização (MLDM)?
  2. [2]API: Decisões
  3. [3]API: Transcrição e revisão

TRADUÇÃO MULTIMODAL

A Familiar Labs faz dublagem uma geração à frente com um Modelo Multimodal de Decisão de Localização (MLDM), o primeiro modelo de fundação para tradução multimodal: um só modelo decide o que localizar em texto, áudio e imagem, e mostra para você as escolhas. Sua voz e seus lábios, levados para novas línguas. Uma equipe de 8, com doutores, investida por Samsung, RedBird e Gold House. Nossa missão

Veja o benchmark completo →Fale com a equipe