RESUM
Què canvia un model fundacional en el doblatge?
El doblatge automàtic era una cascada d'eines separades: transcripció, després traducció, després una veu, després sincronització labial. Cada etapa endevinava sense les altres, i els errors passaven d'una etapa a la següent. Avui, qui compra doblatge ha de triar entre qualitat i temps. Les eines d'assistència arriben a la qualitat amb un equip d'artistes de VFX: setmanes per projecte, i cada llengua és un projecte nou. Les eines d'una sola passada són ràpides i renuncien a la resta: la traducció no es pot editar, la veu s'allunya de l'original, la música i l'ambient de la sala desapareixen, i els llavis fallen amb una mà davant de la cara, un micròfon, un desenfocament, un bokeh, un pla de perfil o diverses persones en pantalla. Sense raonament espacial, sense comprensió del món, sense control. Familiar substitueix la cadena per un sol model multimodal de decisió de localització (MLDM): d'una sola passada i amb la qualitat.
L'ERA DE LA CASCADA
- Quatre eines, cadascuna ajustada pel seu compte.
- Una traducció escrita sense la boca a la qual s'ha d'ajustar.
- La veu d'un desconegut sobre la cara original.
UN SOL MODEL FUNDACIONAL
- Un sol model pren les decisions alhora, i per això encaixen.
- La traducció coneix la boca; la veu coneix l'escena.
- La persona de la pantalla no canvia mai.
Traducció audiovisual alhora, no en cascada: la primera del seu gènere. La definició és a El primer model fundacional de traducció multimodal; el contrast amb la cascada, pas a pas, és a Traducció audiovisual alhora, no en cascada.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
Una sola pujada pot cobrir tots els mercats on venem?
Sí. El material, en qualsevol de 99 llengües d'origen, entra una sola vegada, i els doblatges surten en qualsevol de les 30 llengües de sortida que encarreguis: totes les llengües amb una sola pujada, cadascuna amb la mateixa interpretació. Una temporada, un catàleg o un flux de capítols verticals segueixen el mateix camí, i els termes que fixes un cop es mantenen al capítol següent.
El doblatge humà complet, traducció i veu, costa entre $70 i $150 per minut acabat. A aquest preu queda fora de l'abast de la major part del món. Fins i tot les grans produccions només doblen unes quantes llengües, pel cost, la gent i el temps que exigeix.
Les produccions petites, les sèries i els drames verticals gairebé no doblen gens.
Aquest és el buit que tanca Familiar. No és «IA generativa», sinó traducció al servei dels creadors. MLDM per a la feina feixuga. De persona a persona, per arribar a molta més gent.
Qui decideix com arriba una línia a una altra llengua?
L'MLDM decideix què cal localitzar i com, en el text, l'àudio i la imatge. El teu equip conserva el control de les decisions que importen. Primer arriba la traducció, i quan una línia es pot entendre de més d'una manera, els teus directors creatius veuen les opcions i el raonament de cadascuna abans de doblar res.
QUÈ DECIDEIX EL MODEL I QUÈ TRIA EL TEU EQUIP
Cada decisió queda registrada en el treball, i pots modificar-ne qualsevol. La història completa és a Les decisions del doblatge: com dirigeixen l'MLDM els directors creatius. Pel que fa només a les paraules, la traducció iguala els traductors humans experts: el 100.3% de la seva qualitat, mesurat al benchmark.
Què torna amb un doblatge acabat?
Un lliurament que el teu equip de postproducció pot incorporar directament a l'estrena, amb les especificacions que demana una plataforma de streaming. El so de l'escena es queda tal com era: la música, l'ambient i les rialles es mantenen, i només la parla canvia de llengua.
VÍDEO
Fins a 4K
Sincronització labial inclosa en cada renderització de vídeo.
MESCLA
So envoltant 5.1 real o estèreo
Tu tries, en PCM de 24 bits. Les plataformes de streaming exigeixen que el doblatge coincideixi amb la mescla original: si entra en 5.1, surt en 5.1.
SO DE L'ESCENA
Es manté
La música, l'ambient, les rialles i el públic es queden.
SUBTÍTOLS
.srt i .vtt
Dues línies com a màxim, 42 caràcters per línia, fins a 17 caràcters per segon.
Els subtítols es fan a partir de la traducció revisada, tallats segons les convencions de la Timed Text Style Guide de Netflix, l'estàndard de plantilles de subtítols amb què treballa la indústria. Tots els fitxers i formats són a la documentació dels lliurables.
On es processa el nostre material?
El material inèdit és el que un estudi protegeix més. Cada doblatge es processa al clúster propi de Familiar de GPU NVIDIA B300, valorat en desenes de milions de dòlars, a Toronto, al Canadà, amb capacitat de càlcul pròpia.
El recorregut d'un doblatge i les respostes per a la teva revisió de seguretat són a la documentació de la inferència privada.
Què hi ha disponible avui, i què està en preparació?
- AVUI
Totes les llengües amb una sola pujada, amb la veu i els llavis del mateix actor.
30 llengües de sortida, 99 llengües d'origen; fins a 4K, una mescla 5.1 real o estèreo, subtítols. - AVUI
Els teus directors creatius revisen les decisions de traducció.
Les opcions amb el raonament de cadascuna, registrades en el treball. - EN PREPARACIÓ
Les decisions d'àudio i d'imatge, a la mateixa revisió.
Què es manté en la llengua original, una altra cara, quin text de la imatge cal traduir. - EN PREPARACIÓ
El doblatge en directe.
L'accés és per contracte Studio, a la mida del teu catàleg: parla amb l'equip dels teus títols, les teves llengües i les teves especificacions de lliurament. L'equip són doctors que van iniciar el camp dels models humans audiovisuals conjunts: 22 articles, més de 10.000 citacions, amb el Prof. Xu Zheng i el Prof. Youngjung Uh com a assessors, i el suport de Samsung, RedBird i Gold House. La recerca és a els nostres articles i a Pioners de la traducció multimodal; la història del fundador és a la nostra pàgina de missió.
PREGUNTES
Què canvia per a un estudi un model fundacional de traducció multimodal?
Una sola pujada porta les paraules, la veu, els llavis i l'escena a totes les llengües que encarreguis, tot alhora. L'actor conserva la seva pròpia veu i la seva cara, el so de l'escena es manté i cada decisió queda registrada en el treball.
El nostre equip pot revisar la traducció abans de fer el doblatge?
Sí. Primer arriba la traducció. Quan una línia es pot entendre de més d'una manera, els teus directors creatius veuen les versions amb el raonament de cadascuna i en trien una. Una llista de No traduir i una frase de context viatgen amb el treball.
Quins fitxers rebem?
El vídeo doblat fins a 4K, una mescla envoltant 5.1 real o estèreo en PCM de 24 bits, i subtítols .srt i .vtt tallats segons les convencions de la Timed Text Style Guide de Netflix. Per a pòdcasts i pistes de veu hi ha doblatge només d'àudio.
On es processa el nostre material?
Cada doblatge es processa al clúster propi de Familiar de GPU NVIDIA B300, valorat en desenes de milions de dòlars, a Toronto, al Canadà, amb capacitat de càlcul pròpia. Mai no es processa en un núvol públic com Google Cloud o AWS, ni a través d'un proveïdor d'inferència extern.
Això és IA generativa?
No. No hi ha cap prompt i no s'inventa res de nou. Familiar és un model multimodal de decisió de localització (MLDM) que decideix com localitzar unes imatges que ja existeixen: l'actor, el ritme i l'escena es mantenen; les paraules, la pista de veu i els llavis canvien.
Com hi tenim accés?
Per contracte Studio, a la mida del teu catàleg. Parla amb l'equip dels teus títols, les teves llengües i les teves especificacions de lliurament, i comença amb una prova pilot amb el teu propi material. No hi ha cap llista pública de preus.
REFERÈNCIES
Traducció multimodal
Familiar Labs fa un doblatge d'una altra generació amb un model multimodal de decisió de localització (MLDM), el primer model fundacional de traducció multimodal: un sol model decideix què cal localitzar en el text, l'àudio i la imatge, i et mostra les opcions. La teva veu i els teus llavis, portats a llengües noves. Un equip de 8 persones amb doctorats, amb el suport de Samsung, RedBird i Gold House. La nostra missió