Čo znamená základný model pre multimodálny preklad pre štúdiá a platformy

01. Čo mení základný model na dabingu?

Strojový dabing býval kaskádou samostatných nástrojov: prepis, potom preklad, potom hlas, potom synchronizácia pier. Každá fáza hádala bez ostatných a chyby sa prenášali z jednej fázy do druhej. To, s čím sa kupujúci stretne dnes, vymieňa kvalitu za čas. Asistenčné nástroje dosiahnu kvalitu s tímom VFX umelcov: týždne práce na projekt a každý jazyk je nový projekt. Nástroje na jeden krok sú rýchle a obetujú všetko ostatné: preklad sa nedá upraviť, hlas sa odchyľuje, hudba a atmosféra priestoru zmiznú a pery zlyhajú pri ruke pred tvárou, mikrofóne, rozmazaní, bokehu, pohľade z boku či viacerých ľuďoch v zábere. Žiadne priestorové uvažovanie, žiadne porozumenie svetu, žiadna kontrola. Familiar nahrádza reťaz jedným multimodálnym rozhodovacím modelom pre lokalizáciu (MLDM): jeden krok aj kvalita.

++

Najprv preklad, potom celý dabing v jednom kroku: hlas, pery aj scéna naraz.

Audiovizuálny preklad naraz, nie kaskádovo: prvý svojho druhu. Definícia je v článku Prvý základný model pre multimodálny preklad; porovnanie s kaskádou krok za krokom v článku Audiovizuálny preklad naraz, nie kaskádovo.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Pokryje jedno nahratie každý trh, kam predávame?

Áno. Zábery v ktoromkoľvek z 99 zdrojových jazykov nahráte raz a dabingy vyjdú v ktoromkoľvek z 30 výstupných jazykov, ktoré si objednáte: každý jazyk z jedného nahratia, každý s tým istým prejavom. Séria, knižnica či prúd vertikálnych epizód idú tou istou cestou a pojmy, ktoré raz nastavíte, prejdú aj do ďalšej epizódy.

Kompletný ľudský dabing, preklad aj hlas, stojí 70 až 150 $ za hotovú minútu. Pri takej sadzbe je pre väčšinu sveta nedosiahnuteľný. Aj veľké produkcie dabujú len do niekoľkých jazykov pre náklady, ľudí a čas, ktorý to zaberie.

Presne túto medzeru Familiar zapĺňa. Nie „generatívna AI“, ale preklad v službách tvorcov. MLDM na mravčiu prácu. Od človeka k človeku, k širšiemu publiku.

03. Kto rozhoduje, ako replika vyznie v inom jazyku?

MLDM rozhoduje, čo lokalizovať a ako, v texte, zvuku aj obraze. Váš tím drží voľby, na ktorých záleží. Preklad prichádza prvý a kde sa dá replika vyznieť viacerými spôsobmi, vaši kreatívni riaditelia vidia možnosti aj s odôvodnením každej z nich skôr, než sa čokoľvek nadabuje.

Každé rozhodnutie sa zaznamená k úlohe a ktorékoľvek z nich môžete zmeniť. Celý príbeh je v článku Záznam rozhodnutí: ako kreatívni riaditelia vedú MLDM. Pri samotných slovách sa preklad vyrovná expertným ľudským prekladateľom: 100.3% ich kvality, merané v benchmarku.

04. Čo sa vráti s hotovým dabingom?

Dodávka, ktorú váš postprodukčný tím vloží rovno do vydania, v špecifikácii, akú žiada streamovacia služba. Zvuk scény zostane tak, ako bol: hudba, atmosféra aj smiech sa zachovajú a jazyk zmení iba reč.

Titulky vznikajú zo skontrolovaného prekladu podľa konvencií Timed Text Style Guide od Netflixu, šablónového štandardu titulkov, podľa ktorého pracuje celé odvetvie. Všetky súbory a formáty sú uvedené v dokumentácii k výstupom.

05. Kde sa naše zábery spracúvajú?

Nevydané zábery sú to, čo štúdio chráni najviac. Každý dabing sa spracúva na vlastnom klastri spoločnosti Familiar v osemcifernej hodnote z GPU NVIDIA B300 v kanadskom Toronte, na výpočtových kapacitách, ktoré Familiar vlastní.

Cestu dabingu a odpovede pre vašu bezpečnostnú previerku nájdete v dokumentácii k privátnej inferencii.

06. Čo je k dispozícii dnes a čo pripravujeme?

1. DNES

   Každý jazyk z jedného nahratia, s vlastným hlasom a perami herca.

   30 výstupných jazykov, 99 zdrojových jazykov na vstupe; až 4K, skutočný mix 5.1 alebo stereo, titulky.
2. DNES

   Vaši kreatívni riaditelia kontrolujú rozhodnutia o preklade.

   Možnosti s odôvodnením každej z nich, zaznamenané k úlohe.
3. PRIPRAVUJEME

   Rozhodnutia o zvuku a obraze na tej istej kontrole.

   Čo zostane v pôvodnom jazyku, iná tvár, ktorý text v zábere preložiť.
4. PRIPRAVUJEME

   Dabing naživo.

Prístup sa riadi zmluvou Studio, nastavenou podľa vášho katalógu: porozprávajte sa s tímom o svojich tituloch, jazykoch a špecifikácii dodania. Tím tvoria ľudia s PhD, ktorí založili odbor spoločných audiovizuálnych modelov človeka: 22 publikácií, vyše 10,000 citácií, s prof. Xu Zhengom a prof. Youngjungom Uhom ako poradcami, s podporou Samsungu, RedBird a Gold House. Výskum nájdete v našich publikáciách a v článku Priekopníci multimodálneho prekladu: od spoločného audiovizuálneho výskumu k prvému základnému modelu; príbeh zakladateľa je na stránke našej misie.

OTÁZKY