Garso ir vaizdo vertimas iš karto, o ne grandine

01. Kas buvo mašininio dubliavimo grandinės era?

Mašininis dubliavimas prasidėjo kaip grandinė: keturi įrankiai iš eilės, kiekvienas sukurtas ir derintas atskirai, kiekvienas savo rezultatą perduodantis kitam.

1. 01

   Transkripcija.

   Kalbos atpažinimas užrašo, kas buvo pasakyta.
2. 02

   Vertimas.

   Tekstinis modelis transkripciją išverčia į naują kalbą, negirdėdamas balso ir nematydamas veido.
3. 03

   Balsas.

   Kalbos sintezė perskaito vertimą, dažnai svetimu balsu.
4. 04

   Lūpų sinchronizavimas.

   Atskiras įrankis pritaiko burną prie naujo garso, kai kiekvienas žodis jau užfiksuotas.

Ši grandinė leido atsirasti mašininiam dubliavimui. Jos riba slypi pačioje jos formoje: kiekvienas etapas spėja nežinodamas, ką daro kiti. Vertimas negali žinoti, kad replika turi tilpti į užčiauptą burną. Balsas negali žinoti, kokioje patalpoje skamba. Neteisingai išgirstas žodis ar per ilga replika perduodami toliau, ir klaida didėja kiekviename paskesniame etape.

Per metus kiekvienas įrankis tobulėjo: švaresnė transkripcija, tikslesnis vertimas, natūralesnis balsas. Galutinis dubliažas gerėjo lėčiau, nes siūlės tarp įrankių liko ten pat, kur buvo.

02. Su kuo pirkėjas susiduria šiandien?

Praktikoje grandinė virsta įrankių rinkiniu: transkripcija iš vieno, vertimas iš kito, balsas iš trečio, lūpų sinchronizavimas ir subtitrai iš ketvirto. Pataisius vieną repliką, tenka iš naujo paleisti visus paskesnius etapus, o kažkas jūsų komandoje turi suvaldyti visus failus. Įrankiai, apeinantys šį rinkinį, renkasi tarp kokybės ir laiko. Pagalbiniai įrankiai kokybę pasiekia, kai sudėtingus kadrus apdoroja VFX specialistų komanda: kelios savaitės kiekvienam projektui, o kiekviena kalba yra naujas projektas. Vieno ypo įrankiai greiti, bet paaukoja visa kita: balsas nutolsta nuo kalbėtojo, patalpos garsas dingsta, o lūpos išsiderina, kai veidą dengia ranka ar mikrofonas, kai vaizdas neryškus, su bokeh efektu, filmuotas iš šono ar kai kadre keli žmonės: jokio erdvinio mąstymo, jokio pasaulio supratimo. „Familiar“ – tai vienas ypas ir kokybė.

Kitas kelias – visavertis žmonių dubliažas, vertimas ir balsas, už $70–150 už galutinę minutę. Dėl kainos, žmonių ir laiko didžiajai pasaulio daliai jis neprieinamas: net didžiausios produkcijos dubliuojamos vos keliomis kalbomis, o mažesnės produkcijos, laidos ir vertikalios dramos dažniausiai nedubliuojamos visai.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Jei svarstote „ElevenLabs Dubbing“, štai jų dokumentacija, cituojama šalia mūsų tyrimo:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Kas keičiasi, kai visus sprendimus priima vienas modelis?

„Familiar“ dubliuoja su multimodaliniu lokalizavimo sprendimų modeliu (MLDM). MLDM sprendžia, ką lokalizuoti ir kaip, tekste, garse ir vaizde, o sprendimai dera tarpusavyje, nes juos priima vienas modelis. Apibrėžimas – straipsnyje Pirmasis pamatinis multimodalinio vertimo modelis.

Grąžinamas paties aktoriaus atlikimas kita kalba: jo balsas, lūpos, veido išraiškos ir scenos garsas, perkelti kartu. Vienas įkėlimas iš karto išeina visomis kalbomis: dubliažai 30 kalbų iš medžiagos bet kuria iš 99 šaltinio kalbų.

Bendri sprendimai keičia ir tai, kas gali nepavykti. Replika, kuri būtų per ilga, išverčiama taip, kad tilptų į laiką ir burną, dar prieš atsirandant balsui. Juokas sakinio viduryje lieka juoku. Kai du žmonės kalba vienas per kitą, modelis žino, kas taria kurią repliką, todėl juda tinkamos lūpos.

04. Ką tai keičia galutiniame dubliaže?

Tuos pačius klipus paleidžiame per abi sistemas ir vertiname vienodai. Kiekvienas skaičius gautas atskirame tyrime, paskelbtame lyginamajame teste.

Matuojamas ir balsas: „Familiar“ skamba 27.8% panašiau į tikrąjį kalbėtoją nei „ElevenLabs Dubbing v1“, arčiau visose 11 kalbų, pagal anksčiau cituotą tyrimą.

„YouTube“ automatinis dubliavimas savo tyrime turėjo 232.6% daugiau fono garso klaidų. Scena išlieka, nes MLDM girdi viską, kas yra takelyje – juoką, minią, muziką, – randa pagrindinį balsą, perkelia jį į naują kalbą paties kalbėtojo balsu, o visa kita palieka, kaip buvo.

05. Ką reiškia „pirmiausia vertimas, tada dubliažas vienu ypu“?

++

Pirmiausia vertimas, tada dubliažas vienu ypu: balsas, lūpos ir scena kartu.

Tvarka svarbi. Pirmiausia ateina vertimas, ir jį peržiūri jūsų kūrybos direktoriai: kur repliką galima perteikti ne vienu būdu, jie mato variantus su kiekvieno pagrindimu ir išsirenka vieną. Tik tada dubliažas atliekamas, vieną kartą. Nieko naujo neišgalvojama. Ne „generatyvinis DI“, o vertimas, įgalinantis kūrėjus. MLDM – monotoniškam darbui.

Subtitrai parengiami pagal „Netflix“ „Timed Text Style Guide“ taisykles – subtitrų šablonų standartą, kuriuo vadovaujasi visa industrija. Kiekvienas dubliažas apdorojamas „Familiar“ nuosavame dešimčių milijonų dolerių vertės NVIDIA B300 GPU klasteryje Toronte, Kanadoje, niekada ne viešajame debesyje, tokiame kaip „Google Cloud“ ar „AWS“, ir niekada ne pas trečiųjų šalių DI skaičiavimo paslaugų teikėjus. Failai aprašyti rezultatų dokumentacijoje, apdorojimas – privataus apdorojimo dokumentacijoje, o ką tai reiškia katalogui – straipsnyje Ką pamatinis multimodalinio vertimo modelis reiškia studijoms ir platformoms.

06. Kas priima galutinį sprendimą?

1. ŠIANDIEN

   Jūsų kūrybos direktoriai peržiūri vertimo sprendimus.

   Variantai su kiekvieno pagrindimu; jie išsirenka vieną, kol niekas dar neišleista.
2. ŠIANDIEN

   Neverčiamų žodžių sąrašas ir vieno sakinio kontekstas keliauja kartu su užduotimi.

3. JAU KURIAMA

   Garso ir vaizdo sprendimai toje pačioje peržiūroje.

   Kas liks originalo kalba, kitas veidas, kai modelis parinko ne tą kalbėtoją, ir tekstas kadre.

Katalogui keičiasi pasiekiamumas. Laida, kuri būtų likusi viena kalba, gali iš karto išeiti 30 kalbų su pačių aktorių atlikimu, o jūsų komanda vis tiek priima kiekvieną svarbų sprendimą.

Tai ir yra sprendimų įrašas; visa istorija – straipsnyje Sprendimų įrašas: kaip kūrybos direktoriai valdo MLDM, o ką sprendžia modelis – straipsnyje Kas yra MLDM? Tyrimai, kuriais visa tai remiasi, aprašyti straipsnyje Multimodalinio vertimo pradininkai. Nuo žmogaus žmogui, vis platesnei auditorijai.

KLAUSIMAI