캐스케이드 없이, 오디오와 영상을 한 번에 번역하다

01. 기계 더빙의 캐스케이드 시대란 무엇이었나요?

기계 더빙은 캐스케이드로 시작했습니다: 네 개의 도구가 한 줄로 늘어서, 저마다 따로 만들어지고 조정된 채 결과를 다음 도구에 넘겼습니다.

1. 01

   음성 인식.

   음성을 텍스트로 옮겨 무슨 말을 했는지 받아 적습니다.
2. 02

   번역.

   텍스트 모델이 목소리를 듣지도, 얼굴을 보지도 않은 채 대본을 새 언어로 옮깁니다.
3. 03

   목소리.

   TTS(텍스트 음성 변환)가 번역을 소리 내어 읽습니다. 낯선 사람의 목소리인 경우가 많습니다.
4. 04

   립싱크.

   모든 단어가 확정된 뒤, 별도의 도구가 새 오디오에 맞춰 입을 움직입니다.

이 체인 덕분에 기계 더빙이 가능해졌습니다. 그 한계는 구조 자체에 있습니다: 각 단계는 다른 단계를 모른 채 추측합니다. 번역은 대사가 다문 입에 맞아야 한다는 사실을 알 수 없습니다. 목소리는 자신이 놓일 공간을 알 수 없습니다. 잘못 들은 단어나 길어진 대사는 그대로 아래로 전달되고, 오류는 뒤 단계를 거칠 때마다 쌓입니다.

도구들은 해마다 나아졌습니다: 더 깔끔한 대본, 더 정확한 번역, 더 자연스러운 목소리. 하지만 완성된 더빙은 더디게 나아졌습니다. 도구 사이의 이음매는 그대로 남아 있었기 때문입니다.

02. 지금 구매자가 마주하는 것은 무엇인가요?

실제로 캐스케이드는 도구 묶음으로 찾아옵니다: 대본은 이 도구에서, 번역은 저 도구에서, 목소리는 세 번째에서, 립싱크와 자막은 네 번째에서. 대사 한 줄을 고치려면 그 뒤의 모든 단계를 다시 돌려야 하고, 팀의 누군가가 파일들을 붙잡고 있어야 합니다. 이 묶음을 건너뛰는 도구들은 품질과 시간을 맞바꿉니다. 보조형 도구는 어려운 숏에 VFX 아티스트 팀을 붙여 품질에 이르지만, 프로젝트마다 몇 주가 걸리고 언어마다 새 프로젝트가 됩니다. 한 번에 끝내는 도구는 빠르지만 나머지를 포기합니다: 목소리는 화자에게서 멀어지고, 현장음은 빠지며, 얼굴을 가린 손, 마이크, 블러, 보케, 옆모습, 화면 속 여러 사람 앞에서 입 모양이 무너집니다. 공간에 대한 추론도, 세상에 대한 이해도 없습니다. Familiar는 한 번에, 그리고 품질까지 갖춥니다.

다른 길은 번역과 목소리까지 사람이 하는 인간 더빙으로, 완성본 1분에 $70–150이 듭니다. 비용과 인력, 시간 때문에 세상 대부분에게는 닿지 않는 선택지입니다: 대작조차 몇 개 언어로만 더빙하고, 규모가 작은 작품, 시리즈, 숏드라마는 대부분 아예 더빙하지 않습니다.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

ElevenLabs 더빙을 검토하고 있다면, 그들의 공식 문서를 인용해 저희 연구와 나란히 놓았습니다:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. 한 모델이 모든 결정을 내리면 무엇이 달라지나요?

Familiar는 멀티모달 현지화 의사결정 모델(MLDM)로 더빙합니다. MLDM은 텍스트, 오디오, 영상을 아울러 무엇을 어떻게 현지화할지 결정하며, 모든 결정을 한 모델이 내리기에 결정끼리 어긋나지 않습니다. 정의는 최초의 멀티모달 번역 파운데이션 모델에 있습니다.

돌아오는 것은 다른 언어로 옮겨진 배우 본인의 연기입니다: 목소리, 입 모양, 표정, 장면의 소리가 함께 옮겨집니다. 한 번 올리면 모든 언어로 한꺼번에 나갑니다: 99개 원본 언어 중 어떤 언어의 영상이든 30개 언어로 더빙합니다.

함께 결정하면 잘못될 수 있는 지점도 달라집니다. 길어질 대사는 목소리를 만들기 전에 시간과 입 모양에 맞게 번역됩니다. 문장 한가운데의 웃음은 웃음으로 남습니다. 두 사람의 말이 겹칠 때도 모델은 누가 어느 대사를 하는지 알기에, 맞는 사람의 입이 움직입니다.

04. 완성된 더빙에서는 무엇이 달라지나요?

같은 클립을 두 시스템에 넣고 같은 방식으로 채점합니다. 각 수치는 저마다의 연구에서 나왔으며, 벤치마크에 공개되어 있습니다.

목소리도 측정했습니다: 위에 인용한 연구에서 Familiar는 ElevenLabs Dubbing v1보다 실제 화자와 27.8% 더 닮게 들렸고, 11개 언어 전부에서 더 가까웠습니다.

YouTube 자동 더빙은 별도의 연구에서 배경음 오류가 232.6% 더 많았습니다. 장면이 살아남는 이유는 MLDM이 트랙의 모든 소리, 웃음소리, 관중의 함성, 음악을 듣고, 주 화자의 목소리를 찾아 화자 본인의 목소리로 새 언어에 옮기고, 나머지는 원래 그대로 두기 때문입니다.

05. "번역을 먼저 정하고, 그다음 한 번에 더빙한다"는 무슨 뜻인가요?

++

번역을 먼저 정하고, 그다음 목소리, 입 모양, 장면까지 한 번에 더빙합니다.

순서가 중요합니다. 번역이 먼저 나오고, 크리에이티브 디렉터가 이를 검토합니다: 한 줄이 여러 방식으로 읽힐 수 있는 곳에서는 번역안과 각각의 근거를 보고 하나를 고릅니다. 그런 다음에야 더빙이 단 한 번 만들어집니다. 새로 지어내는 것은 없습니다. '생성형 AI'가 아닙니다. 창작자를 돕는 번역입니다. 지루한 반복 작업은 MLDM에게.

자막은 업계가 기준으로 삼는 자막 템플릿 표준인 Netflix의 Timed Text Style Guide 규칙에 맞춰 자릅니다. 모든 더빙은 캐나다 토론토에 있는 Familiar 자체의 수천만 달러 규모 NVIDIA B300 GPU 클러스터에서 처리되며, Google Cloud나 AWS 같은 퍼블릭 클라우드도, 외부 추론 업체도 거치지 않습니다. 파일은 결과물 문서에, 처리 방식은 자체 GPU 추론에, 카탈로그에 갖는 의미는 멀티모달 번역 파운데이션 모델이 스튜디오와 플랫폼에 의미하는 것에 있습니다.

06. 최종 결정은 누가 내리나요?

1. 지금

   크리에이티브 디렉터가 번역 결정을 검토합니다.

   번역안과 각각의 근거를 보고, 무엇이든 나가기 전에 하나를 고릅니다.
2. 지금

   번역 제외 목록과 한 문장짜리 컨텍스트가 작업과 함께 전달됩니다.

3. 준비 중

   오디오와 영상 결정도 같은 검토 화면에서.

   원어 그대로 남길 소리, 모델이 화자를 잘못 골랐을 때의 다른 얼굴, 그리고 화면 속 글자.

카탈로그에서 달라지는 것은 도달 범위입니다. 한 언어에 머물렀을 작품이 배우 본인의 연기를 그대로 지닌 채 30개 언어로 한꺼번에 나갈 수 있고, 중요한 판단은 여전히 팀이 내립니다.

이것이 결정 기록입니다. 자세한 내용은 결정 기록: 크리에이티브 디렉터가 MLDM을 이끄는 방법에, 모델이 무엇을 결정하는지는 MLDM이란 무엇인가요?에 있습니다. 그 바탕이 된 연구는 멀티모달 번역을 개척하다에 있습니다. 사람에서 사람으로, 더 넓은 세상에 닿습니다.

질문