영상 번역에서 정말 중요한 것

01. 네 가지 문제

더빙 영상이 좋으려면 무엇이 필요할까요? 목록은 길어지지만, 줄이면 네 가지입니다:

앞의 두 가지가 무너지면 그 뒤는 의미가 없습니다: 잘못 옮긴 문장 하나, 귀에 거슬리는 목소리 하나만으로 더빙은 끝납니다. 뒤의 두 가지는 결과물이 원작처럼 느껴지는지, 더빙처럼 느껴지는지를 가릅니다.

02. 자연스러운 번역: 옮기기가 아니라 새 대본

언어마다 말하는 방식이 다릅니다: 단어, 관용구, 문장 구조, 호칭, 그리고 애초에 무엇을 입 밖에 내는지까지. 모델에게 "번역하라"고 하면 A 언어의 문장을 B 언어로 한 문장씩 대응시킵니다. 사람도 마찬가지여서, 번역가라는 역할을 맡기면 일이 문장 변환으로 쪼그라듭니다.

• 일본어는 지나치게 직접적인 표현을 피하는 편이라, 자연스러운 대사를 만들려면 단어마다 말투를 누그러뜨리는 정도로는 부족하고 문장을 간접적으로 다시 짜야 할 때가 많습니다.
• 한국어는 주어를 수시로 생략합니다. 영어 대명사를 영어만큼 자주 옮겨 오면, 단어 하나하나가 맞아도 번역투로 읽힙니다.
• 어순, 말투, 존댓말, 그리고 그 문화가 굳이 말하지 않는 것까지 언어마다 달라집니다. 글자 그대로의 뜻이 살아남았다고 좋은 번역이 되는 것은 아닙니다.

"잘"은 체크리스트로 만들기 어렵기에, 목표를 한 문장으로 줄입니다: 영상의 내용을 대상 언어로 잘 전한다. 이것은 측정할 수 있습니다:

03. 자연스러운 오디오: 같은 사람, 새 언어로

발음은 거의 해결된 문제입니다. 흥미로운 실패는 그다음에 있습니다:

• 정체성: 어느 언어에서든 같은 사람은 같은 사람으로 들려야 합니다.
• 감정: 화자가 느낀 감정이 언어가 바뀌어도 살아남아야 합니다.
• 강세, 속도, 의도: 문장이 어디에 힘을 싣는지, 얼마나 빠르게 흘러가는지, 무엇을 하려는 말인지.

목표는 번역 때와 같은 방식으로 줄어듭니다: 오디오가 영상과 맞아야 합니다. "A 언어의 목소리로 B 언어를 만들어라"가 아닙니다. 같은 연기를 새로운 언어로. 그리고 장면도 오디오의 일부입니다: 웃음소리, 음악, 그 공간의 소리까지.

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

04. 화면 속 글자도 영상의 일부입니다

요즘 영상은 화면 속 글자에 크게 기댑니다: 자막, 농담, 밈, 비트에 맞춰 뜨는 단어 하나. 모두 원어로 된 시각적 사건입니다. 이를 현지화하려면 두 가지를 지켜야 합니다:

• 영상을 절대 해치지 않을 것. 잡티나 시각적 방해가 생기면 결과물은 원본보다 못해집니다.
• 글자 그대로 옮기지 않을 것. 이 글자가 왜 이 순간, 이 자리에 나오는지 먼저 이해해야 옮길 수 있습니다.

지금 Familiar의 멀티모달 현지화 의사결정 모델(MLDM)은 최초의 멀티모달 번역 파운데이션 모델이자 새로운 패러다임을 연 최초의 모델로, 더빙과 함께 제목, 설명, 자막을 번역합니다. 화면 속 글자는 준비 중입니다: 휴대폰 화면이나 거리 표지판은 이미 정해 둔 용어로 옮기고, 브랜드나 이름은 모델이 그때그때 판단해 촬영된 그대로 둡니다. Tostitos 봉지는 Tostitos 그대로입니다. 어떤 글자를 번역할지는 직접 고릅니다. 원칙은 같습니다: 손댄 티가 나면 충분히 좋은 것이 아닙니다.

05. 립싱크: 눈에 띄지 않아야 성공

립싱크에도 같은 엄격한 조건이 붙습니다: 영상을 절대 해치지 않을 것. 더빙의 립싱크가 받을 수 있는 최고의 찬사는 "뭐가 바뀐 거죠?"라는 질문입니다.

이 효과는 더빙에 유리하게도 작용합니다. 입 모양이 맞으면 뇌는 애매한 소리를 일치하는 쪽으로 해석합니다: 발음은 더 또렷하게, 음색은 더 같은 사람처럼 들립니다.

어려운 부분은 따로 있습니다: 화면 밖의 목소리, 겹치는 대사, 생김새나 목소리가 비슷한 사람들, 그리고 얼굴을 망가뜨리지 않고 입만 고치는 일. 화면에 두 사람이 있으면 지금의 도구들은 두 사람의 입을 한꺼번에 맞춰 버립니다.

입술은 출발점일 뿐입니다. 사람은 얼굴 전체로 문장을 연기합니다. 눈, 눈썹, 뺨, 고개, 그리고 몸까지: 손짓, 끄덕임, 귀 기울이는 반 박자.

06. 네 가지가 아니라 하나의 문제

조건마다 같은 문장으로 줄어들었습니다. 자연스러운 번역: 이 영상이 하는 말을 대상 언어로 쓴다. 자연스러운 오디오: 새 단어 속에서도 같은 연기를 지킨다. 화면 속 글자: 손대기 전에 그 글자가 왜 거기 있는지 안다. 립싱크: 사람을 망가뜨리지 않고 고친다.

MLDM이 결정하는 것이 바로 이것이며, 같은 클립으로 측정해 /benchmark에 공개했습니다. 모든 결정은 더빙 작업과 함께 기록되고 직접 바꿀 수 있습니다. 지금은 크리에이티브 디렉터가 여러 번역안 중에서 고릅니다.