해외에서 더빙이 어색한 이유, 스튜디오는 어떻게 고치나

01.더빙은 왜 어색하게 느껴질까요?

결함 중 둘은 AI보다 오래된 것입니다: 성우의 목소리도 결국 낯선 목소리이고, 어떤 녹음 세션도 배우의 입을 움직이지는 못합니다. 오디오만 바꾸는 AI 더빙은 여기에 세 번째 결함, 뭉개진 장면을 더할 수 있습니다. 측정 결과는 아래에 있습니다.

• 낯선 목소리. 성우가 읽든 기성 목소리가 읽든, 그 배우를 아는 사람에게는 더 이상 그 배우로 들리지 않습니다 (AI 영상 더빙 완전 정리 (2026)).
• 원래 언어로 말하는 입. 우리 뇌는 입 모양과 소리를 함께 읽어 말을 이해합니다. 둘이 어긋나면 알아듣기 어려워지고, 아예 다른 소리로 들리기도 합니다. 시각과 청각을 통합해 말을 지각하는 과정에서 일어나는 이 현상이 맥거크 효과입니다. 목소리만 바꾸는 더빙에는 이 어긋남이 모든 프레임에 남아 있습니다.
• 뭉개진 장면. 웃음, 음악, 효과음, 현장음이 새 대사 아래에서 잘려 나가거나 뭉개집니다.
• 문장 단위 직역. 단어를 하나하나 옮긴 대사는 정확해도 외국어처럼 읽히고, 농담은 늦게 터지거나 아예 터지지 않습니다 (영상 번역, 무엇이 중요한가).

02.측정 결과는 무엇을 말할까요?

ElevenLabs의 두 코호트와 인간 번역 연구는 절대 합산하지 않습니다. 전체 데이터, 신뢰구간, 직접 들어볼 샘플: Familiar vs ElevenLabs와 vs 인간 번역가; 방법론은 AI 번역 vs 인간 번역: 전문가와 비교 테스트 (2026)에 있습니다.

• 단어, ElevenLabs Dubbing v2 (Alpha). Familiar는 음성 출력의 중요한 번역 오류를 54.7% 더 적게 냈습니다 (29건 vs 64건).
• 음성 출력 실수, ElevenLabs Dubbing v1. Familiar는 검토에서 지적된 음성 출력 실수를 48.8% 더 적게 냈습니다 (132건 vs 258건).

03.목소리, 입술, 장면이 하나의 모델에서 나오면 무엇이 달라질까요?

하나의 통합 모델이 목소리와 입술, 장면까지 함께 생성합니다. 장면과 세계를 이해하고 인물 각자의 정체성을 끝까지 유지하기 때문에, 낯선 목소리와 어긋난 입 모양 대신 배우 본인의 퍼포먼스가 그대로 살아남습니다.

• 목소리는 배우 본인의 연기에서 나옵니다. 더빙은 텍스트 음성 변환(TTS)이 아닙니다: 원본 오디오를 받아 화자의 정체성과 전달 방식을 그대로 지킵니다.
• 입술만이 아니라 눈, 눈썹, 볼, 고개까지 얼굴 전체가 다시 연기합니다. 얼굴 전체가 새로운 언어로 연기하기 때문에, 시청자가 눈으로 읽는 입 모양과 귀로 듣는 말이 일치합니다 (AI 립싱크: 무엇이고, 무엇을 놓치고, 무엇이 더 나은가 (2026)).
• 장면은 더빙 뒤에도 살아남습니다. 웃음, 음악과 베이스, 효과음, 현장음까지. 모델이 음악으로 감지한 구간은 손대지 않고 그대로 통과시킵니다.
• 화면에 나오는 모든 사람이 각자 자기 목소리로 더빙됩니다. /demos의 세 명이 말하는 영화 장면은 영어에서 스페인어로 더빙한 것입니다. 입을 가리는 마이크, 얼굴을 가로지르는 손: 모델은 오클루전을 이해합니다.
• 이름, 장소, 유행어는 말한 그대로 유지됩니다. 스튜디오가 관리하는 번역 제외 목록으로 지키고, 농담은 타겟 언어에서 통하도록 다시 씁니다.
• 번역, 배우의 목소리, 장면의 소리, 립싱크까지 한 번의 렌더링에 담깁니다.

04.스튜디오는 어떻게 운영하나요?

• 렌더링 전, 언어별 검토. 파이프라인은 검토 단계에서 멈추고, 스튜디오 자체 번역가가 번역된 줄을 어떤 것이든 수정합니다. 각 언어는 각자의 승인에 따라 렌더링되므로, 스페인어는 오늘, 나머지는 각 검토자가 승인하는 대로 진행됩니다 (스크립트와 검토).
• 한 문장 컨텍스트. 화면에 누가 나오고 어떤 작품인지를, 시리즈 전체라면 크리에이터 범위에, 회차 하나라면 작업 범위에 설정합니다. 더 좁은 범위가 우선합니다 (컨텍스트).
• 같은 세 범위에서 쓰는 번역 제외 목록. 캐릭터의 이름이나 유행어가 1화와 똑같이 60화에도 유지됩니다 (번역 제외 목록).
• 웹훅. 번역이 준비되면 dub.ready_for_review, 언어별로 완성되면 dub.output_ready가 호출됩니다 (웹훅).
• 30개 언어, 모든 언어 간 상호 번역. 공개된 세 품질 티어로, 품질이 높은 순으로 나뉩니다 (지원 언어).
• 참고 가격. 번역과 목소리까지 전부 사람이 하는 인간 더빙은 완성본 1분에 $70에서 $150이 듭니다. Familiar 이용은 Studio 계약으로, 카탈로그 규모에 맞춰 구성됩니다.

05.시즌 전체를 맡기기 전에 스튜디오는 무엇을 테스트해야 할까요?

• 가장 어려운 회차를 고르세요. 빠른 대사, 농담, 감정의 전환, 고유명사, 대사 아래에 깔린 음악이 있는 회차로. 깨끗한 장면 하나는 시즌 전체에 대해 아무것도 증명하지 못합니다.
• 누가 듣기 전에 검수 기준을 먼저 적으세요. 원어민 검토자가 그 기준에 따라 대사, 목소리, 장면, 얼굴을 채점하고 몰입이 깨진 순간을 표시합니다. 채점표는 AI 더빙 파일럿 진행 가이드 (2026)에 있습니다.
• 막판 수정을 포함하세요. 마스터가 바뀌면 새 더빙 요청입니다. 바뀐 줄은 검토 단계에서 확인하고, 번역 제외 목록과 컨텍스트는 그대로 이어집니다.

질문

참고 자료

1. [1]Familiar vs ElevenLabs 벤치마크: 전체 결과, 신뢰구간, 직접 들어볼 샘플
2. [2]Familiar vs 인간 번역가: 번역 품질 연구
3. [3]스크립트와 검토: 검토 단계와 언어별 렌더링 (API 문서)
4. [4]영상 번역, 무엇이 중요한가 (네 가지 문제)
5. [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)