멀티모달 현지화 의사결정 모델(MLDM)이란 무엇인가요?

FAMILIAR 연구2026-10-27수정일 2026-11-01전체 글

초록

최초의 멀티모달 번역 파운데이션 모델이자 새로운 패러다임을 연 최초의 모델. MLDM은 텍스트, 오디오, 영상을 아울러 무엇을 어떻게 현지화할지 결정하고, 꼭 필요한 선택지는 직접 보여 주는 하나의 모델입니다. 번역을 먼저 정하고, 그다음 목소리, 입 모양, 장면까지 한 번에 더빙합니다. 모든 결정을 한 모델이 내리기에 결정끼리 어긋나지 않습니다. 사람은 언제나 그대로입니다.

최초의 멀티모달 번역 파운데이션 모델캐스케이드 없이 오디오와 영상을 한 번에 번역

MLDM은 무엇을 결정하나요?

텍스트

한 줄의 대사를 어떤 번역으로 새 언어에 옮길지. MLDM은 여러 번역안을 견주어 가장 좋은 것을 고릅니다: 농담, 이야기, 대화 속 한마디에서는 단어 하나로 의도와 감정이 달라지기 때문입니다. 같은 결정이 용어, 무엇을 번역하지 않을지, 말한 그대로 두는 속어, 원래대로 두는 이름과 브랜드, 관객이 아는 것으로 바꾸는 레퍼런스, 그 문화권에서 피하는 표현, 더 어린 시청자용 버전의 욕설 수위까지 아우릅니다.

오디오

애초에 무엇을 번역할지. MLDM은 트랙에 담긴 모든 소리를 듣습니다: 웃음소리, 관중의 함성, 외침, 누구인지 알아듣기 힘든 배경 속 말소리까지. 주 화자의 목소리를 찾아 화자 본인의 목소리로 새 언어에 옮기고, 나머지는 원래 그대로 둡니다.

영상

실제로 그 말을 하는 사람이 누구인지. 오디오와 영상을 함께 결정하기에, MLDM은 누가 내레이션하는지, 누가 화면 밖에서 말하는지, 누구의 입이 움직여야 하는지 압니다. 입 모양은 모든 대사에서 새 단어를 따라가고, 강조나 문화가 요구할 때는 표정과 제스처도 따라갑니다.

직접 보는 선택지

텍스트

지금한 줄이 여러 방식으로 읽힐 수 있을 때, 크리에이티브 디렉터는 번역안과 각각의 근거를 함께 보고 하나를 고릅니다. 팟캐스트 한 편, 에피소드 한 화, 영화 한 편에도 이런 구간이 여럿 있을 수 있습니다.

준비 중

오디오

지금

준비 중원어 그대로 남길 소리를 고르는 기능. 구호, 고함, 특정 문구를 원할 때는 말한 그대로 둘 수 있습니다.

영상

지금

준비 중모델이 화자를 잘못 골랐을 때 다른 얼굴을 고르는 기능, 그리고 화면 속 어떤 글자를 번역할지 고르는 기능. 휴대폰 화면, 책 표지, 거리 표지판, 가게 간판 같은 글자는 이미 정해 둔 용어로 옮겨집니다. 브랜드, 이름, 속어처럼 촬영된 그대로 둘 것은 모델이 그때그때 결정합니다: Tostitos 봉지는 Tostitos 그대로입니다.

왜 하나의 모델인가요?

도구를 이어 붙인 체인

음성 인식, 번역, 목소리, 립싱크를 차례로 거치며, 단계마다 따로 조정합니다.
이 체인 덕분에 기계 더빙이 가능해졌습니다.
그래도 각 단계는 다른 단계를 모른 채 추측하기에, 오류가 단계를 거칠수록 쌓입니다.

하나의 파운데이션 모델, 최초의 모델

MLDM은 모든 결정을 함께 내립니다.
번역은 맞춰야 할 입 모양을 압니다.
목소리는 자신이 놓인 장면을 압니다.
사람은 언제나 그대로입니다.

번역을 먼저 정하고, 그다음 한 번에 더빙합니다: 목소리, 입 모양, 장면이 같은 결정에서 함께 나옵니다.

캐스케이드 없이 오디오와 영상을 한 번에 번역하는, 최초의 방식. 이것이 MLDM을 최초의 멀티모달 번역 파운데이션 모델로 만듭니다: 대사, 목소리, 입 모양, 장면을 하나의 모델이 한꺼번에 새 언어로 옮깁니다. 지금 높은 품질에 이르는 길은 보조형입니다: 프로젝트마다 VFX 아티스트 팀과 몇 주가 필요하고, 언어마다 새 프로젝트가 됩니다. 지금의 한 번에 끝내는 도구는 빠르지만 나머지를 포기합니다. Familiar는 한 번에, 그리고 품질까지 갖춥니다.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

현지화와 번역은 무엇이 다른가요?

번역은 말입니다. 현지화는 그 문화가 그 말에서 필요로 하는 것입니다.

맞는 용어, 속어, 말한 그대로 두는 이름, 관객이 아는 것으로 바꾸는 레퍼런스, 그 문화권에서 피하는 표현, 알맞은 욕설 수위. MLDM은 이 모두를 결정하고, 때가 되면 화면이 바뀌어야 할 때 그림까지 결정합니다.

MLDM은 생성형 AI인가요?

아니요. IBM은 생성형 AI를 이렇게 정의합니다:

생성형 AI(gen AI라고도 함)는 사용자의 프롬프트나 요청에 따라 텍스트, 이미지, 영상, 오디오, 소프트웨어 코드 같은 독창적인 콘텐츠를 만들어 낼 수 있는 인공지능(AI)입니다.

IBM, What is generative AI?

새로운 것을 만드는 데는 강력한 도구입니다. MLDM에는 프롬프트가 없고, 새로 지어내는 것도 없습니다: 이미 있는 것을 어떻게 현지화할지 결정할 뿐입니다. 자세한 입장은 Familiar가 전통적인 의미의 생성형 AI가 아닌 이유와 번역은 생성이 아닙니다에 있습니다.

결정은 누구의 것인가요?

여러분의 것입니다. MLDM이 내리는 모든 결정은 더빙과 함께 결정 기록에 남습니다.

지금
크리에이티브 디렉터가 번역 결정을 검토합니다.
번역안과 각각의 근거를 보고, 무엇이든 나가기 전에 하나를 고릅니다.
지금
번역 제외 목록과 한 문장짜리 컨텍스트가 작업과 함께 전달됩니다.
준비 중
오디오와 영상 결정도 같은 검토 화면에서.
준비 중
결정 기억.
크리에이터별로 기억해 둔 수정 사항이 다음 더빙에 먼저 적용되므로, 한 번 내린 선택이 다음 화에도 그대로 이어집니다.

자세한 내용은 결정 기록: 크리에이티브 디렉터가 MLDM을 이끄는 방법에, 계획 중인 API는 결정 문서에 있습니다.

질문

MLDM은 무엇의 약자인가요?

MLDM은 멀티모달 현지화 의사결정 모델(Multimodal Localization Decision Model)의 약자로, 새로운 패러다임을 연 최초의 모델입니다: 텍스트, 오디오, 영상을 아울러 무엇을 어떻게 현지화할지 결정하는 하나의 모델. 대사의 번역안, 오디오에서 번역할 것, 화면 속 누가 말하는지, 그리고 입 모양과 표정, 제스처가 어떻게 따라갈지를 고릅니다.

MLDM은 영상 모델인가요?

일반적인 의미로는 아닙니다. MLDM은 이미 있는 영상을 다루며 그것을 어떻게 현지화할지 결정합니다: 대사, 목소리, 입 모양, 표정. 화면 속 사람은 어느 언어에서든 그 사람 그대로입니다.

MLDM은 새로운 영상을 만들어 내나요?

아니요. 프롬프트가 없고, 새로 지어내는 것도 없습니다. MLDM은 이미 있는 것을 어떻게 현지화할지 결정합니다: 배우, 타이밍, 장면은 그대로 두고, 대사와 음성 트랙, 입 모양만 새 언어에 맞게 바뀝니다.

MLDM은 오디오에서 무엇을 결정하나요?

애초에 무엇을 번역할지입니다. 주 화자의 목소리를 찾아 화자 본인의 목소리로 새 언어에 옮깁니다. 웃음소리, 관중의 함성, 외침, 알아듣기 힘든 배경 속 말소리는 원래 그대로 남습니다.

MLDM은 표정도 바꾸나요?

강조나 문화가 요구할 때 바꿉니다. 입 모양은 모든 대사에서 새 단어를 따라가고, 새 언어에서 대사가 다르게 전해질 때는 표정과 제스처도 따라갑니다. 사람은 그 사람 그대로입니다.

MLDM은 화면 속 글자도 번역하나요?

아직은 아닙니다. 휴대폰 화면, 책 표지, 거리 표지판, 가게 간판 같은 화면 속 글자는 지금 통합하고 있으며, 이미 정해 둔 용어로 옮겨집니다. 브랜드, 이름, 속어처럼 촬영된 그대로 둘 것은 모델이 그때그때 결정합니다: Tostitos 봉지는 Tostitos 그대로입니다. 지금은 대사, 목소리, 입 모양, 표정, 제스처를 현지화합니다.

모델이 내린 결정을 바꿀 수 있나요?

네. 모든 결정은 더빙 작업과 함께 기록되고, 직접 바꿀 수 있습니다. 지금은 크리에이티브 디렉터가 근거가 붙은 여러 번역안 중에서 고르며, 한 번 내린 선택은 다음 화에도 그대로 이어집니다.

모델은 오디오와 영상의 선택지도 보여 주나요?

번역 선택지는 지금 보여 줍니다. 원어 그대로 남길 소리 같은 오디오 선택지, 다른 얼굴을 고르거나 화면 속 어떤 글자를 번역할지 같은 영상 선택지는 준비 중입니다.

참고 자료

멀티모달 번역

Familiar Labs는 멀티모달 현지화 의사결정 모델(MLDM)로 한 세대 앞선 더빙을 만듭니다. MLDM은 최초의 멀티모달 번역 파운데이션 모델로, 텍스트, 오디오, 영상을 아울러 무엇을 현지화할지 하나의 모델이 결정하고 그 선택지를 직접 보여 줍니다. 당신의 목소리와 입 모양 그대로, 새로운 언어로. 박사들이 모인 8명의 팀으로, Samsung, RedBird, Gold House가 투자했습니다. 미션 보기

벤치마크 전체 보기 →팀과 상담하기