멀티모달 번역을 개척하다: 오디오·영상 공동 연구에서 최초의 파운데이션 모델까지

01. 사람의 음성과 영상을 함께 다루는 모델은 누가 시작했나요?

더빙은 목소리와 얼굴이 한 사람으로 남을 때에만 버팁니다. Familiar의 연구진은 사람의 음성과 영상을 함께 다루는 모델 분야를 개척한 박사들입니다: ECCV 2026에 실린 논문 JAM-Flow는 말하는 사람의 목소리와 얼굴을 하나의 문제로 다룬, 최초의 음성·영상 공동 인물 모델입니다.

연구는 멀티모달 번역에 필요한 조각들을 아우릅니다: 음성과 영상을 함께 다루는 인물 모델, 빠른 영상 모델, 편집, 멀티모달 인식. 모든 논문과 학회는 연구 개요에 있습니다. 이유는 개인적입니다: CEO An Zhu Liu는 어린 시절 반 친구들에게 영어로 말을 걸지 못했고, 텔레비전을 보며 영어를 익혔습니다. 그 이야기는 미션 페이지에 있습니다.

02. 왜 더빙은 도구를 따로따로 거쳤을까요?

조각마다 먼저 따로 풀렸기 때문입니다. 기계 더빙은 체인으로 등장했고, 그 체인 덕분에 기계 더빙이 가능해졌습니다. 동시에 그 체인이 한계를 정했고, 이후에 나온 도구들도 여전히 품질과 시간을 맞바꿉니다. 보조형 도구는 VFX 아티스트 팀과 프로젝트마다 몇 주를 들여 품질에 이르고, 언어마다 새 프로젝트가 됩니다. 한 번에 끝내는 도구는 빠르지만 나머지를 포기합니다: 얼굴을 가린 손, 마이크, 블러, 보케, 옆모습, 화면 속 여러 사람 앞에서 입 모양이 무너지며, 공간에 대한 추론도, 세상에 대한 이해도 없습니다. Familiar는 한 번에, 그리고 품질까지 갖춥니다.

++

Familiar는 최초의 멀티모달 번역 파운데이션 모델입니다: 대사, 목소리, 입 모양, 장면을 하나의 모델이 한꺼번에 새 언어로 옮깁니다.

캐스케이드와의 차이를 단계별로 짚은 글은 캐스케이드 없이, 오디오와 영상을 한 번에 번역하다에, 정의는 최초의 멀티모달 번역 파운데이션 모델에 있습니다.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. 여기서 개척이란 무엇을 뜻하나요?

처음으로 함께 갖춘 세 가지입니다. 첫째, 오디오와 영상을 하나의 모델이 한꺼번에 새 언어로 옮기기에 결정끼리 어긋나지 않습니다: 목소리는 배우 본인의 것이고, 입 모양은 새 단어를 따라가며, 웃음소리, 관중의 함성, 음악은 제자리에 남습니다.

둘째, 순서입니다. 번역을 먼저 정하고, 그다음 목소리, 입 모양, 장면까지 한 번에 더빙합니다. 목소리를 입히기 전에 대사가 확정되고, 크리에이티브 디렉터가 검토합니다.

셋째, 기록입니다. MLDM이 내리는 모든 결정은 더빙 작업과 함께 기록되고, 어떤 결정이든 직접 바꿀 수 있습니다. 자세한 내용은 결정 기록: 크리에이티브 디렉터가 MLDM을 이끄는 방법에, MLDM이 무엇인지는 정의를 다룬 글에 있습니다.

04. 모델은 무엇을 결정하고, 여러분은 무엇을 고르나요?

연구 결과가 제품이 되려면 그것을 쓰는 사람이 주도권을 쥐어야 합니다. 지루한 반복 작업은 MLDM에게. 창작의 판단은 여러분의 몫입니다.

05. 아직 준비 중인 것은 무엇인가요?

개척이란 마지막이 아니라 첫 버전이라는 뜻입니다. 번역 선택지는 지금 열려 있고, 기록의 나머지는 단계적으로 열립니다.

1. 지금

   크리에이티브 디렉터가 번역 결정을 검토합니다.

   번역안과 각각의 근거를 보며, 번역 제외 목록과 한 문장짜리 컨텍스트가 작업과 함께 전달됩니다.
2. 준비 중

   오디오와 영상 결정도 같은 검토 화면에서.

3. 준비 중

   화면 속 글자.

   휴대폰 화면, 책 표지, 거리 표지판은 이미 정해 둔 용어로 옮기고, 브랜드나 이름은 모델이 그때그때 판단해 촬영된 그대로 둡니다: Tostitos 봉지는 Tostitos 그대로입니다.
4. 준비 중

   라이브 더빙.

06. 화면 속 사람들에게는 무엇이 달라지나요?

사람이 하는 더빙은 세상 대부분에게 닿지 않습니다. 비용과 인력, 걸리는 시간 때문에 대작조차 몇 개 언어로만 더빙하고, 규모가 작은 작품, 시리즈, 숏드라마는 대부분 아예 더빙하지 않습니다. 멀티모달 번역 파운데이션 모델은 이들 모두에게 다른 언어로 같은 연기를 줍니다: 배우의 목소리, 입 모양, 표정을 30개 언어로, 최대 4K 화질과 24비트 PCM의 리얼 5.1채널 서라운드 또는 스테레오 믹스로 납품합니다(결과물).

번역은 전문 번역가 품질의 100.3%로 측정되어 동률이며, 연구는 /benchmark에 있습니다. '생성형 AI'가 아닙니다. 창작자를 돕는 번역입니다. 사람에서 사람으로, 더 넓은 세상에 닿습니다. 카탈로그에 갖는 의미는 스튜디오와 플랫폼을 위한 글에 있습니다.

질문