최초의 멀티모달 번역 파운데이션 모델

01. 멀티모달 번역 파운데이션 모델이란 무엇인가요?

영상은 대사 이상을 말합니다. 화자의 목소리, 입이 움직이는 방식, 공간을 채운 웃음소리, 장면 아래 깔린 음악이 모두 의미를 싣습니다. 영상을 잘 번역한다는 것은 이 모두를 옮기면서 서로 어긋나지 않게 하는 일입니다: 대사는 입 모양에 맞아야 하고, 목소리는 장면 속에 자리 잡아야 하며, 화면 속 사람은 그 사람 그대로여야 합니다.

멀티모달 번역 파운데이션 모델은 이 일 전체를 해내는 하나의 모델입니다. 영상을 하나의 덩어리로 받아들이고, 각 부분이 새 언어에서 어떻게 자리 잡을지 결정합니다. Familiar가 그 첫 모델을 만들었고, 이름을 MLDM이라 붙였습니다.

02. 왜 지금까지 더빙은 도구를 따로따로 거쳤을까요?

사람이 하는 더빙은 언제나 세상 대부분에게 닿지 못했습니다. 비용과 인력, 시간 때문에 대작조차 몇 개 언어로만 더빙하고, 규모가 작은 작품, 시리즈, 숏드라마는 아예 더빙하지 않습니다. 번역과 목소리까지 사람이 하는 인간 더빙은 완성본 1분에 $70에서 $150이 듭니다.

03. 한 모델이 한꺼번에 옮기면 무엇이 달라지나요?

++

캐스케이드 없이 오디오와 영상을 한 번에 번역하는, 최초의 방식.

같은 배우의 연기가 그대로 전해집니다: 배우 본인의 목소리, 새 단어에 맞춰 움직이는 입, 표정, 그리고 그를 둘러싼 장면의 소리까지. 웃음소리, 관중의 함성, 음악은 원래 그대로 남습니다. 같은 클립에서 YouTube는 Familiar보다 배경음 오류가 232.6% 더 많았습니다. 텍스트만 놓고 보면 번역은 숙련된 전문 번역가의 1차 번역과 동률입니다: 전문가 품질의 100.3%. 전체 수치는 벤치마크에 있습니다.

더빙을 둘러싼 작업도 달라집니다. 지금 높은 품질에 이르는 길은 보조형입니다: VFX 아티스트 팀이 몇 주 동안 숏 하나하나를 작업하고, 언어마다 새 프로젝트가 됩니다. 지금의 한 번에 끝내는 도구는 빠르지만 나머지를 포기합니다: 번역은 수정할 수 없고, 음악과 현장음은 빠지며, 얼굴을 가린 손, 마이크, 블러, 보케, 옆모습, 화면 속 여러 사람처럼 평범한 숏에서 입 모양이 무너집니다. 공간에 대한 추론도, 세상에 대한 이해도 없습니다. Familiar는 한 번에, 그리고 품질까지 갖춥니다: 한 번 올리면 고른 모든 언어로 영상이 한꺼번에 옮겨지고, 모든 결정을 한 모델이 내리기에 서로 어긋나지 않아 손으로 다시 이어 붙일 것이 없습니다.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. MLDM은 무엇을 결정하고, 여러분은 무엇을 고르나요?

멀티모달 현지화 의사결정 모델은 모델 그 자체입니다. MLDM은 텍스트, 오디오, 영상을 아울러 무엇을 어떻게 현지화할지 결정합니다. 자세한 정의는 멀티모달 현지화 의사결정 모델(MLDM)이란 무엇인가요?에 있습니다.

1. 지금

   번역 결정은 크리에이티브 디렉터가 검토합니다.

   모든 결정은 더빙 작업과 함께 기록됩니다. 어떤 결정이든 직접 바꿀 수 있습니다.
2. 준비 중

   오디오와 영상 결정도 같은 검토 화면에서.

3. 준비 중

   화면 속 글자, 그리고 라이브 더빙.

   휴대폰 화면이나 거리 표지판은 이미 정해 둔 용어로 옮기고, 브랜드나 이름은 모델이 그때그때 판단해 촬영된 그대로 둡니다: Tostitos 봉지는 Tostitos 그대로입니다.

이 선택들의 기록은 결정 기록: 크리에이티브 디렉터가 MLDM을 이끄는 방법에 있습니다.

05. 스튜디오는 파운데이션 모델에서 무엇을 얻나요?

지루한 반복 작업은 MLDM에게. 창작의 판단은 작품을 만든 사람들에게 남고, 나머지는 모델이 모든 언어로 한꺼번에 옮깁니다.

모든 더빙은 이 클러스터에서 처리되며 외부 추론 업체를 거치지 않으므로, 미디어가 유출되지 않습니다. 자세한 내용은 자체 GPU 추론 문서와 결과물 문서에 있습니다. 그 뒤에는 사람의 음성과 영상을 함께 다루는 모델 분야를 개척한 박사들이 있습니다: 논문 22편, 인용 10,000회 이상, Xu Zheng 교수와 Youngjung Uh 교수가 자문위원으로 함께하며, Samsung, RedBird, Gold House가 투자했습니다. 논문은 저희 연구에 있습니다.

06. 번역 파운데이션 모델은 생성형 AI인가요?

전통적인 의미로는 아닙니다. IBM은 생성형 AI를 이렇게 정의합니다:

새로운 것을 만드는 데는 강력한 도구입니다. MLDM에는 프롬프트가 없고, 새로 지어내는 것도 없습니다: 이미 있는 것을 다른 언어로 옮길 뿐입니다. '생성형 AI'가 아닙니다. 창작자를 돕는 번역입니다. 사람에서 사람으로, 더 넓은 세상에 닿습니다.

이 시리즈의 다른 글: 캐스케이드 없이, 오디오와 영상을 한 번에 번역하다, 멀티모달 번역 파운데이션 모델이 스튜디오와 플랫폼에 의미하는 것, 멀티모달 번역을 개척하다.

질문