멀티모달 번역 파운데이션 모델이 스튜디오와 플랫폼에 의미하는 것

01. 파운데이션 모델은 더빙의 무엇을 바꾸나요?

기계 더빙은 그동안 따로 떨어진 도구의 캐스케이드였습니다: 음성 인식, 번역, 목소리, 그리고 립싱크. 각 단계는 다른 단계를 모른 채 추측했고, 오류는 다음 단계로 넘어갔습니다. 지금 구매자가 마주하는 선택지는 품질과 시간을 맞바꿉니다. 보조형 도구는 VFX 아티스트 팀을 붙여 품질에 이르지만, 프로젝트마다 몇 주가 걸리고 언어마다 새 프로젝트가 됩니다. 한 번에 끝내는 도구는 빠르지만 나머지를 포기합니다: 번역은 수정할 수 없고, 목소리는 화자에게서 멀어지며, 음악과 현장음은 빠지고, 얼굴을 가린 손, 마이크, 블러, 보케, 옆모습, 화면 속 여러 사람 앞에서 입 모양이 무너집니다. 공간에 대한 추론도, 세상에 대한 이해도, 통제권도 없습니다. Familiar는 이 체인을 하나의 멀티모달 현지화 의사결정 모델(MLDM)로 바꿉니다: 한 번에, 그리고 품질까지.

++

번역을 먼저 정하고, 그다음 목소리, 입 모양, 장면까지 한 번에 더빙합니다.

캐스케이드 없이 오디오와 영상을 한 번에 번역하는, 최초의 방식. 정의는 최초의 멀티모달 번역 파운데이션 모델에, 캐스케이드와의 차이를 단계별로 짚은 글은 캐스케이드 없이, 오디오와 영상을 한 번에 번역하다에 있습니다.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. 한 번 업로드로 판매하는 모든 시장을 다룰 수 있나요?

네. 99개 원본 언어 중 어떤 언어의 영상이든 한 번만 올리면, 주문한 30개 출력 언어로 더빙이 나옵니다: 한 번 업로드로 모든 언어, 언어마다 같은 연기를 담아서. 한 시즌, 라이브러리 전체, 세로형 에피소드 피드도 같은 길을 따르고, 한 번 정한 용어는 다음 화로 이어집니다.

번역과 목소리까지 사람이 하는 인간 더빙은 완성본 1분에 $70에서 $150이 듭니다. 이 가격에서는 세상 대부분에게 닿지 않는 선택지입니다. 비용과 인력, 걸리는 시간 때문에 대작조차 몇 개 언어로만 더빙합니다.

Familiar가 메우는 것이 바로 이 간극입니다. '생성형 AI'가 아닙니다. 창작자를 돕는 번역입니다. 지루한 반복 작업은 MLDM에게. 사람에서 사람으로, 더 넓은 세상에 닿습니다.

03. 대사가 다른 언어에서 어떻게 전해질지는 누가 정하나요?

MLDM은 텍스트, 오디오, 영상을 아울러 무엇을 어떻게 현지화할지 결정합니다. 중요한 선택은 여전히 팀이 쥡니다. 번역이 먼저 나오고, 한 줄이 여러 방식으로 읽힐 수 있는 곳에서는 더빙에 들어가기 전에 크리에이티브 디렉터가 선택지와 각각의 근거를 봅니다.

모든 결정은 더빙 작업과 함께 기록되고, 어떤 결정이든 직접 바꿀 수 있습니다. 자세한 내용은 결정 기록: 크리에이티브 디렉터가 MLDM을 이끄는 방법에 있습니다. 텍스트만 놓고 보면 번역은 전문 번역가와 동률입니다: 벤치마크에서 측정한 전문가 품질의 100.3%.

04. 완성된 더빙과 함께 무엇이 돌아오나요?

후반 작업팀이 그대로 릴리스에 넣을 수 있는 납품물을, 스트리밍 플랫폼이 요구하는 규격으로. 장면의 소리는 원래 그대로 남습니다: 음악, 현장음, 웃음소리는 지켜지고, 대사만 언어가 바뀝니다.

자막은 검토를 마친 번역으로 만들며, 업계가 기준으로 삼는 자막 템플릿 표준인 Netflix의 Timed Text Style Guide 규칙에 맞춰 자릅니다. 모든 파일과 형식은 결과물 문서에 정리되어 있습니다.

05. 영상은 어디에서 처리되나요?

공개 전 영상은 스튜디오가 가장 지키고 싶은 자산입니다. 모든 더빙은 캐나다 토론토에 있는 Familiar 자체의 수천만 달러 규모 NVIDIA B300 GPU 클러스터, 곧 Familiar가 소유한 컴퓨팅 자원에서 처리됩니다.

더빙이 거치는 경로와 보안 검토를 위한 답변은 자체 GPU 추론 문서에 있습니다.

06. 지금 쓸 수 있는 것과 준비 중인 것은 무엇인가요?

1. 지금

   한 번 업로드로 모든 언어, 배우 본인의 목소리와 입 모양 그대로.

   출력 30개 언어, 입력 99개 원본 언어. 최대 4K, 리얼 5.1채널 또는 스테레오 믹스, 자막.
2. 지금

   크리에이티브 디렉터가 번역 결정을 검토합니다.

   각각의 근거가 붙은 선택지가 더빙 작업과 함께 기록됩니다.
3. 준비 중

   오디오와 영상 결정도 같은 검토 화면에서.

   원어 그대로 남길 소리, 다른 얼굴, 화면 속 어떤 글자를 번역할지.
4. 준비 중

   라이브 더빙.

이용은 카탈로그 규모에 맞춘 Studio 계약으로 이뤄집니다: 작품, 언어, 납품 규격에 대해 팀과 이야기해 보세요. 팀은 사람의 음성과 영상을 함께 다루는 모델 분야를 개척한 박사들입니다: 논문 22편, 인용 10,000회 이상, Xu Zheng 교수와 Youngjung Uh 교수가 자문위원으로 함께하며, Samsung, RedBird, Gold House가 투자했습니다. 연구는 저희 논문과 멀티모달 번역을 개척하다에, 창업자의 이야기는 미션 페이지에 있습니다.

질문