통제

결정 기록: 크리에이티브 디렉터가 MLDM을 이끄는 방법

FAMILIAR 연구수정일 전체 글

초록

MLDM은 최초의 멀티모달 번역 파운데이션 모델이자 새로운 패러다임을 연 최초의 모델입니다. MLDM이 내리는 모든 결정은 더빙과 함께 기록됩니다: 직접 읽고, 바꾸고, 그 선택을 다음 화까지 이어 갈 수 있습니다. 번역 결정은 지금 검토할 수 있고, 오디오와 영상 결정은 준비 중입니다.
최초의 멀티모달 번역 파운데이션 모델

지금 직접 내리는 결정

  1. 01

    번역이 먼저 돌아옵니다.

  2. 02

    한 줄이 여러 방식으로 읽힐 수 있는 곳에서는, 검토 단계에서 의도와 감정을 달리한 번역안 세 가지가 각각의 근거와 함께 돌아옵니다.

  3. 03

    크리에이티브 디렉터가 하나를 고르거나 직접 쓴 뒤, 렌더링합니다.

같은 검토에서 현지화 판단도 함께 봅니다. 무엇을 번역하지 않을지가 먼저입니다: 말한 그대로 두는 속어, 원래대로 두는 이름과 브랜드, 관객이 아는 것으로 바꾸는 레퍼런스, 그 문화권에서 피하는 표현, 더 어린 시청자용 버전에서 낮추는 욕설 수위.

말장난, 한국어에서 영어로

"사과하려고 사과 사 왔어."는 사과가 '사죄'와 '과일'을 둘 다 뜻한다는 데 기대는 문장입니다. 번역안 세 가지가 돌아옵니다:

  • "Apples. I'm sorry, right down to the core." 말장난을 살린 번역.
  • "I came to say sorry. I brought apples." 뜻만 옮긴 번역.
  • "An apple a day keeps the silent treatment away." 새로 만든 농담.

크리에이티브 디렉터는 첫 번째를 골라 다듬었습니다.

비꼬는 한마디, 중국어에서 영어로

"你可真行啊。"는 장면에 따라 칭찬으로도, 비꼬는 말로도 읽힙니다:

  • "Wow. You're incredible." 진심.
  • "Well, aren't you something." 비꼼, 선택된 번역.
  • "Look at you, hotshot." 놀림.

팟캐스트 한 편, 에피소드 한 화, 영화 한 편에는 이런 구간이 수없이 담겨 있습니다: 농담, 대화, 이야기.

오디오 결정

MLDM은 애초에 무엇을 번역할지 결정합니다. 주 화자의 목소리를 찾아 화자 본인의 목소리로 새 언어에 옮기고, 나머지는 원래 그대로 둡니다. 오디오에서 판단이 갈리는 지점을 빠짐없이 팀에 보여 주는 기능은 준비 중입니다.

원어 그대로 남길 소리: 한국어 그대로 둔 경기장 응원 구호, 주방 너머로 들리는 고함, 팬이라면 다 아는 유행어. 아무도 알아듣기 힘든 배경 속 말소리는 원래대로 남거나, 결국 번역할지 고를 수 있는 선택지로 돌아옵니다.

영상 결정

준비 중

실제로 말하는 사람
기록되는 것대사가 들려오는 얼굴, 내레이터, 화면 밖에서 들리는 목소리.
할 수 있는 것모델이 화자를 잘못 골랐을 때 후보 얼굴 중에서 직접 고르면, 입 모양이 맞는 사람에게서 움직입니다.
화면 속 글자
기록되는 것'내일 봐'라고 적힌 휴대폰 화면, 거리 표지판, 가게 간판, 그리고 모델이 그때그때 촬영된 그대로 둔 것: Tostitos 봉지의 브랜드, 이름.
할 수 있는 것각 항목은 이미 정해 둔 용어로 "See you tomorrow"처럼 옮겨지거나, 촬영된 그대로 남습니다.
표정과 제스처
기록되는 것새 대사의 강조나 문화를 따라갑니다.
할 수 있는 것새 관객이 다르게 받아들일 눈썹 움직임은 촬영된 그대로 둘 수 있습니다.

더빙과 함께 기록됩니다

이 기록이 MLDM을 새로운 패러다임을 연 최초의 모델로 만듭니다: 자신의 결정을 보여 주는 모델.

++
준비 중인 결정 기록에는 모든 결정이 선택지, 근거, 무엇이 선택됐는지, 그리고 누가 골랐는지와 함께 담깁니다: 모델, 여러분, 또는 기억.

기록은 검토 단계에서 열려 있고 렌더링과 함께 잠깁니다. 납품된 더빙의 결정을 바꾸고 다시 렌더링하면, 그 결정이 닿는 언어만 다시 렌더링됩니다. review=auto로 렌더링한 더빙에도 모델의 선택이 담긴 기록이 남습니다. 더빙 자체는 그 결정들로 한 번에 만들어집니다: 목소리, 입 모양, 장면이 함께. 지금의 한 번에 끝내는 도구는 반대로 움직입니다: 한 번 올리면, 나오는 대로 받습니다. 높은 품질에 이르는 길은 대신 손으로 통제권을 지킵니다. 보조형 도구에 VFX 아티스트 팀, 프로젝트마다 몇 주. Familiar는 한 번에, 그리고 품질까지 갖춥니다.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

한 번 내린 선택은 다음 화로 이어집니다

  1. 지금

    지금은 두 가지 고정 설정이 작동합니다.

    번역 제외 목록은 문구를 말한 그대로 지키고, 컨텍스트는 한 문장짜리 브리핑을 전합니다. 둘 다 더빙 전에 설정합니다. 기록에는 더빙 중에 모델이 내린 결정이 담깁니다.
  2. 준비 중

    결정 기억.

    한 크리에이터, 즉 하나의 프로그램, 채널, 인물에 대해 수정 사항을 기억해 두면, 같은 대사, 용어, 이름, 구호, 간판, 얼굴이 다시 나올 때 다음 더빙이 그것을 먼저 적용합니다. 원어 그대로 둔 유행어가 다시 검토하지 않아도 2화로 이어집니다.

검토 화면과 API에서

준비 중: 검토 화면에 결정 레일이 생깁니다. 에피소드 타임라인에 결정마다 표시가 붙고 번역, 오디오, 영상으로 걸러 볼 수 있으며, 카드마다 해당 순간, 근거가 붙은 선택지, 그리고 모델이 고른 것이 강조되어 보입니다. 한 번 탭하면 다른 선택지를 고르거나, 직접 입력하거나, 원본을 유지하거나, 이 크리에이터를 위해 선택을 기억합니다.

API도 같은 기록을 돌려주므로, 화면에서 내린 선택은 API에 그대로 보이고 그 반대도 마찬가지입니다. 계획 중인 인터페이스이며, 모두 준비 중입니다:

GET /v1/dubs/{dub_id}/decisions
하는 일기록을 읽습니다.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
하는 일결정 하나를 바꿉니다.
decisions.*
하는 일새 더빙의 설정으로 돌아올 번역안 수, 욕설 수위, 그리고 어떤 판단을 직접 받아 볼지를 정합니다.
dub.decisions_ready
하는 일기록이 열리면 웹훅이 호출됩니다.
decisions.json
하는 일납품되는 모든 더빙과 함께 전체 기록을 담습니다.

레퍼런스는 결정에, 지금의 검토 단계는 스크립트와 검토에 있습니다.

질문

지금 바꿀 수 있는 결정은 무엇인가요?

번역 결정입니다. 여러 방식으로 읽힐 수 있는 대사는 각자의 근거가 붙은 번역안 세 가지로 돌아오고, 크리에이티브 디렉터가 하나를 고르거나 직접 쓴 뒤 렌더링합니다. 오디오와 영상 결정은 준비 중입니다.

응원 구호를 원어 그대로 둘 수 있나요?

그 선택은 준비 중입니다. 경기장 응원 구호, 고함, 유행어는 원어 그대로 둘 수 있는 오디오 결정으로 돌아오게 되며, 그 선택은 다음 화로 이어질 수 있습니다.

모델이 엉뚱한 얼굴을 골랐다면요?

다른 얼굴을 고르는 기능은 준비 중입니다. 해당 대사는 후보 얼굴과 함께 돌아오고, 맞는 화자를 고르면 그 사람의 입이 움직입니다.

선택이 다음 화로 이어지나요?

결정 기억은 준비 중입니다: 크리에이터별로 기억해 둔 수정 사항이 다음 더빙에 먼저 적용됩니다. 지금은 번역 제외 목록과 컨텍스트가 설정한 더빙 전체에 적용됩니다.

review=auto로도 결정이 기록되나요?

네. 계획 중인 기록에서는 검토 없이 렌더링한 더빙도 모든 결정을 모델의 선택과 함께 남기며, 렌더링 후에 읽을 수 있습니다. 하나를 바꾸고 다시 렌더링할 수 있습니다.

이것은 생성형 AI인가요?

아니요. MLDM은 새로운 패러다임을 연 최초의 모델입니다. 프롬프트가 없고, 새로 지어내는 것도 없습니다: 이미 있는 것을 어떻게 현지화할지 결정하고, 그 결정을 보여 줍니다.

참고 자료

  1. [1]멀티모달 현지화 의사결정 모델(MLDM)이란 무엇인가요?
  2. [2]API: 결정
  3. [3]API: 스크립트와 검토

멀티모달 번역

Familiar Labs는 멀티모달 현지화 의사결정 모델(MLDM)로 한 세대 앞선 더빙을 만듭니다. MLDM은 최초의 멀티모달 번역 파운데이션 모델로, 텍스트, 오디오, 영상을 아울러 무엇을 현지화할지 하나의 모델이 결정하고 그 선택지를 직접 보여 줍니다. 당신의 목소리와 입 모양 그대로, 새로운 언어로. 박사들이 모인 8명의 팀으로, Samsung, RedBird, Gold House가 투자했습니다. 미션 보기