초록
두 용어, 쉽게
머신러닝넓은 분야
생성형 AI
- 생성형 AI는 머신러닝의 한 가지 쓰임입니다. IBM은 이를 사용자의 프롬프트나 요청에 따라 텍스트, 이미지, 영상, 오디오, 소프트웨어 코드 같은 독창적인 콘텐츠를 만들어 낼 수 있는 인공지능으로 정의합니다.
- 새로운 것을 만드는 데 좋은 도구입니다: 콘셉트 프레임, 첫 초안, 노래의 스케치.
Familiar의 번역
- 번역이 요구하는 것은 다릅니다.
- 작품은 이미 있고, Familiar는 새로운 패러다임을 연 최초의 모델이자 최초의 멀티모달 번역 파운데이션 모델인 멀티모달 현지화 의사결정 모델(MLDM)로 그것을 온전한 모습 그대로 다른 언어로 옮깁니다.
| 생성형 AI | Familiar의 번역 | |
|---|---|---|
| 입력 | 프롬프트 | 완성된 영상 |
| 새로운 것 | 콘텐츠 그 자체 | 다른 언어로 옮긴 대사, 그리고 그 대사를 전하는 목소리와 입 모양 |
| 누구의 모습인가 | 프롬프트가 묘사하는 누구든 | 동의를 받은 화면 속 배우 |
| 검토 | 도구마다 다름 | 렌더링 전에 크리에이티브 디렉터가 한 줄씩 |
| 출력 | 새 텍스트, 이미지, 영상, 오디오, 코드 | 같은 연기를 최대 4K, 리얼 5.1채널 또는 스테레오로 |
어떤 업체에든 던질 여섯 가지 질문
One shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
공개 전에 누가 검토하나요?
여러분의 크리에이티브 디렉터입니다. 농담이나 뼈 있는 말처럼 여러 방식으로 읽힐 수 있는 대사는 의도와 감정이 다른 세 가지 번역안으로 돌아옵니다. 디렉터가 하나를 고르고, 원본과 대조해 어느 줄이든 고친 다음에야 더빙을 시작합니다. 번역 제외 목록이 이름과 유행어를 말한 그대로 지킵니다.
어떤 파일이 돌아오나요?
언어마다 최대 4K의 완성 영상과, 24비트 PCM WAV로 된 리얼 5.1채널 서라운드 또는 스테레오 중 원하는 쪽의 전체 믹스가 도착합니다. 함께 오는 것: 검토를 마친 대본으로 만들어 Netflix의 Timed Text Style Guide 규칙에 맞춰 자른 .srt와 .vtt 자막, 번역된 제목과 설명, 자체 믹싱용 대사만 담긴 트랙.
지루한 반복 작업은 MLDM에게.
더빙의 지루한 반복 작업은 모든 언어의 모든 대사입니다: 어떤 번역안으로 갈지, 어떤 목소리로 할지, 입 모양을 어떻게 맞출지. 지금 높은 품질에 이르는 길은 이 일을 손으로 합니다: 보조형 도구에 VFX 아티스트 팀, 프로젝트마다 몇 주, 언어마다 새 프로젝트. 지금의 한 번에 끝내는 도구는 이 과정을 건너뛰고 나머지를 포기합니다: 번역은 수정할 수 없고, 음악과 현장음은 빠지며, 얼굴을 가린 손, 마이크, 옆모습 앞에서 입 모양이 무너집니다. Familiar는 한 번에, 그리고 품질까지 갖춥니다. MLDM이 이 부분을 결정하고 모든 결정을 더빙 작업과 함께 기록하며, 팀은 거기서 직접 바꿀 수 있습니다. 지금은 번역 선택지가 대상입니다: 농담, 말한 그대로 둔 속어, 더 어린 시청자용 버전에서 낮춘 욕설 수위. 원어 그대로 남길 소리, 말하고 있는 얼굴, 번역할 화면 속 글자를 고르는 기능은 준비 중입니다. 캐스팅, 연기, 그리고 모든 창작의 판단은 작품을 만든 사람들에게 남습니다.
저희는 창작 과정을 돕는 또 하나의 도구입니다.
질문
Familiar는 생성형 AI인가요?
아니요. Familiar는 멀티모달 현지화 의사결정 모델(MLDM)입니다: 프롬프트 없이, 이미 있는 것을 어떻게 현지화할지 결정합니다. 영상이 들어가면, 같은 연기가 다른 언어로 나옵니다.
렌더링 전에 크리에이티브 팀이 대사를 바꿀 수 있나요?
네. 번역된 모든 줄은 크리에이티브 디렉터를 기다립니다. 디렉터는 원본과 대조해 수정하거나, 여러 방식으로 읽히는 대사라면 세 가지 번역안 중에서 고릅니다. 더빙은 그다음에야 렌더링됩니다.
Familiar는 어떤 언어를 지원하나요?
더빙은 30개 언어로 나오며, 모든 언어 간 상호 번역이 가능합니다. 원본 영상은 99개 언어 중 어떤 언어로든 들어올 수 있습니다.
참고 자료
멀티모달 번역
Familiar Labs는 멀티모달 현지화 의사결정 모델(MLDM)로 한 세대 앞선 더빙을 만듭니다. MLDM은 최초의 멀티모달 번역 파운데이션 모델로, 텍스트, 오디오, 영상을 아울러 무엇을 현지화할지 하나의 모델이 결정하고 그 선택지를 직접 보여 줍니다. 당신의 목소리와 입 모양 그대로, 새로운 언어로. 박사들이 모인 8명의 팀으로, Samsung, RedBird, Gold House가 투자했습니다. 미션 보기
