질문
한 세대 앞선 더빙: 당신의 목소리와 입 모양 그대로, 새로운 언어로. ElevenLabs와 HeyGen을 이어붙여도 여전히 낯선 사람처럼 들리고 보입니다. 단순한 AI 립싱크를 넘어, 오클루전과 공간 추론까지 포함해 얼굴 전체가 새로운 언어로 연기합니다.
저희가 공개한 벤치마크에서는:
- 그들의 최신 제품은 웃음, 음악, 현장음 같은 배경음 오류가 270% 더 많았습니다
- 저희는 그 제품보다 중요한 번역 오류를 54.7% 더 적게 냈습니다
- Dubbing v1과의 비교에서는 저희 목소리가 실제 화자와 27.8% 더 닮게 들렸고, 11개 언어 전부에서 더 가까웠습니다
같은 클립에서 ElevenLabs는:
- 단어를 45번 빠뜨리거나 지어냈습니다
- 웃음과 효과음을 8번 깨뜨렸습니다
- 화자 본인의 목소리를 6번 잃었습니다
- 말이 겹치는 구간에서 화자들을 6번 뒤섞었습니다
- 말투와 감정을 4번 밋밋하게 만들었습니다
- 현장음을 4번 지웠습니다
- API는 11초 미만 클립을 아예 받지 않습니다
직접 이어붙이면 Sync.so 립싱크에 분당 $8, ElevenLabs 오디오에 $3, 합쳐서 분당 $11입니다. Familiar Labs 더빙에는 목소리, 립싱크, 번역이 모두 포함되며, 최대 4K에 리얼 5.1채널 서라운드 또는 스테레오 믹스로 납품됩니다.
그대로 남습니다. 웃음도, 음악과 베이스도, 효과음도, 도시든 파티든 현장음도: 장면 전체가, 촘촘한 폴리포니까지 살아남습니다. 같은 클립으로 측정했을 때 ElevenLabs는 배경음 오류가 270% 더 많았습니다. YouTube 자동 더빙은 232.6% 더 많았습니다. thefamiliarlab.com/benchmark에서 직접 들어보세요.
저희 번역을 전문 번역가와 비교 테스트하고, 전문가가 다듬은 참조 번역을 기준으로 블라인드 채점했습니다: 프랑스어, 중국어, 힌디어, 인도네시아어 평균으로 저희 번역은 전문가 1차 번역 품질의 100.3%를 기록했습니다. 전문가와 대등한 수준입니다. 한 번의 렌더링에 번역, 화자 본인의 목소리, 현장음, 립싱크까지 모두 담기며, 최대 4K에 리얼 5.1채널 또는 스테레오 믹스로 나옵니다.
13개 언어를 원본과 더빙 모두에 쓸 수 있고, 모든 언어 간 상호 번역이 가능합니다: 독일어, 러시아어, 스페인어(라틴 아메리카), 아랍어, 영어, 이탈리아어, 일본어, 중국어, 태국어, 포르투갈어(브라질), 프랑스어(프랑스), 한국어, 힌디어.
더빙, 드디어 좋아졌다: 당신의 목소리와 입 모양 그대로, 새로운 언어로.
지금까지 더빙이란 낯선 목소리와 어긋난 입 모양이었습니다. 게다가 인간 더빙은 세상 대부분에게 처음부터 쓸 수 없는 선택지였습니다: 비용과 인력, 시간 때문에 대작조차 몇 개 언어로만 더빙하고, 규모가 작은 작품, 시리즈, 숏드라마는 아예 더빙하지 않습니다. 이제는 더빙해도 당신 그대로입니다: 같은 연기가 다른 언어로. 립싱크 + 음성 번역. 어떤 영상이든.
네, 두 번 했습니다: 같은 클립을 두 시스템에 보내 완성된 오디오만 비교했습니다. Dubbing v1을 상대로 11개 언어에서 418쌍, 이어서 최신 Dubbing v2 (Alpha)를 상대로 111쌍입니다. 저희는 그들의 최신 제품보다 중요한 번역 오류를 54.7% 더 적게 냈고, 배경음 오류는 그 제품이 270% 더 많았습니다. Dubbing v1과의 비교에서는 11개 언어 전부에서 저희 목소리가 실제 화자에 더 가깝게 측정됐습니다. 전체 데이터와 직접 들어볼 샘플: thefamiliarlab.com/benchmark.
ElevenLabs 결제 화면에 안내된 가격은 더빙 1분당 $3로, 오디오만 해당합니다. ElevenLabs의 현재 모델에서는 API로 번역을 수정하는 기능이 Enterprise 플랜 전용입니다. 전체 편집 도구는 유지보수 모드인 구형 Dubbing v1에서 돌아가며, 그 모델과 비교하면 Familiar Labs의 목소리가 실제 화자와 27.8% 더 닮게 들렸고 11개 언어 전부에서 더 가까웠습니다. Familiar Labs 렌더링 한 번에 번역, 당신의 목소리, 현장음, 립싱크까지 모두 포함됩니다. 11초 최소 길이도, 20개씩 묶는 배치도, 차수를 나눠 기다리는 일도 없습니다: 한 번 업로드하면 모든 언어가 렌더링됩니다. 최대 4K, 리얼 5.1채널 서라운드 또는 스테레오 믹스로. 이용은 Studio 계약으로, 카탈로그 규모에 맞춰 구성됩니다.
깨끗하고 안정적인 영상이 좋습니다: 카메라에 2~3명이 나오는 팟캐스트와 인터뷰, 카메라 정면 영상, 강의, 설교 등. 화면에 나오는 모든 사람이 더빙되며, 손이나 마이크가 얼굴을 가려도 오클루전과 공간 추론까지 처리합니다. 의료관광 클리닉, 여행사, 로펌, 보험사의 영상도 같은 형태입니다: 상담, 투어, 고객용 설명 영상. 라이브 더빙은 준비 중입니다. 빠른 컷 전환, 얼굴 위에 겹치는 밈, 흔들리는 영상은 현재 Alpha 모델에게 더 어렵습니다. 개발 중인 다음 버전이 이런 영상까지 다룹니다.
말씀하신 그대로 유지됩니다. 유행어, 친구 이름, 시그니처 감탄사 등을 담는 번역 제외 목록을 관리할 수 있습니다. 농담은 타겟 언어에서 통하도록 다시 씁니다.
Familiar Labs는 멀티모달 번역을 만드는 연구 랩입니다. 한 세대 앞선 더빙, 그리고 사람까지 이해합니다: 감정, 그리고 사람들이 서로 말하고 듣고 반응하는 방식까지. 영혼은 연구 랩, 심장은 프로덕트 팀. 저희 풀타임 7명의 팀에는 스탠퍼드와 연세대 Visual Intelligence Lab(국내 최고 수준의 비전 AI 연구실) 출신의 박사와 연구자들이 모여 있고, 연세대 Youngjung Uh 교수와 HKUST Xu Zheng 교수가 자문위원으로 함께합니다. 저희는 Veritasium, 3Blue1Brown, Welch Labs의 해외 채널을 운영하면서, 사람의 음성과 영상을 함께 다루는 모델 분야를 개척했고, 실시간 인물 영상 생성의 현재 최고 성능 모델도 공동 개발했습니다. 발표한 논문은 분야별로 다음과 같습니다. 음성과 영상을 함께 생성: JAM-Flow(ECCV 2026), Syncphony(ICLR 2026), TTS-CtrlNet. 실시간 인물 영상 생성: SoulX-LiveAct(ACM MM 2026, Oral). 영상 생성 가속: FlowBlending, TCFG(CVPR 2025), Balanced Conic Rectified Flow(NeurIPS 2025), Plug-and-Play Diffusion Distillation(CVPR 2024), HARIVO(ECCV 2024). 디퓨전 모델 내부 편집: TextAway, StyleKeeper(ICCV 2025), Training-free Content Injection(WACV 2024), Visual Style Prompting(CVPR 2024 워크숍, 최우수 논문상), 리만 잠재 공간 기하(NeurIPS 2023), Asyrp(ICLR 2023). 멀티모달 인식: Any2Seg(ECCV 2024, Oral), ExACT(CVPR 2024, Highlight), EgoNight(ICLR 2026), RealRAG(ICML 2025), Pano-R1(ACM MM Asia 2025), UiG, UniBind(CVPR 2024). 2021년 이후 ICLR, NeurIPS, CVPR, ECCV 등에서 논문 100편 이상, 인용 10,000회 이상.
저희의 다음 버전은 가장 어려운 영상에 도전합니다: 화면 안팎에서 십여 명이 말을 주고받는 장면, 게임 창, 밈, 시각 효과. 얼굴 전체가 새로운 언어로 연기하고, 최종 목표는 몸 전체입니다.
모든 더빙은 렌더링 전에 검토 화면에서 멈추고, 어떤 줄이든 수정할 수 있습니다.
플랜은 Studio 계약으로 카탈로그 규모에 맞춰 구성됩니다: 팀과 상담하기. 모든 더빙은 최대 4K, 리얼 5.1채널 서라운드 또는 스테레오 믹스로 납품됩니다. 번역과 목소리까지 전부 사람이 하는 인간 더빙은 완성본 1분에 $70에서 $150까지 들기 때문에, 세상 대부분에게는 쓸 수 없는 선택지입니다: 비용과 인력, 시간 때문에 대작조차 몇 개 언어로만 더빙하고, 규모가 작은 작품, 시리즈, 숏드라마는 아예 더빙하지 않습니다.
더빙 결과물은 어디에든 게시할 수 있는 당신의 것입니다.
시청자가 거부하는 것은 사람을 가짜로 꾸며내는 AI입니다. 자신을 위해 일하는 AI는 반깁니다. Familiar Labs 더빙은 동의하신 본인의 목소리와 얼굴입니다. 어느 언어의 시청자든 같은 연기를 만납니다. 혁신은 AI로, 시청자의 사랑은 그대로.
아니요. 저희는 동의하신 본인만을 번역합니다.
아니요. Familiar Labs는 멀티모달 현지화 파운데이션 모델(MLFM)입니다: 이미 있는 것을 어떻게 현지화할지 결정할 뿐, 프롬프트로 새로운 것을 만들지 않습니다. 전통적인 의미의 생성형 AI는 프롬프트로 새 콘텐츠를 만듭니다. Familiar Labs에는 프롬프트가 없고, 지어내는 것도 없습니다: 영상이 들어가면, 같은 연기가 다른 언어로 나옵니다. 학습에 쓴 데이터는 전부 Familiar Labs 팀이 직접 만들었습니다. 저희는 창작 과정을 돕는 또 하나의 도구입니다.
이해를 가로막는 모든 장벽을 없애기 위해서입니다. 저희 CEO Andrew Liu는 학교 전체에서 유일한 아시아인이었고, 반 친구들과 영어로 말하지 못해 TV를 보며 영어를 배웠습니다. 세상 누구나 같은 품질을 누려야 합니다: 창작자와 배우가 어떤 언어로든 자연스럽게 전해지고, 새로운 시청자를 만나도록.
언어마다 최대 4K의 완성본 영상이 도착하고, 전체 오디오 믹스는 리얼 5.1채널 서라운드와 스테레오 중 원하는 쪽을 24비트 PCM WAV로 받습니다. 검토를 마친 스크립트로 만든 .srt와 .vtt 자막 파일, 번역된 제목과 설명도 함께 받습니다. 오디오도 따로 들어 있습니다: 전체 믹스, 그리고 직접 믹싱할 수 있도록 배경음 없이 목소리만 담긴 트랙입니다.
영화와 TV, 숏드라마, 방송, 기업과 교육, 광고, 크리에이터와 팟캐스트, 그리고 이 모든 것이 올라가는 플랫폼까지, 모든 언어로.
우리 뇌는 입 모양과 소리를 함께 읽어 말을 이해합니다. 둘이 어긋나면 알아듣기 어려워지고, 아예 다른 소리로 들리기도 합니다. 시각과 청각을 통합해 말을 지각하는 과정에서 일어나는 이 현상을, 과학자들은 맥거크 효과라고 부릅니다. 목소리만 바꾸는 더빙에는 이 어긋남이 모든 프레임에 남아 있습니다. Familiar Labs 더빙에서는 시청자가 눈으로 읽는 입 모양이 귀로 듣는 말과 일치합니다.
화질은 최대 4K. 오디오는 리얼 5.1채널 서라운드와 스테레오 믹스 중 원하는 쪽을 24비트 PCM WAV(다이내믹 레인지 144 dB)로 받고, 목소리만 담긴 트랙도 따로 받습니다. Studio 계약 납품은 ProRes 마스터로 제공됩니다. 스트리밍 플랫폼은 더빙 믹스가 원본과 같기를 요구합니다: 5.1로 들어오면 5.1로 나갑니다.
MLFM은 새로운 패러다임을 연 최초의 멀티모달 번역 파운데이션 모델입니다. 텍스트, 오디오, 영상을 아울러 무엇을 어떻게 현지화할지 하나의 모델이 결정하고, 꼭 필요한 선택지는 직접 보여 줍니다. 번역을 먼저 정하고, 그다음 목소리, 입 모양, 장면까지 한 번에 더빙합니다.
- 번역: 농담, 이야기, 대화 속 한마디를 어떤 번역으로 살릴지. 무엇을 번역하지 않을지, 속어는 말한 그대로, 이름과 브랜드는 원래대로, 레퍼런스는 바꿔서, 그 문화권에서 피하는 표현은 피하고, 욕설 수위는 시청자에 맞게. 크리에이티브 디렉터가 선택지와 그 근거를 보고 고릅니다.
- 오디오: 애초에 무엇을 번역할지. 주 화자의 목소리를 찾고, 웃음소리, 관중의 함성, 외침은 원래 그대로 둡니다. 원어 그대로 남길 소리를 고르는 기능은 준비 중입니다.
- 영상: 화면 속 누가 말하는지, 누가 내레이션하는지, 누가 화면 밖에서 말하는지, 오클루전과 공간 추론까지 포함한 입 모양, 그리고 강조가 필요할 때의 표정과 제스처. 화면 속 글자는 준비 중입니다: 브랜드, 이름, 속어처럼 촬영된 그대로 둘 것은 모델이 그때그때 결정하므로 Tostitos 봉지는 Tostitos 그대로 남고, 어떤 얼굴과 어떤 글자를 쓸지 고르는 기능도 함께 준비 중입니다.
모든 결정은 더빙 작업과 함께 기록되고, 언제든 직접 바꿀 수 있습니다. 프롬프트도 없고, 새로 지어내는 것도 없습니다: 이미 있는 것을 어떻게 현지화할지 결정할 뿐입니다.
저희가 직접 보유한 컴퓨팅 자원에서 처리됩니다. 캐나다 토론토에 있는, 현존 최고 성능의 NVIDIA B300 GPU로 이뤄진 수천만 달러 규모의 클러스터입니다. 이것이 자체 GPU 추론입니다: 고객의 미디어는 Google Cloud나 AWS 같은 퍼블릭 클라우드에서 처리되지 않으며, 외부 추론 서비스 업체를 거치지도 않으므로 유출되지 않습니다. 영상이 들어가고 완성된 더빙이 나오기까지, 모든 처리는 저희가 보유한 컴퓨팅 자원 안에서 이뤄집니다.
네. Song Dubbing, 최초의 진짜 노래 더빙입니다. 같은 가수, 같은 녹음과 연기를 그대로 다른 언어로 옮기며, 아무도 다시 부르지 않습니다. 가사는 부를 수 있도록 한 소절씩 번역해 음절, 내부 라임과 다음절 라임, 플로우, 장르, 의미를 지킵니다. 뮤직비디오도 함께 더빙합니다. 음반사와 소속 아티스트를 위한 앨범 단위의 전담 밀착 서비스이며, 공개 전에 아티스트나 아티스트 측이 모든 언어의 가사를 승인합니다: 팀과 상담하기. 자세한 내용은 thefamiliarlab.com/blog/song-dubbing에서 볼 수 있습니다.
전담 밀착 서비스로 진행합니다: 저희 팀이 음반사, 아티스트와 함께 모든 앨범을 한 소절씩 작업합니다. 더빙한 소절은 원곡보다 음절이 적지 않아 멜로디의 어떤 음표도 비지 않고, 원곡과 몇 음절 이내로 맞춥니다. 원곡의 라임 구조를 재현하고, 내부 라임과 다음절 라임, 같은 모음의 반복, 되풀이도 언어가 허락하는 만큼 옮깁니다. 플로우가 먼저입니다: 읽기엔 좋지만 부르기 어색한 소절은 틀린 소절입니다. 라임을 맞추려고 의미와 의도를 바꾸지 않으며, 랩 벌스는 랩으로, 발라드는 발라드로 남습니다. 팬들이 따라 부르는 훅은 원어로 남길 수 있습니다. 한 소절이 여러 방식으로 옮겨질 수 있을 때는 아티스트가 고르고, 모든 소절은 발매 전에 승인을 거칩니다.
계약에 따른 스튜디오, 스트리밍 서비스, 음반사 작업에서는 모든 파일을 고객의 컴퓨터에서, 네트워크를 떠나기 전에 암호화하므로 전송 중 가로챈 파일은 읽을 수 없습니다. 처리와 보관은 캐나다 토론토에 있는 저희 자체 서버에서만 이뤄집니다. 복호화 키는 지정된 책임자 두 명이 보관하며, 지정된 보안 역할 밖의 사람은 누구도 열 수 없습니다. 콘텐츠는 데이터 무보존을 요청하시면 더빙을 돌려드리는 즉시, 아니면 최종 승인 시, 또는 납품 14일 뒤 자동으로 삭제되며, 학습에는 절대 쓰이지 않습니다. Familiar Labs는 Trusted Partner Network+(TPN+)의 회원사이며, 전체 정책은 MPA 콘텐츠 보안 모범 사례의 모든 통제 항목에 답합니다: thefamiliarlab.com/security.

