GHI CHÉP NGHIÊN CỨU

Điều gì thật sự quan trọng khi dịch video

FAMILIAR NGHIÊN CỨUCẬP NHẬT TẤT CẢ BÀI VIẾT
ĐỌC BÀI NÀY BẰNGEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

TÓM TẮT

Bốn điều quyết định một bản lồng tiếng có đứng vững hay không: bản dịch đọc lên như được viết bằng chính ngôn ngữ đích, âm thanh vẫn nghe ra đúng người nói, chữ trên màn hình được mang sang, và khẩu hình khớp. Hai điều đầu là cửa ải cho mọi thứ còn lại. Rốt cuộc cả bốn đều là một bài toán: cùng một màn diễn, bằng một ngôn ngữ khác.

Bốn bài toán

Hỏi điều gì làm nên một video lồng tiếng tốt, bạn sẽ nhận về cả một danh sách dài. Gói gọn lại, còn bốn:

BẢN DỊCH TỰ NHIÊN
THẾ NÀO LÀ TỐTMột kịch bản mới bằng ngôn ngữ đích, truyền tải trọn vẹn nội dung video; không phải đối chiếu từng câu một.
ÂM THANH TỰ NHIÊN
THẾ NÀO LÀ TỐTVẫn là người ấy, cảm xúc ấy, điểm nhấn ấy, bằng ngôn ngữ mới.
CHỮ TRÊN MÀN HÌNH
THẾ NÀO LÀ TỐTĐược điều chỉnh theo ngôn ngữ và đúng khoảnh khắc nó xuất hiện, không làm hỏng video.
LIP SYNC
THẾ NÀO LÀ TỐTVô hình. Người xem không bao giờ nhận ra nó đã diễn ra.

Nếu hai điều đầu thất bại, mọi thứ phía sau đều vô nghĩa: chỉ một câu dịch sai hay một giọng nghe rõ là lạc cũng đủ khiến bản lồng tiếng hỏng. Hai điều sau quyết định kết quả mang cảm giác của bản gốc hay của một bản lồng tiếng.

Bản dịch tự nhiên: một kịch bản mới, không phải phép đối chiếu

Mỗi ngôn ngữ diễn đạt theo cách riêng: từ ngữ, thành ngữ, cấu trúc câu, cách xưng hô, và cả những gì được nói ra hay không. Bảo một mô hình "dịch", nó sẽ ánh xạ từng câu từ ngôn ngữ A sang ngôn ngữ B. Con người cũng vậy: khi tự coi mình là người dịch, công việc thu lại thành chuyển đổi từng câu.

Một bản lồng tiếng dịch theo cách đó vẫn hiểu được, nhưng sai.

Thứ người xem cần là một kịch bản mới, viết bằng ngôn ngữ đích, truyền tải trọn vẹn nội dung của video.
  • Tiếng Nhật thường tránh lối nói quá thẳng; một câu tự nhiên nhiều khi phải được dựng lại theo lối gián tiếp, chứ không chỉ làm mềm từng chữ.
  • Tiếng Hàn lược chủ ngữ liên tục; mang đại từ tiếng Anh sang tiếng Hàn với tần suất như tiếng Anh sẽ nghe rất lạ tai, dù từng chữ đều đúng.
  • Trật tự từ, văn phong, kính ngữ và những điều một nền văn hóa để ngỏ đều thay đổi theo từng ngôn ngữ; giữ được nghĩa đen không có nghĩa là bản dịch tốt.

Chữ "tốt" khó gói vào một danh sách kiểm tra, nên chúng tôi rút mục tiêu về một câu: truyền tải trọn vẹn nội dung video bằng ngôn ngữ đích. Điều đó đo được:

100.3%

chất lượng bản dịch của chuyên gia mà Familiar đạt được, chấm điểm mù so với bản hiệu đính tham chiếu của chuyên gia

TIẾNG PHÁP, TIẾNG TRUNG, TIẾNG HINDI, TIẾNG INDONESIA (BẢN DỊCH LƯỢT ĐẦU CỦA DỊCH GIẢ CHUYÊN NGHIỆP)
54.7%

lỗi dịch quan trọng ít hơn ở Familiar trên cùng bộ clip (29 so với 64)

SO VỚI ELEVENLABS DUBBING V2 (ALPHA) · 111 CẶP KẾT QUẢ · 3 NGÔN NGỮ

Âm thanh tự nhiên: vẫn là người ấy, bằng ngôn ngữ mới

Phát âm gần như đã được giải quyết. Những thất bại đáng bàn nằm ở phía sau:

  • Danh tính: cùng một người vẫn nghe ra đúng là người ấy, ở mọi ngôn ngữ.
  • Cảm xúc: điều người nói cảm thấy vẫn còn nguyên sau khi đổi ngôn ngữ.
  • Điểm nhấn, nhịp độ, ý định: câu nói dồn lực vào đâu, đi nhanh hay chậm, đang muốn làm gì.

Mục tiêu được rút gọn y như mục tiêu dịch thuật: âm thanh khớp với video. Không phải "nói ngôn ngữ B bằng giọng lấy từ ngôn ngữ A". Cùng một màn diễn, bằng một ngôn ngữ mới. Và khung cảnh cũng là một phần của âm thanh: tiếng cười, tiếng nhạc, âm nền của căn phòng.

270%

lỗi âm thanh nền nhiều hơn ở ElevenLabs (11.92 so với 3.22 dB): tiếng nhạc, hiệu ứng, âm thanh môi trường

NGHIÊN CỨU DUBBING V2 (ALPHA) · CÙNG BỘ CLIP
+27.8%

Familiar nghe giống người nói thật hơn (0.461 so với 0.360), gần hơn ở cả 11 ngôn ngữ

SO VỚI ELEVENLABS · NGHIÊN CỨU DUBBING V1 · 418 CẶP KẾT QUẢ
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Chữ trên màn hình là một phần của video

Video ngày nay dựa nhiều vào chữ trên màn hình: chú thích, câu đùa, meme, một chữ duy nhất bật lên đúng nhịp. Mỗi thứ là một sự kiện hình ảnh bằng ngôn ngữ gốc. Bản địa hóa chúng có hai yêu cầu:

  • Không bao giờ làm hỏng video. Lỗi hình hay một chi tiết gây xao nhãng sẽ khiến kết quả tệ hơn bản gốc.
  • Không bao giờ dịch sát chữ. Phải hiểu vì sao dòng chữ này xuất hiện vào lúc này, ở chỗ này, rồi mới bản địa hóa được.

Hiện nay, mô hình ra quyết định bản địa hóa đa phương thức (MLDM) của Familiar, mô hình nền tảng đầu tiên cho dịch đa phương thức, một mô thức mới, đầu tiên thuộc loại này, dịch tiêu đề, mô tả và phụ đề cùng với bản lồng tiếng. Chữ trong khung hình đang được phát triển: một màn hình điện thoại hay một biển báo đường phố, viết bằng đúng những thuật ngữ bạn đã chọn, một thương hiệu hay một cái tên được quyết định ngay tại chỗ giữ nguyên như lúc quay, nên một gói Tostitos vẫn là Tostitos, và bạn chọn chữ nào cần dịch. Nguyên tắc vẫn vậy: nếu chỉnh sửa có thể bị nhận ra, nó chưa đủ tốt.

MÔ HÌNH NỀN TẢNG ĐẦU TIÊN CHO DỊCH ĐA PHƯƠNG THỨC

Lip sync: thành công là khi không ai để ý

Lip sync cũng mang cùng một yêu cầu khắt khe: không bao giờ làm hỏng video. Lời khen cao nhất mà phần lip sync của một bản lồng tiếng có thể nhận được là câu hỏi "có gì thay đổi vậy?"

Nghe thì có vẻ đây là điều ít quan trọng nhất trong bốn điều; trong trải nghiệm xem thực tế thì gần như ngược lại. Con người nghe bằng cả mắt: cùng một đoạn âm thanh sẽ được nghe thành những âm khác nhau khi đi kèm những cử động miệng khác nhau, đó là hiệu ứng McGurk. Khuôn miệng lệch là một lý do khiến video lồng tiếng gây khó chịu theo cách người xem không gọi tên được.
McGURK & MacDONALD, “HEARING LIPS AND SEEING VOICES,” NATURE 264 (1976)

Hiệu ứng này cũng có lợi cho bản lồng tiếng. Khi khuôn miệng đã khớp, não bộ sẽ giải các điểm mơ hồ theo hướng ăn khớp: phát âm nghe rõ hơn, và chất giọng nghe giống đúng người ấy hơn.

Những phần khó: giọng nói từ ngoài khung hình, nhiều người nói chồng lên nhau, những người trông hoặc nghe giống nhau, và chỉnh khuôn miệng mà không làm vỡ gương mặt. Đặt hai người vào khung hình, các công cụ hiện nay sẽ lip sync cả hai khuôn miệng cùng lúc.

Khẩu hình chỉ là điểm khởi đầu. Một người diễn một câu nói bằng cả gương mặt -- mắt, chân mày, gò má, đầu -- và bằng cả cơ thể: cử chỉ, cái gật đầu, nửa nhịp lắng nghe.

Một bài toán, không phải bốn

Mỗi yêu cầu cứ rút gọn dần về cùng một câu. Bản dịch tự nhiên: viết lại điều video này nói, bằng ngôn ngữ đích. Âm thanh tự nhiên: giữ nguyên màn diễn trong những lời mới. Chữ trên màn hình: hiểu vì sao nó ở đó trước khi chạm vào. Lip sync: chỉnh sửa con người mà không làm vỡ họ.

Cùng một màn diễn, bằng một ngôn ngữ khác.

Đó là điều MLDM quyết định, được đo trên cùng bộ clip và công bố tại /benchmark. Mọi quyết định đều được lưu lại cùng tác vụ lồng tiếng và có thể thay đổi; hiện nay giám đốc sáng tạo của bạn chọn giữa các phương án dịch.

TÀI LIỆU THAM KHẢO

  1. [1]Benchmark Familiar và ElevenLabs: toàn bộ kết quả, khoảng tin cậy và các mẫu nghe thử
  2. [2]AI vs dịch giả: thử nghiệm so với chuyên gia
  3. [3]AI lip sync: là gì, bỏ sót gì, và điều gì vượt trội hơn
  4. [4]Vì sao bản lồng tiếng nghe không tự nhiên ở nước ngoài, và cách hãng phim khắc phục (lập luận này, theo góc nhìn của hãng phim)
  5. [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)

Dịch đa phương thức

Familiar Labs xây dựng công nghệ lồng tiếng vượt thế hệ với mô hình ra quyết định bản địa hóa đa phương thức (MLDM), mô hình nền tảng đầu tiên cho dịch đa phương thức: một mô hình quyết định bản địa hóa điều gì trên cả văn bản, âm thanh và hình ảnh, và cho bạn thấy các lựa chọn. Giọng nói và khẩu hình của bạn, mang sang những ngôn ngữ mới. Đội ngũ 8 người với các tiến sĩ, được Samsung, RedBird, Gold House hậu thuẫn. Sứ mệnh của chúng tôi

Xem benchmark đầy đủ →Trò chuyện với đội ngũ