Dịch nghe nhìn cùng lúc, không nối tầng

01. Thời của lồng tiếng bằng máy theo chuỗi nối tầng là gì?

Lồng tiếng bằng máy khởi đầu như một chuỗi nối tầng: bốn công cụ xếp hàng nối tiếp, mỗi công cụ được xây dựng và tinh chỉnh riêng, rồi chuyển kết quả cho công cụ kế tiếp.

1. 01

   Chép lời.

   Công cụ chuyển giọng nói thành văn bản ghi lại những gì đã được nói.
2. 02

   Dịch.

   Một mô hình văn bản chuyển bản chép lời sang ngôn ngữ mới, mà không nghe giọng nói hay thấy gương mặt.
3. 03

   Giọng nói.

   Công cụ chuyển văn bản thành giọng nói đọc to bản dịch, thường bằng giọng của một người lạ.
4. 04

   Lip sync.

   Một công cụ riêng làm khuôn miệng cử động theo âm thanh mới, sau khi mọi từ đã được chốt.

Chuỗi đó đã khiến lồng tiếng bằng máy trở nên khả thi. Giới hạn của nó nằm ngay trong cấu trúc: mỗi khâu đoán mò mà không biết các khâu kia. Bản dịch không thể biết câu thoại phải vừa với một khuôn miệng đang khép. Giọng nói không thể biết căn phòng nơi nó vang lên. Một từ nghe nhầm hay một câu thoại quá dài cứ thế bị chuyển xuống, và lỗi cộng dồn qua từng khâu phía sau.

Qua nhiều năm, từng công cụ đều tốt lên: bản chép lời sạch hơn, bản dịch sắc hơn, giọng nói tự nhiên hơn. Bản lồng tiếng hoàn chỉnh thì tiến bộ chậm hơn, vì các đường nối giữa những công cụ vẫn nằm nguyên chỗ cũ.

02. Người mua đang gặp phải gì hiện nay?

Trên thực tế, chuỗi nối tầng đến tay bạn dưới dạng một chồng công cụ: bản chép lời từ một bên, bản dịch từ bên khác, giọng nói từ bên thứ ba, lip sync và phụ đề từ bên thứ tư. Sửa một câu thoại nghĩa là chạy lại mọi khâu phía sau, và phải có người trong đội của bạn giữ cho các file khớp với nhau. Những công cụ bỏ qua chồng công cụ ấy thì phải đánh đổi giữa chất lượng và thời gian. Các công cụ hỗ trợ đạt được chất lượng nhờ một đội ngũ nghệ sĩ VFX xử lý những cảnh quay khó: hàng tuần cho mỗi dự án, và mỗi ngôn ngữ lại là một dự án mới. Các công cụ một lần là xong thì nhanh nhưng đánh đổi mọi thứ còn lại: giọng nói bị lệch, âm nền của bối cảnh biến mất, còn khẩu hình thì hỏng khi có bàn tay che mặt, micro, cảnh nhòe, xóa phông, góc nghiêng hay nhiều người trong khung hình, không có khả năng suy luận không gian và không hiểu thế giới. Familiar vừa xong trong một lần vừa giữ được chất lượng.

Con đường còn lại là lồng tiếng hoàn chỉnh bằng người thật, gồm dịch thuật và giọng nói, ở mức $70–150 mỗi phút thành phẩm. Chi phí, nhân lực và thời gian khiến nó nằm ngoài tầm với của phần lớn thế giới: ngay cả những tác phẩm lớn nhất cũng chỉ lồng tiếng vài ngôn ngữ, còn các tác phẩm nhỏ hơn, các chương trình và phim dọc phần lớn không lồng tiếng.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Nếu bạn đang cân nhắc ElevenLabs Dubbing, đây là tài liệu của chính họ, được trích nguyên văn, bên cạnh nghiên cứu của chúng tôi:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Điều gì thay đổi khi một mô hình đưa ra mọi quyết định?

Familiar lồng tiếng bằng một mô hình ra quyết định bản địa hóa đa phương thức (MLDM). MLDM quyết định bản địa hóa điều gì và bằng cách nào, trên cả văn bản, âm thanh và hình ảnh, và các quyết định ăn khớp với nhau vì chỉ một mô hình đưa ra chúng. Định nghĩa nằm trong Mô hình nền tảng đầu tiên cho dịch đa phương thức.

Thứ bạn nhận lại là màn diễn của chính diễn viên ấy bằng một ngôn ngữ khác: giọng nói, khẩu hình, biểu cảm của họ và âm thanh khung cảnh, được mang sang cùng nhau. Một lần tải lên ra mọi ngôn ngữ cùng lúc: lồng tiếng ra 30 ngôn ngữ, từ cảnh quay bằng bất kỳ ngôn ngữ nào trong 99 ngôn ngữ nguồn.

Quyết định cùng lúc cũng thay đổi những gì có thể hỏng. Một câu thoại sắp bị dài quá sẽ được chuyển ngữ cho vừa thời lượng và khuôn miệng trước khi có bất kỳ giọng nói nào. Một tràng cười giữa câu vẫn là một tràng cười. Khi hai người nói chồng lên nhau, mô hình biết ai đang nói câu nào, nên đúng khuôn miệng sẽ cử động.

04. Điều đó thay đổi gì ở bản lồng tiếng hoàn chỉnh?

Chúng tôi chạy cùng bộ clip qua cả hai hệ thống và chấm điểm theo cùng một cách. Mỗi con số đến từ nghiên cứu riêng của nó, được công bố trong benchmark.

Giọng nói cũng được đo: Familiar nghe giống người nói thật hơn 27.8% so với ElevenLabs Dubbing v1, gần hơn ở cả 11 ngôn ngữ, trong nghiên cứu được trích ở trên.

Lồng tiếng tự động của YouTube mắc lỗi âm thanh nền nhiều hơn 232.6% trong nghiên cứu riêng của nó. Khung cảnh được giữ lại vì MLDM nghe mọi thứ trong track âm thanh, tiếng cười, tiếng đám đông, tiếng nhạc, tìm ra giọng chính, mang nó sang ngôn ngữ mới bằng chính giọng của người nói, và giữ phần còn lại như cũ.

05. "Dịch trước, rồi lồng tiếng trong một lần" nghĩa là gì?

++

Dịch trước, rồi lồng tiếng trong một lần: giọng nói, khẩu hình và cảnh quay cùng lúc.

Thứ tự rất quan trọng. Bản dịch đi trước, và giám đốc sáng tạo của bạn duyệt nó: ở những câu có thể hiểu theo nhiều cách, họ xem các phương án dịch kèm lý do của từng phương án và chọn một. Chỉ khi đó bản lồng tiếng mới được làm, một lần. Không có gì mới được bịa ra. Không phải “AI tạo sinh”, mà là dịch thuật chắp cánh cho nhà sáng tạo. MLDM lo phần việc tẻ nhạt.

Phụ đề được cắt theo quy ước của Timed Text Style Guide của Netflix, chuẩn mẫu phụ đề mà cả ngành làm theo. Mọi bản lồng tiếng đều được xử lý trên cụm GPU NVIDIA B300 trị giá hàng chục triệu USD của chính Familiar tại Toronto, Canada, không bao giờ trên đám mây công cộng như Google Cloud hay AWS, và không bao giờ qua nhà cung cấp dịch vụ suy luận bên thứ ba. Các file nằm trong tài liệu về file bàn giao, khâu xử lý trong suy luận nội bộ, và ý nghĩa với một kho nội dung trong Mô hình nền tảng cho dịch đa phương thức có ý nghĩa gì với hãng phim và nền tảng.

06. Ai là người quyết định cuối cùng?

1. HIỆN NAY

   Giám đốc sáng tạo của bạn duyệt các quyết định về bản dịch.

   Các phương án dịch kèm lý do của từng phương án; họ chọn một trước khi bất cứ thứ gì được phát hành.
2. HIỆN NAY

   Danh sách Không dịch và một câu mô tả ngữ cảnh đi kèm tác vụ lồng tiếng.

3. ĐANG ĐƯỢC PHÁT TRIỂN

   Các quyết định về âm thanh và hình ảnh, trên cùng màn hình duyệt.

   Những gì giữ nguyên ngôn ngữ gốc, một gương mặt khác khi mô hình chọn nhầm người nói, và chữ trong khung hình.

Điều thay đổi với một kho nội dung là phạm vi tiếp cận. Một chương trình lẽ ra chỉ ở một ngôn ngữ nay có thể ra 30 ngôn ngữ cùng lúc, mang theo màn diễn của chính các diễn viên, trong khi đội ngũ của bạn vẫn đưa ra mọi quyết định quan trọng.

Đó là bản ghi quyết định; toàn bộ câu chuyện nằm trong Bản ghi quyết định: giám đốc sáng tạo điều khiển MLDM như thế nào, còn những gì mô hình quyết định nằm trong MLDM là gì. Nghiên cứu đứng sau nằm trong Tiên phong dịch đa phương thức: từ nghiên cứu nghe nhìn kết hợp đến mô hình nền tảng đầu tiên. Từ người đến người, lan tỏa đến nhiều khán giả hơn.

CÂU HỎI