Tiên phong dịch đa phương thức: từ nghiên cứu nghe nhìn kết hợp đến mô hình nền tảng đầu tiên

01. Ai đã mở ra lĩnh vực mô hình con người nghe nhìn kết hợp?

Một bản lồng tiếng chỉ đứng vững khi giọng nói và gương mặt vẫn là của cùng một người. Các nhà nghiên cứu của Familiar là những tiến sĩ đã mở ra lĩnh vực mô hình con người tạo ra âm thanh và hình ảnh cùng lúc: bài báo JAM-Flow của họ, tại ECCV 2026, là mô hình con người nghe nhìn kết hợp đầu tiên, xem giọng nói và gương mặt của một người đang nói là một bài toán duy nhất.

Công trình của đội ngũ bao trùm những mảnh ghép mà dịch đa phương thức cần: mô hình con người nghe nhìn kết hợp, mô hình video tốc độ cao, chỉnh sửa và nhận thức đa phương thức. Mọi bài báo và hội nghị đều nằm trong phần tổng quan nghiên cứu của chúng tôi. Lý do mang tính cá nhân: An Zhu Liu, CEO, thuở nhỏ không thể nói tiếng Anh với bạn cùng lớp và đã học tiếng Anh qua truyền hình, câu chuyện được kể trên trang sứ mệnh.

02. Vì sao lồng tiếng phải đi qua nhiều công cụ rời rạc?

Vì mỗi mảnh ghép được giải quyết riêng trước. Lồng tiếng bằng máy ra đời như một chuỗi, và chính chuỗi đó đã khiến nó trở nên khả thi. Nó cũng đặt ra giới hạn, và các công cụ ra đời từ đó đến nay vẫn phải đánh đổi giữa chất lượng và thời gian. Các công cụ hỗ trợ đạt được chất lượng nhờ một đội ngũ nghệ sĩ VFX và hàng tuần cho mỗi dự án, mỗi ngôn ngữ là một dự án mới. Các công cụ một lần là xong thì nhanh nhưng đánh đổi mọi thứ còn lại: khẩu hình của chúng hỏng khi có bàn tay che mặt, micro, cảnh nhòe, xóa phông, góc nghiêng hay nhiều người trong khung hình, không có khả năng suy luận không gian và không hiểu thế giới. Familiar vừa xong trong một lần vừa giữ được chất lượng.

++

Familiar là mô hình nền tảng đầu tiên cho dịch đa phương thức: một mô hình mang lời thoại, giọng nói, khẩu hình và khung cảnh sang một ngôn ngữ mới, tất cả cùng lúc.

Phần đối chiếu từng bước nằm trong Dịch nghe nhìn cùng lúc, không nối tầng; định nghĩa nằm trong Mô hình nền tảng đầu tiên cho dịch đa phương thức.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Tiên phong ở đây có nghĩa là gì?

Ba điều, lần đầu tiên đi cùng nhau. Thứ nhất là âm thanh và hình ảnh được mang sang ngôn ngữ mới cùng lúc, bởi một mô hình, nên các quyết định ăn khớp với nhau: giọng nói là của chính diễn viên, khẩu hình theo lời mới, còn tiếng cười, tiếng đám đông và tiếng nhạc vẫn ở nguyên chỗ cũ.

Thứ hai là thứ tự. Dịch trước, rồi lồng tiếng trong một lần: giọng nói, khẩu hình và cảnh quay cùng lúc. Lời thoại được chốt, và được giám đốc sáng tạo của bạn duyệt, trước khi bất cứ giọng nào được thu.

Thứ ba là bản ghi. Mọi quyết định MLDM đưa ra đều được lưu lại cùng tác vụ lồng tiếng, và bạn có thể thay đổi bất kỳ quyết định nào. Toàn bộ câu chuyện nằm trong Bản ghi quyết định: giám đốc sáng tạo điều khiển MLDM như thế nào; MLDM là gì thì nằm trong bài viết định nghĩa.

04. Mô hình quyết định gì, và bạn chọn gì?

Một kết quả nghiên cứu trở thành sản phẩm khi những người sử dụng nó vẫn nắm quyền quyết định. MLDM lo phần việc tẻ nhạt. Các quyết định sáng tạo vẫn là của bạn.

05. Những gì vẫn đang được phát triển?

Tiên phong nghĩa là phiên bản đầu tiên, không phải phiên bản cuối cùng. Các lựa chọn về bản dịch đã mở từ hôm nay; phần còn lại của bản ghi sẽ mở dần từng bước.

1. HIỆN NAY

   Giám đốc sáng tạo của bạn duyệt các quyết định về bản dịch.

   Các phương án dịch kèm lý do của từng phương án; danh sách Không dịch và một câu mô tả ngữ cảnh đi kèm tác vụ lồng tiếng.
2. ĐANG ĐƯỢC PHÁT TRIỂN

   Các quyết định về âm thanh và hình ảnh, trên cùng màn hình duyệt.

3. ĐANG ĐƯỢC PHÁT TRIỂN

   Chữ trong khung hình.

   Một màn hình điện thoại, một bìa sách, một biển báo đường phố, được viết bằng đúng những thuật ngữ bạn đã chọn; một thương hiệu hay một cái tên được quyết định ngay tại chỗ giữ nguyên như lúc quay: một gói Tostitos vẫn là Tostitos.
4. ĐANG ĐƯỢC PHÁT TRIỂN

   Lồng tiếng trực tiếp.

06. Điều đó thay đổi gì với những người trên màn hình?

Lồng tiếng bằng người thật nằm ngoài tầm với của phần lớn thế giới. Ngay cả những tác phẩm lớn nhất cũng chỉ lồng tiếng vài ngôn ngữ, vì chi phí, nhân lực và thời gian cần có; các tác phẩm nhỏ hơn, các chương trình và phim dọc phần lớn không lồng tiếng. Mô hình nền tảng cho dịch đa phương thức mang đến cho tất cả họ cùng một màn diễn bằng ngôn ngữ khác: giọng nói, khẩu hình và biểu cảm của diễn viên ở 30 ngôn ngữ, bàn giao với hình ảnh lên đến 4K cùng bản phối 5.1 vòm thực thụ hoặc stereo ở PCM 24-bit (các file bàn giao).

Bản dịch đạt 100.3% chất lượng bản dịch của chuyên gia, tức là ngang ngửa; các nghiên cứu nằm tại /benchmark. Không phải “AI tạo sinh”, mà là dịch thuật chắp cánh cho nhà sáng tạo. Từ người đến người, lan tỏa đến nhiều khán giả hơn. Ý nghĩa với một kho nội dung nằm trong bài viết dành cho hãng phim và nền tảng.

CÂU HỎI