Mô hình nền tảng đầu tiên cho dịch đa phương thức

01. Mô hình nền tảng cho dịch đa phương thức là gì?

Một video nói nhiều hơn lời thoại của nó. Giọng của người nói, cách khuôn miệng họ cử động, tiếng cười trong phòng và tiếng nhạc bên dưới một cảnh quay đều mang ý nghĩa. Dịch tốt một video nghĩa là mang tất cả những thứ đó sang, và giữ cho chúng ăn khớp: câu thoại phải vừa với khuôn miệng, giọng nói phải hòa vào khung cảnh, và người trên màn hình phải giữ đúng là chính họ.

Mô hình nền tảng cho dịch đa phương thức là một mô hình làm trọn công việc đó. Nó tiếp nhận cảnh quay như một tổng thể và quyết định mỗi phần sẽ được thể hiện ra sao trong ngôn ngữ mới. Familiar đã xây dựng mô hình đầu tiên như vậy, và gọi nó là MLDM.

02. Vì sao trước nay lồng tiếng phải đi qua nhiều công cụ rời rạc?

Lồng tiếng bằng người thật luôn nằm ngoài tầm với của phần lớn thế giới. Ngay cả những tác phẩm lớn nhất cũng chỉ lồng tiếng vài ngôn ngữ vì chi phí, nhân lực và thời gian; các tác phẩm nhỏ hơn, các chương trình và phim dọc gần như không lồng tiếng. Một bản lồng tiếng hoàn chỉnh bằng người thật, gồm dịch thuật và giọng nói, tốn $70 đến $150 mỗi phút thành phẩm.

03. Điều gì thay đổi khi một mô hình mang tất cả sang cùng lúc?

++

Dịch nghe nhìn cùng lúc, không nối tầng: đầu tiên thuộc loại này.

Màn diễn của chính diễn viên ấy được giữ trọn: giọng của chính họ, khẩu hình cử động theo lời mới, biểu cảm của họ, và âm thanh khung cảnh xung quanh. Tiếng cười, tiếng đám đông và tiếng nhạc vẫn giữ nguyên như cũ. Trên cùng bộ clip, YouTube mắc lỗi âm thanh nền nhiều hơn 232.6% so với Familiar. Riêng phần lời, bản dịch ngang ngửa bản dịch lượt đầu của dịch giả chuyên nghiệp: đạt 100.3% chất lượng của họ. Toàn bộ số liệu nằm trong benchmark.

Nó cũng thay đổi cả công việc xoay quanh một bản lồng tiếng. Con đường chất lượng cao hiện nay là con đường hỗ trợ: một đội ngũ nghệ sĩ VFX làm từng cảnh quay suốt hàng tuần, và mỗi ngôn ngữ lại là một dự án mới. Các công cụ một lần là xong hiện nay thì nhanh nhưng đánh đổi mọi thứ còn lại: bản dịch không thể chỉnh sửa, tiếng nhạc và âm nền của bối cảnh biến mất, còn khẩu hình thì hỏng ở những cảnh quay rất bình thường, bàn tay che mặt, micro, cảnh nhòe, xóa phông, góc nghiêng, nhiều người trong khung hình. Không có khả năng suy luận không gian, không hiểu thế giới. Familiar vừa xong trong một lần vừa giữ được chất lượng: một lần tải lên mang video sang mọi ngôn ngữ bạn chọn, cùng lúc, và các quyết định ăn khớp với nhau vì chỉ một mô hình đưa ra chúng, nên không có gì phải ghép nối lại bằng tay.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. MLDM quyết định gì, và bạn chọn gì?

Mô hình ra quyết định bản địa hóa đa phương thức chính là mô hình đó. MLDM quyết định bản địa hóa điều gì và bằng cách nào, trên cả văn bản, âm thanh và hình ảnh. Định nghĩa đầy đủ nằm trong Mô hình ra quyết định bản địa hóa đa phương thức (MLDM) là gì?

1. HIỆN NAY

   Các quyết định về bản dịch, do giám đốc sáng tạo của bạn duyệt.

   Mọi quyết định đều được lưu lại cùng tác vụ lồng tiếng. Bạn có thể thay đổi bất kỳ quyết định nào.
2. ĐANG ĐƯỢC PHÁT TRIỂN

   Các quyết định về âm thanh và hình ảnh, trên cùng màn hình duyệt.

3. ĐANG ĐƯỢC PHÁT TRIỂN

   Chữ trong khung hình, và lồng tiếng trực tiếp.

   Một màn hình điện thoại hay một biển báo đường phố được viết bằng đúng những thuật ngữ bạn đã chọn; một thương hiệu hay một cái tên được quyết định ngay tại chỗ giữ nguyên như lúc quay: một gói Tostitos vẫn là Tostitos.

Bản ghi các lựa chọn đó nằm trong Bản ghi quyết định: giám đốc sáng tạo điều khiển MLDM như thế nào.

05. Hãng phim nhận được gì từ một mô hình nền tảng?

MLDM lo phần việc tẻ nhạt. Các quyết định sáng tạo vẫn nằm trong tay những người làm ra tác phẩm; mô hình mang phần còn lại sang mọi ngôn ngữ cùng lúc.

Mọi bản lồng tiếng đều được xử lý trên cụm GPU đó, không bao giờ qua một nhà cung cấp dịch vụ suy luận bên thứ ba, nên nội dung của bạn không bao giờ bị rò rỉ. Chi tiết nằm trong tài liệu về suy luận nội bộ và tài liệu về file bàn giao. Đứng sau là các tiến sĩ đã mở ra lĩnh vực mô hình con người tạo ra âm thanh và hình ảnh cùng lúc: 22 bài báo, hơn 10,000 lượt trích dẫn, với GS. Xu Zheng và GS. Youngjung Uh là cố vấn, được Samsung, RedBird và Gold House hậu thuẫn. Các bài báo nằm trong nghiên cứu của chúng tôi.

06. Mô hình nền tảng cho dịch thuật có phải AI tạo sinh không?

Không theo nghĩa truyền thống. IBM định nghĩa AI tạo sinh như sau:

Đó là một công cụ mạnh để làm ra những thứ mới. MLDM không có câu lệnh, và không bịa ra điều gì mới: nó mang những gì đã có sẵn sang một ngôn ngữ khác. Không phải “AI tạo sinh”, mà là dịch thuật chắp cánh cho nhà sáng tạo. Từ người đến người, lan tỏa đến nhiều khán giả hơn.

Các bài khác trong loạt bài này: Dịch nghe nhìn cùng lúc, không nối tầng, Mô hình nền tảng cho dịch đa phương thức có ý nghĩa gì với hãng phim và nền tảng và Tiên phong dịch đa phương thức: từ nghiên cứu nghe nhìn kết hợp đến mô hình nền tảng đầu tiên.

CÂU HỎI