Mô hình nền tảng cho dịch đa phương thức có ý nghĩa gì với hãng phim và nền tảng

01. Mô hình nền tảng thay đổi điều gì trong lồng tiếng?

Lồng tiếng bằng máy từng là một chuỗi nối tầng gồm nhiều công cụ rời rạc: chép lời, rồi dịch, rồi tạo giọng, rồi lip sync. Mỗi khâu đoán mò mà không biết các khâu kia, và lỗi bị mang từ khâu này sang khâu sau. Những gì người mua gặp phải hiện nay là sự đánh đổi giữa chất lượng và thời gian. Các công cụ hỗ trợ đạt được chất lượng nhờ một đội ngũ nghệ sĩ VFX: hàng tuần cho mỗi dự án, và mỗi ngôn ngữ lại là một dự án mới. Các công cụ một lần là xong thì nhanh nhưng đánh đổi mọi thứ còn lại: bản dịch không thể chỉnh sửa, giọng nói bị lệch, tiếng nhạc và âm nền của bối cảnh biến mất, còn khẩu hình thì hỏng khi có bàn tay che mặt, micro, cảnh nhòe, xóa phông, góc nghiêng hay nhiều người trong khung hình. Không có khả năng suy luận không gian, không hiểu thế giới, không có quyền kiểm soát. Familiar thay cả chuỗi đó bằng một mô hình ra quyết định bản địa hóa đa phương thức (MLDM): vừa xong trong một lần vừa giữ được chất lượng.

++

Dịch trước, rồi lồng tiếng trong một lần: giọng nói, khẩu hình và cảnh quay cùng lúc.

Dịch nghe nhìn cùng lúc, không nối tầng: đầu tiên thuộc loại này. Định nghĩa nằm trong Mô hình nền tảng đầu tiên cho dịch đa phương thức; phần đối chiếu từng bước với chuỗi nối tầng nằm trong Dịch nghe nhìn cùng lúc, không nối tầng.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Một lần tải lên có phủ được mọi thị trường chúng tôi phát hành không?

Có. Cảnh quay bằng bất kỳ ngôn ngữ nào trong 99 ngôn ngữ nguồn chỉ cần tải lên một lần, và bản lồng tiếng ra ở bất kỳ ngôn ngữ nào trong 30 ngôn ngữ đầu ra bạn đặt: mọi ngôn ngữ từ một lần tải lên, mỗi ngôn ngữ mang cùng một màn diễn. Một mùa phim, cả một kho nội dung hay một chuỗi tập phim dọc đều đi theo cùng một đường, và những thuật ngữ bạn đặt một lần sẽ tiếp tục áp dụng cho tập sau.

Lồng tiếng hoàn chỉnh bằng người thật, gồm dịch thuật và giọng nói, tốn $70 đến $150 mỗi phút thành phẩm. Ở mức đó, nó nằm ngoài tầm với của phần lớn thế giới. Ngay cả những tác phẩm lớn nhất cũng chỉ lồng tiếng vài ngôn ngữ, vì chi phí, nhân lực và thời gian cần có.

Đó là khoảng trống Familiar lấp đầy. Không phải “AI tạo sinh”, mà là dịch thuật chắp cánh cho nhà sáng tạo. MLDM lo phần việc tẻ nhạt. Từ người đến người, lan tỏa đến nhiều khán giả hơn.

03. Ai quyết định một câu thoại sẽ được thể hiện ra sao trong ngôn ngữ khác?

MLDM quyết định bản địa hóa điều gì và bằng cách nào, trên cả văn bản, âm thanh và hình ảnh. Đội ngũ của bạn vẫn nắm những lựa chọn quan trọng. Bản dịch đi trước, và ở những câu có thể hiểu theo nhiều cách, giám đốc sáng tạo của bạn xem các phương án và lý do đằng sau từng phương án trước khi bất cứ thứ gì được lồng tiếng.

Mọi quyết định đều được lưu lại cùng tác vụ lồng tiếng, và bạn có thể thay đổi bất kỳ quyết định nào. Toàn bộ câu chuyện nằm trong Bản ghi quyết định: giám đốc sáng tạo điều khiển MLDM như thế nào. Riêng phần lời, bản dịch ngang ngửa dịch giả chuyên nghiệp: đạt 100.3% chất lượng của họ, đo trong benchmark.

04. Một bản lồng tiếng hoàn chỉnh trả về những gì?

Một bộ file bàn giao mà đội hậu kỳ của bạn có thể đưa thẳng vào bản phát hành, đúng chuẩn một dịch vụ streaming yêu cầu. Âm thanh khung cảnh giữ nguyên như cũ: tiếng nhạc, âm thanh môi trường và tiếng cười được giữ lại, chỉ có lời nói đổi ngôn ngữ.

Phụ đề được tạo từ bản dịch đã duyệt, cắt theo quy ước của Timed Text Style Guide của Netflix, chuẩn mẫu phụ đề mà cả ngành làm theo. Mọi file và định dạng đều được liệt kê trong tài liệu về file bàn giao.

05. Cảnh quay của chúng tôi được xử lý ở đâu?

Cảnh quay chưa phát hành là tài sản mà một hãng phim bảo vệ kỹ nhất. Mọi bản lồng tiếng đều được xử lý trên cụm GPU NVIDIA B300 trị giá hàng chục triệu USD của chính Familiar tại Toronto, Canada, trên tài nguyên tính toán thuộc sở hữu của Familiar.

Đường đi của một bản lồng tiếng và các câu trả lời cho đợt đánh giá bảo mật của bạn nằm trong tài liệu về suy luận nội bộ.

06. Những gì đã có hôm nay, và những gì đang được phát triển?

1. HIỆN NAY

   Mọi ngôn ngữ từ một lần tải lên, với chính giọng nói và khẩu hình của diễn viên.

   30 ngôn ngữ đầu ra, 99 ngôn ngữ nguồn đầu vào; lên đến 4K, bản phối 5.1 thực thụ hoặc stereo, phụ đề.
2. HIỆN NAY

   Giám đốc sáng tạo của bạn duyệt các quyết định về bản dịch.

   Các phương án kèm lý do của từng phương án, được lưu lại cùng tác vụ lồng tiếng.
3. ĐANG ĐƯỢC PHÁT TRIỂN

   Các quyết định về âm thanh và hình ảnh, trên cùng màn hình duyệt.

   Những gì giữ nguyên ngôn ngữ gốc, một gương mặt khác, chữ nào trong khung hình cần dịch.
4. ĐANG ĐƯỢC PHÁT TRIỂN

   Lồng tiếng trực tiếp.

Quyền truy cập theo hợp đồng Studio, tùy theo quy mô kho nội dung của bạn: hãy trò chuyện với đội ngũ về các tựa phim, ngôn ngữ và chuẩn bàn giao của bạn. Đội ngũ gồm các tiến sĩ đã mở ra lĩnh vực mô hình con người tạo ra âm thanh và hình ảnh cùng lúc: 22 bài báo, hơn 10,000 lượt trích dẫn, với GS. Xu Zheng và GS. Youngjung Uh là cố vấn, được Samsung, RedBird và Gold House hậu thuẫn. Nghiên cứu nằm trong các bài báo của chúng tôi và Tiên phong dịch đa phương thức: từ nghiên cứu nghe nhìn kết hợp đến mô hình nền tảng đầu tiên; câu chuyện của nhà sáng lập nằm trên trang sứ mệnh.

CÂU HỎI