ĐỊNH NGHĨA

Mô hình ra quyết định bản địa hóa đa phương thức (MLDM) là gì?

FAMILIAR NGHIÊN CỨUCẬP NHẬT TẤT CẢ BÀI VIẾT
ĐỌC BÀI NÀY BẰNGEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

TÓM TẮT

Mô hình nền tảng đầu tiên cho dịch đa phương thức, một mô thức mới, đầu tiên thuộc loại này. MLDM là một mô hình duy nhất quyết định bản địa hóa điều gì và bằng cách nào, trên cả văn bản, âm thanh và hình ảnh, và cho bạn thấy những lựa chọn quan trọng. Dịch trước, rồi lồng tiếng trong một lần: giọng nói, khẩu hình và cảnh quay cùng lúc. Các quyết định ăn khớp với nhau vì chỉ một mô hình đưa ra chúng. Con người không bao giờ thay đổi.
MÔ HÌNH NỀN TẢNG ĐẦU TIÊN CHO DỊCH ĐA PHƯƠNG THỨCDỊCH NGHE NHÌN CÙNG LÚC, KHÔNG NỐI TẦNG

MLDM quyết định những gì?

VĂN BẢN
Cách chuyển ngữ nào đưa một câu thoại sang ngôn ngữ mới. MLDM cân nhắc nhiều cách chuyển ngữ rồi chọn cách tốt nhất: trong một câu đùa, một câu chuyện hay một lượt lời trong cuộc trò chuyện, chỉ một từ cũng đủ đổi cả ý định lẫn cảm xúc. Cũng những quyết định ấy bao trùm thuật ngữ, điều gì không cần dịch, tiếng lóng giữ nguyên như lời gốc, tên riêng và thương hiệu giữ nguyên, một chi tiết ám chỉ được đổi sang thứ khán giả quen thuộc, điều mà nền văn hóa đó kiêng kỵ, và mức ngôn từ thô tục được giảm xuống cho bản dành cho khán giả nhỏ tuổi.
ÂM THANH
Phần nào thật sự cần dịch. MLDM nghe mọi thứ trong track âm thanh: tiếng cười, tiếng đám đông, một tiếng hét, một người nói ở hậu cảnh không ai nghe rõ. Mô hình tìm ra giọng chính, mang nó sang ngôn ngữ mới bằng chính giọng của người nói, và giữ phần còn lại như cũ.
HÌNH ẢNH
Ai thực sự đang nói câu đó. Âm thanh và hình ảnh được quyết định cùng nhau, nên MLDM biết ai dẫn chuyện, ai nói từ ngoài khung hình, và khuôn miệng của ai cần cử động. Khẩu hình theo lời mới ở mọi câu thoại; biểu cảm và cử chỉ theo khi điểm nhấn hay văn hóa đòi hỏi.

NHỮNG LỰA CHỌN BẠN THẤY

VĂN BẢN
HIỆN NAYỞ những câu có thể hiểu theo nhiều cách, giám đốc sáng tạo của bạn nhận các phương án dịch kèm lý do của từng phương án và chọn một. Một podcast, một tập phim hay một bộ phim điện ảnh có thể có rất nhiều đoạn như vậy.
ĐANG ĐƯỢC PHÁT TRIỂN
ÂM THANH
HIỆN NAY
ĐANG ĐƯỢC PHÁT TRIỂNChọn những gì giữ nguyên ngôn ngữ gốc. Một câu hô, một tiếng la hay một câu nói có thể giữ nguyên như lời gốc khi bạn muốn.
HÌNH ẢNH
HIỆN NAY
ĐANG ĐƯỢC PHÁT TRIỂNChọn một gương mặt khác khi mô hình chọn nhầm người nói, và chọn chữ nào trong khung hình cần dịch. Dòng chữ đó, một màn hình điện thoại, một bìa sách, một biển báo đường phố, một bảng hiệu cửa hàng, sẽ được viết bằng đúng những thuật ngữ bạn đã chọn; mô hình quyết định ngay tại chỗ những gì giữ nguyên như lúc quay, một thương hiệu, một cái tên, tiếng lóng: một gói Tostitos vẫn là Tostitos.

Vì sao chỉ một mô hình?

MỘT CHUỖI CÔNG CỤ

  • Chuyển giọng nói thành văn bản, rồi dịch, rồi tạo giọng, rồi lip sync, mỗi khâu được tinh chỉnh riêng.
  • Chính chuỗi đó đã khiến lồng tiếng bằng máy trở nên khả thi.
  • Nhưng mỗi khâu vẫn đoán mò mà không biết các khâu kia, nên lỗi cứ cộng dồn từ khâu này sang khâu sau.

MỘT MÔ HÌNH NỀN TẢNG, ĐẦU TIÊN THUỘC LOẠI NÀY

  • MLDM đưa ra các quyết định cùng lúc.
  • Bản dịch biết khuôn miệng mà nó phải khớp.
  • Giọng nói biết khung cảnh nơi nó vang lên.
  • Con người không bao giờ thay đổi.
++
Dịch trước, rồi lồng tiếng trong một lần: giọng nói, khẩu hình và cảnh quay ra cùng lúc, từ cùng những quyết định.

Dịch nghe nhìn cùng lúc, không nối tầng: đầu tiên thuộc loại này. Đó là điều khiến MLDM trở thành mô hình nền tảng đầu tiên cho dịch đa phương thức: một mô hình mang lời thoại, giọng nói, khẩu hình và khung cảnh sang một ngôn ngữ mới, tất cả cùng lúc. Con đường chất lượng cao hiện nay là con đường hỗ trợ: một đội ngũ nghệ sĩ VFX và hàng tuần cho mỗi dự án, mỗi ngôn ngữ lại là một dự án mới. Các công cụ một lần là xong hiện nay thì nhanh nhưng đánh đổi mọi thứ còn lại. Familiar vừa xong trong một lần vừa giữ được chất lượng.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Bản địa hóa khác dịch thuật ở điểm nào?

Dịch thuật là lời. Bản địa hóa là điều một nền văn hóa cần từ những lời ấy.

Đúng thuật ngữ, tiếng lóng, tên riêng giữ nguyên như lời gốc, một chi tiết ám chỉ được đổi sang thứ khán giả quen thuộc, điều mà nền văn hóa đó kiêng kỵ, mức ngôn từ thô tục phù hợp. MLDM quyết định tất cả những điều đó, và theo thời gian là cả hình ảnh, khi hình ảnh cần thay đổi.

MLDM có phải AI tạo sinh không?

Không. IBM định nghĩa nó như sau:

AI tạo sinh, đôi khi được gọi là gen AI, là trí tuệ nhân tạo (AI) có thể tạo ra nội dung nguyên bản như văn bản, hình ảnh, video, âm thanh hoặc mã phần mềm để đáp lại câu lệnh hoặc yêu cầu của người dùng.
IBM, What is generative AI?

Đó là một công cụ mạnh để làm ra những thứ mới. MLDM không có câu lệnh, và không bịa ra điều gì mới: nó quyết định cách bản địa hóa những gì đã có sẵn. Toàn bộ quan điểm của chúng tôi nằm trong Vì sao Familiar không phải AI tạo sinh truyền thống và Dịch thuật không phải là tạo sinh.

Các quyết định ấy là của ai?

Của bạn. Mọi quyết định MLDM đưa ra đều được lưu lại cùng bản lồng tiếng, trong bản ghi quyết định.

  1. HIỆN NAY

    Giám đốc sáng tạo của bạn duyệt các quyết định về bản dịch.

    Các phương án dịch kèm lý do của từng phương án; họ chọn một trước khi bất cứ thứ gì được phát hành.
  2. HIỆN NAY

    Danh sách Không dịch và một câu mô tả ngữ cảnh đi kèm tác vụ lồng tiếng.

  3. ĐANG ĐƯỢC PHÁT TRIỂN

    Các quyết định về âm thanh và hình ảnh, trên cùng màn hình duyệt.

  4. ĐANG ĐƯỢC PHÁT TRIỂN

    Ghi nhớ quyết định.

    Một lần thay đổi được ghi nhớ cho một nhà sáng tạo sẽ được áp dụng trước tiên ở bản lồng tiếng kế tiếp, nên một lựa chọn đã đưa ra sẽ tiếp tục áp dụng cho tập sau.

Toàn bộ câu chuyện nằm trong Bản ghi quyết định: giám đốc sáng tạo điều khiển MLDM như thế nào; API dự kiến nằm trong tài liệu về quyết định.

CÂU HỎI

MLDM là viết tắt của gì?

MLDM là viết tắt của Multimodal Localization Decision Model, tức mô hình ra quyết định bản địa hóa đa phương thức, một mô thức mới, đầu tiên thuộc loại này: một mô hình duy nhất quyết định bản địa hóa điều gì và bằng cách nào, trên cả văn bản, âm thanh và hình ảnh. Mô hình chọn cách chuyển ngữ cho một câu thoại, phần nào trong âm thanh cần dịch, ai trên màn hình đang nói, và khẩu hình, biểu cảm, cử chỉ theo đó ra sao.

MLDM có phải mô hình video không?

Không theo nghĩa thông thường. MLDM làm việc trên cảnh quay đã có sẵn và quyết định cách bản địa hóa nó: lời thoại, giọng nói, khẩu hình và biểu cảm. Người trên màn hình vẫn giữ đúng là chính họ, ở mọi ngôn ngữ.

MLDM có tạo ra cảnh quay mới không?

Không. Không có câu lệnh, và không có gì mới được bịa ra. MLDM quyết định cách bản địa hóa những gì đã có sẵn: diễn viên, nhịp thời gian và khung cảnh được giữ nguyên, còn lời thoại, track giọng nói và khẩu hình thay đổi cho khớp với ngôn ngữ mới.

MLDM quyết định gì trong âm thanh?

Phần nào thật sự cần dịch. Mô hình tìm ra giọng chính và mang nó sang ngôn ngữ mới bằng chính giọng của người nói. Tiếng cười, tiếng đám đông, một tiếng hét và một người nói ở hậu cảnh không ai nghe rõ vẫn giữ nguyên như cũ.

MLDM có thay đổi biểu cảm không?

Khi điểm nhấn hay văn hóa đòi hỏi. Khẩu hình theo lời mới ở mọi câu thoại; biểu cảm và cử chỉ theo khi một câu thoại được tiếp nhận khác đi trong ngôn ngữ mới. Con người vẫn giữ đúng là chính họ.

MLDM có dịch chữ trên màn hình không?

Chưa. Chữ trong khung hình, như màn hình điện thoại, bìa sách, biển báo đường phố hay bảng hiệu cửa hàng, đang được tích hợp, viết bằng đúng những thuật ngữ bạn đã chọn; mô hình quyết định ngay tại chỗ những gì giữ nguyên như lúc quay, một thương hiệu, một cái tên, tiếng lóng: một gói Tostitos vẫn là Tostitos. Hiện nay lời thoại, giọng nói, khẩu hình, biểu cảm và cử chỉ được bản địa hóa.

Tôi có thể thay đổi một quyết định mô hình đã đưa ra không?

Có. Mọi quyết định đều được lưu lại cùng tác vụ lồng tiếng, và bạn có thể thay đổi. Hiện nay giám đốc sáng tạo của bạn chọn giữa các phương án dịch, mỗi phương án kèm lý do, và một lựa chọn đã đưa ra sẽ tiếp tục áp dụng cho tập sau.

Mô hình có cho thấy các lựa chọn về âm thanh và hình ảnh không?

Các lựa chọn về bản dịch đã hiển thị từ hôm nay. Các lựa chọn về âm thanh, như những gì giữ nguyên ngôn ngữ gốc, và các lựa chọn về hình ảnh, như chọn một gương mặt khác hay chọn chữ nào trong khung hình cần dịch, đang được phát triển.

TÀI LIỆU THAM KHẢO

  1. [1]IBM, What is generative AI?, đọc ngày 27/10/2026
  2. [2]Sứ mệnh của chúng tôi
  3. [3]Câu hỏi thường gặp về Familiar

Dịch đa phương thức

Familiar Labs xây dựng công nghệ lồng tiếng vượt thế hệ với mô hình ra quyết định bản địa hóa đa phương thức (MLDM), mô hình nền tảng đầu tiên cho dịch đa phương thức: một mô hình quyết định bản địa hóa điều gì trên cả văn bản, âm thanh và hình ảnh, và cho bạn thấy các lựa chọn. Giọng nói và khẩu hình của bạn, mang sang những ngôn ngữ mới. Đội ngũ 8 người với các tiến sĩ, được Samsung, RedBird, Gold House hậu thuẫn. Sứ mệnh của chúng tôi

Xem benchmark đầy đủ →Trò chuyện với đội ngũ