概念解读

机器学习 vs 生成式 AI：写给影视公司的通俗指南

FAMILIAR 研究更新于 全部文章
语言版本EnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

摘要

不是“生成式 AI”，而是助力创作者的翻译。这份指南用大白话把机器学习和生成式 AI 放在一起对照，再列出影视公司、发行方或平台可以拿去问任何一家 AI 供应商的六个问题，并附上 Familiar 对每个问题的回答。

两个术语，说清楚

机器学习更宽泛的领域

机器学习是更宽泛的领域。IBM 把它描述为：算法学习训练数据中的规律，再对新数据做出准确的推断。

生成式 AI

  • 生成式 AI 是机器学习的一种用法。IBM 将其定义为：能够根据用户的提示词或请求，创作文本、图像、视频、音频或软件代码等原创内容的人工智能。
  • 它是做新东西的好工具：一张概念图，一版初稿，一段歌曲小样。

用 Familiar 做翻译

  • 翻译要的是另一回事。
  • 作品已经在那里，Familiar 用一种全新范式把它原封不动地带进另一种语言，业界首创：多模态本地化决策模型（MLDM），首个多模态翻译基础模型。
首个多模态翻译基础模型
生成式 AI 与翻译对照
生成式 AI用 Familiar 做翻译
输入提示词你已完成的视频
新的是什么内容本身另一种语言的台词，以及承载它们的声音和口型
是谁的肖像提示词描述的任何人画面里的演员，经本人同意
审核因工具而异你的创意总监在渲染之前逐句审核
输出新的文本、图像、视频、音频或代码同一场表演，最高 4K，原生 5.1 或立体声

该问每家供应商的六个问题

有提示词吗？
FAMILIAR 的回答没有。你的视频放进去，出来的是同一条视频，换了一种语言。
会编造东西吗？
FAMILIAR 的回答不会。台词是原话的翻译，不编造任何新东西。场景保持原样：笑声、音乐、环境音。
输出里是谁的声音和面孔？经过谁的同意？
FAMILIAR 的回答演员自己的。声音取自片段本身，画面里的脸是演员本人，用新的语言表演。Familiar 只在本人同意的前提下翻译。
模型用什么数据训练？
FAMILIAR 的回答我们训练用的所有数据，其实都出自 Familiar 团队之手。
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

发布之前由谁审核？

你的创意总监。能有不止一种落点的台词，比如一个笑点或一句挖苦，会给出三种译法，意图和情绪各不相同；他们挑定一种，对照原文修改任何一句，然后才启动配音。「不翻译清单」让名字和口头禅完全按原话保留。

交回来的是哪些文件？

每种语言都交付成片，最高 4K，完整混音为原生 5.1 环绕声或立体声，由你选择，24 位 PCM WAV。一并交付的还有：依据审核过的转写制作的 .srt 和 .vtt 字幕，按 Netflix《定时文本样式指南》的规范切分；译好的标题和简介；以及只含人声的音轨，供你自行混音。

把繁琐的活儿交给 MLDM。

配音里繁琐的部分，是每种语言的每一句台词：用哪种译法、哪个声音，口型怎么跟上。如今做到高质量的路线，是靠人手来做这部分：一款辅助工具，每个项目一支视效团队忙上数周，每种语言都是一个新项目。如今的一键式工具跳过了这一步，其余的也都放弃了：译文改不了，音乐和现场环境音消失；手挡在脸前、麦克风或侧脸，口型就对不上。Familiar 一气呵成，质量也在。这部分由 MLDM 来决定，每个决定都随配音任务一并记录，你的团队可以在那里修改。现在，这涵盖翻译上的选择：笑点，俚语照原样保留，面向低龄观众的版本把脏话调轻。选择哪些声音保留原语言、哪张脸在说话，以及翻译画面里的哪些文字，正在研发中。选角、表演和每一个创作上的决定，都留在创作这部作品的人手里。

我们是创作流程中的又一个工具。

常见问题

Familiar 是生成式 AI 吗？

不是。Familiar 是多模态本地化决策模型（MLDM）：它决定的是如何本地化已有的内容，没有提示词。你的视频放进去，出来的是同一场表演换了一种语言。

渲染之前，我们的创意团队能改台词吗？

能。每一句译文都等着你的创意总监，他们可以对照原文修改，或在一句台词有不止一种读法时从三种译法中挑选。之后才会渲染配音。

Familiar 支持哪些语言？

配音输出 30 种语言，任意互译。视频素材可以是 99 种源语言中的任何一种。

参考资料

  1. [1]Netflix《定时文本样式指南：字幕模板》，2026 年 10 月 30 日查阅
  2. [2]IBM，What is machine learning?，2026 年 10 月 24 日查阅
  3. [3]IBM，What is generative AI?，2026 年 10 月 24 日查阅
  4. [4]为什么 Familiar 不是传统意义上的生成式 AI
  5. [5]API 文档：转写与审核

多模态翻译

Familiar Labs 用多模态本地化决策模型（MLDM），让配音迎来代际飞跃。这是首个多模态翻译基础模型：一个模型决定本地化什么，覆盖文本、音频和画面，并把选择摆到你面前。你的声音与口型，带进新的语言。团队8人，汇聚多位博士；投资方包括 Samsung、RedBird、Gold House。 我们的使命

查看完整基准测试 →联系团队