Gen-ai 简明教程

Discriminative vs Generative Models

人类思维启发了机器学习 (ML) 和深度学习 (DL) 技术，我们如何从经验中吸取教训，对当前和未来做出更好的选择，这些技术是学习领域中最具活力和不断变化的领域，虽然我们已经在很多方面应用这些技术，但可能性是无穷无尽的。

这些进步使得机器能够从过去的数据中学习，甚至能够预测看不见的数据输入，为了从原始数据中提取有意义的见解，机器依赖于数学、模型/算法和数据处理方法，有两种方法可以提高机器的效率：一种方法是增加数据量，另一种方法是开发新的、更强大的算法。

获取新鲜的数据非常容易，因为每天都会产生数百万兆的数据，但为了处理如此庞大的数据，我们需要构建新的模型/算法或扩大现有模型/算法的规模，数学作为这些模型/算法的支柱，可大体上分为两组： Discriminative Models 和 Generative Models 。

在本章节中，我们将介绍判别式和生成式 ML 模型以及它们之间的核心差异。

What are Discriminative Models?

判别式模型是 ML 模型，顾名思义，集中于使用概率估计和最大似然对数据集中不同类别的决策边界进行建模，这些类型的模型主要用于监督学习，也称为条件模型。

判别式模型不受异常值的影响很大，虽然这使它们成为比生成式模型更好的选择，但也带来了可能是一个重大缺点的错误分类问题。

从数学角度来看， training a classifier 的过程涉及估计以下内容：

  1. 表示为 f : X → Y 的函数，或者

  2. The probability P(Y│X).

然而，判别式分类器 -

  1. 假设概率 P(Y|X) 具有特定函数形式，且

  2. 直接从训练数据集中估算概率 P(Y|X) 的参数。

Popular Discriminative Models

下面讨论一些广泛使用的判别模型的示例 −

Logistic Regression

逻辑回归是一种用于二进制分类任务的统计技术。它使用逻辑函数对因变量和一个或多个自变量之间的关系进行建模。它产生 0 到 1 之间的一个输出。

逻辑回归可用于各种问题的分类，如癌症检测、糖尿病预测、垃圾邮件检测等。

Support Vector Machines

支持向量机 (SVM) 是一种功能强大且灵活的有监督机器学习算法，在回归和分类场景中都有应用。支持向量使用决策边界将 n 维数据空间划分为多个超平面中的类别。

K-nearest Neighbor (KNN)

KNN 是一种有监督机器学习算法，它使用特征相似性来预测新数据点的值。分配给新数据点的值取决于它们与训练集中点的匹配程度。

决策树、神经网络、条件随机场 (CRF)、随机森林是常用判别模型的其他一些示例。

What are Generative Models?

生成模型是机器学习模型，顾名思义，其目的是捕获数据的底层分布，并生成与原始训练数据相当的新数据。这些类型的模型主要用于无监督学习，被归类为能够生成新数据实例的统计模型的一类。

与判别模型相比，生成模型唯一的缺点是它们容易受到异常值的影响。

如上所述，从数学角度来看，训练分类器包括估计以下内容：

  1. 表示为 f : X → Y 的函数，或者

  2. The probability P(Y│X).

但是，生成分类器 −

  1. 为概率（例如 P(Y)、P(X|Y)）假定一个特定的函数形式

  2. 直接从训练数据集中估计概率的参数（例如 P(X│Y)、P(Y)）

  3. 使用贝叶斯定理计算后验概率 P(Y|X)

Popular Generative Models

以下是广泛使用的生成模型的一些示例 −

Bayesian Network

贝叶斯网络（也称为贝叶斯网络）是一种概率图模型，它使用有向无环图 (DAG) 来表示变量之间的关系。它在各种领域有许多应用，例如医疗保健、金融和自然语言处理，用于决策制定、风险评估和预测等任务。

Generative Adversarial Network (GAN)

这些模型基于深度神经网络架构，该架构由生成器和判别器两个主要组件组成。生成器训练并创建新数据实例，并且判别器将这些生成的数据评估为真实或虚假实例。

Variational Autoencoders (VAEs)

这些模型是一类自动编码器，经过训练可以学习输入数据的概率潜在表示。它通过从学习到的概率分布中进行采样，学习生成类似于输入数据的新样本。VAE 对于从文本描述中生成图像等任务很有用，如 DALL-E-3 中所示，或者编写类似 ChatGPT 的类人文本响应。

自回归模型、朴素贝叶斯、马尔可夫随机场、隐藏马尔可夫模型 (HMM)、潜在狄利克雷分配 (LDA) 是常用生成模型的其他一些示例。

discriminative vs generative models

Difference Between Discriminative and Generative Models

数据科学家和机器学习专家需要了解这两种类型模型之间的差异，以便为特定任务选择最合适的模型。

下表描绘了判别模型与生成模型之间的核心差异 -

Characteristic

Discriminative Models

Generative Models

Objective

专注于从数据直接学习不同类别之间的边界。其首要目的是根据学习的决策边界对输入数据进行准确分类。

旨在了解底层数据分布并生成与训练数据类似的新数据点。其专注于对数据生成过程进行建模，使其能够创建合成数据实例。

Probability Distribution

估算训练数据集中的概率 P(Y

[style="upperroman"]I) 的参数。

使用贝叶斯定理计算后验概率 P(Y

[style="upperroman"]I)。

Handling Outliers

Relatively robust to outliers

Prone to outliers

Property

它们不具备生成特性。

They possess discriminative properties.

Applications

通常用于分类任务（如图像识别和情绪分析）。

除了传统分类任务之外，还通常用于数据生成、异常检测和数据增强等任务。

Examples

Conclusion

判别模型在类别之间创建边界，使其成为分类任务的理想选择。相比之下，生成模型了解底层数据分布并生成新样本，使其适合诸如数据生成和异常检测等任务。

我们还解释了判别模型与生成模型之间的一些核心差异。这些差异使数据科学家和机器学习专家能够为特定任务选择最合适的方法，并提高机器学习系统的功效。