深入解析机器学习中的生成式模型与判别式模型

在当今世界，机器学习已成为最受欢迎和令人兴奋的研究领域之一。机器学习模型现在能够学习并更准确地预测未知数据的结果。机器学习的思想与人工智能及其他相关技术相互重叠和借鉴。如今，机器学习已经从模式识别发展而来，其核心概念是计算机可以在不被明确编程的情况下学习执行特定任务。我们可以使用机器学习算法（如逻辑回归、朴素贝叶斯等）来识别语音、挖掘数据、构建从数据中学习的应用程序等。此外，这些算法的准确性会随着时间的推移而提高。

在本文中，您将探索生成式模型与判别式模型之间的差异，理解生成式模型与判别式模型的细微差别，并发现判别式模型与生成式模型在实际应用中的示例。

学习目标

• 理解判别式模型和生成式模型的基本概念
• 理解判别式模型和生成式模型之间的差异以及何时使用它们
• 探索这些模型的方法
• 探索判别式模型和生成式模型的一些示例

本文作为数据科学博客马拉松的一部分发布。

目录

• 理解机器学习模型
• 问题公式化
• 生成式模型的方法
• 判别式模型的方法
• 什么是判别式模型？
• 判别式模型的数学原理
• 判别式模型的示例
• 什么是生成式模型？
• 生成式模型的数学原理
• 生成式模型的示例
• 生成式模型与判别式模型的差异
• 基于应用的差异：生成式模型与判别式模型
• 结论

理解机器学习模型

机器学习模型可以分为两类：判别式模型和生成式模型。简单来说，判别式模型基于条件概率对未知数据进行预测，可以用于分类或回归问题。相反，生成式模型关注数据集的分布，以返回给定示例的概率。

作为人类，我们在学习人工语言时可以采用这两种不同的机器学习模型方法。这两种模型在人类学习中尚未被探索。然而，它们与已知的因果方向效应、分类与推理学习以及观察与反馈学习有关。因此，在本文中，我们重点关注两种类型的机器学习模型——生成式模型和判别式模型，并探讨这两种模型的重要性、比较和差异，考虑生成式模型和判别式模型的各个方面。

问题公式化

假设我们正在处理一个分类问题，我们的任务是根据电子邮件中的单词决定一封电子邮件是否为垃圾邮件。为了解决这个问题，我们有一个联合模型。

标签：Y=y，和
特征：X={x1, x2, …xn}

因此，模型的联合分布可以表示为

p(Y,X) = P(y,x1,x2…xn)

现在，我们的目标是估计垃圾邮件的概率，即P(Y=1|X)。生成式模型和判别式模型都可以解决这个问题，但方法不同。

让我们看看它们为什么以及如何不同！

生成式模型的方法

在生成式模型的情况下，为了找到条件概率P(Y|X)，它们通过训练数据估计先验概率P(Y)和似然概率P(X|Y)，并使用贝叶斯定理计算后验概率P(Y |X)。

判别式模型的方法

在判别式模型的情况下，为了找到概率，它们直接假设P(Y|X)的某种函数形式，然后通过训练数据估计P(Y|X)的参数。

什么是判别式模型？

判别式模型是指用于统计分类的一类模型，主要用于监督机器学习。这些类型的模型也被称为条件模型，因为它们学习数据集中的类或标签之间的边界。

判别式模型专注于建模分类问题中类之间的决策边界。目标是学习一个将输入映射到二进制输出的函数，指示输入的类标签。最大似然估计通常用于估计判别式模型的参数，例如逻辑回归模型的系数或神经网络的权重。

判别式模型（如其字面意思）分离类而不是建模条件概率，并且不对数据点做任何假设。但这些模型不能生成新的数据点。因此，判别式模型的最终目标是将一个类与另一个类分开。

如果数据集中存在一些异常值，判别式模型比生成式模型效果更好，即判别式模型对异常值更鲁棒。然而，这些模型的一个主要缺点是错误分类问题，即错误地分类一个数据点。

判别式模型的数学原理

训练判别式分类器或判别分析涉及估计一个函数f: X -> Y，或概率P(Y|X)

• 假设概率的某种函数形式，例如P(Y|X)
• 通过训练数据，我们估计P(Y|X)的参数

判别式模型的示例

• 逻辑回归
• 支持向量机(SVMs)
• 传统神经网络
• 最近邻
• 条件随机场(CRFs)
• 决策树和随机森林

什么是生成式模型？

生成式模型是机器学习模型，它们学习生成与训练数据相似的新数据样本。它们捕捉数据的潜在分布，并可以产生新的实例。生成式模型在图像合成、数据增强和生成逼真的内容（如图像、音乐和文本）方面有应用。

生成式模型被认为是一类统计模型，可以生成新的数据实例。这些模型用于无监督机器学习，作为一种执行任务的手段，例如：

• 概率和似然估计
• 建模数据点
• 描述数据中的现象
• 基于这些概率区分类

由于这些模型通常依赖贝叶斯定理来找到联合概率，生成式模型可以处理比类似判别式模型更复杂的任务。

因此，生成式方法关注数据集中各个类的分布，学习算法倾向于建模数据点的潜在模式或分布（例如，高斯分布）。这些模型使用联合概率的概念，并创建给定特征（x）或输入与所需输出或标签（y）同时存在的实例。

这些模型使用概率估计和似然来建模数据点并区分数据集中存在的不同类标签。与判别式模型不同，这些模型还可以生成新的数据点。

然而，它们也有一个主要缺点——如果数据集中存在异常值，那么它会显著影响这些类型的模型。

生成式模型的数学原理

训练生成式分类器涉及估计一个函数f: X -> Y，或概率P(Y|X)：

• 假设概率的某种函数形式，例如P(Y), P(X|Y)
• 通过训练数据，我们估计P(X|Y), P(Y)的参数
• 使用贝叶斯定理计算后验概率P(Y |X)

生成式模型的示例

• 朴素贝叶斯
• 贝叶斯网络
• 马尔可夫随机场
• 隐马尔可夫模型(HMMs)
• 潜在狄利克雷分配(LDA)
• 生成对抗网络(GANs)
• 自回归模型

生成式模型与判别式模型的差异

让我们看看生成式模型与判别式模型之间的一些差异：

方面 | 生成式模型 | 判别式模型
--- | --- | ---
目的 | 建模数据分布 | 建模给定数据的标签条件概率
用例 | 数据生成、去噪、无监督学习 | 分类、监督学习任务
常见示例 | 变分自编码器(VAEs)、生成对抗网络(GANs) | 逻辑回归、支持向量机、深度神经网络
训练重点 | 最大化观察数据的似然，捕捉数据结构 | 学习决策边界，区分类
示例任务 | 图像生成、修复（例如，GANs, VAEs） | 文本分类、目标检测（例如，深度神经网络）

现在，让我们看看两种模型之间的具体差异：

核心思想

判别式模型在数据空间中绘制边界，而生成式模型建模数据在整个空间中的分布。生成式模型解释数据如何生成，而判别式模型专注于预测数据标签。

数学直觉

在数学术语中，判别式机器学习通过最大化条件概率P(Y∣X)来训练模型。另一方面，生成式模型通过最大化联合概率P(X, Y)来学习参数。

应用

判别式模型识别现有数据；它们识别标签并分类数据，允许您对其进行分类，而生成式模型生成新内容。

由于这些模型使用不同的机器学习方法，两者都适合特定任务，即生成式模型适用于无监督学习任务。相反，判别式模型适用于监督学习任务。生成对抗网络(GANs)作为生成式模型的生成器与判别器之间的竞争，突出了生成式模型与判别式模型之间的对比。

异常值

生成式模型比判别式模型更容易受到异常值的影响。

计算成本

判别式模型的计算成本比生成式模型低。

基于应用的差异：生成式模型与判别式模型

让我们看看基于以下标准的生成式模型与判别式模型之间的一些比较：

基于性能

生成式模型需要比判别式模型更少的数据来训练，因为生成式模型更具偏见，因为它们做出更强的假设，即条件独立性假设。

基于缺失数据

一般来说，如果我们的数据集中有缺失数据，那么生成式模型可以使用这些缺失数据，而判别式模型不能。这是因为在生成式模型中，我们仍然可以通过边缘化未观察到的变量来估计后验。然而，判别式模型通常需要所有特征X都被观察到。

基于准确性评分

如果条件独立性假设被违反，那么生成式模型的准确性低于判别式模型。

结论

总之，判别式模型和生成式模型代表了解决各种任务的两种基本机器学习方法。判别式方法专注于学习类之间的决策边界，而生成式模型建模底层数据分布。理解判别式模型和生成式模型之间的差异有助于我们更好地决定在特定任务中使用哪种方法，以构建更准确的机器学习解决方案。

希望您喜欢这篇文章！生成式模型与判别式模型代表了机器学习中的两种基本方法。生成式模型通过估计联合概率分布生成新数据，而判别式模型通过估计条件概率对数据进行分类。示例包括用于生成式模型的高斯混合模型和用于判别式模型的支持向量机，突出了它们在分类和数据生成等任务中的不同应用。

关键要点

• 判别式模型学习类之间的决策边界，而生成式模型旨在建模底层数据分布。
• 判别式模型通常比生成式模型更简单、训练更快，但在底层数据分布复杂或不确定的任务上可能表现不佳。
• 生成式模型可以处理更广泛的任务，包括图像和文本生成，但它们可能需要更多的训练数据和计算资源。

Q1. 判别式模型与概率模型有什么区别？
A. 判别式模型专注于建模类之间的决策边界，而概率模型专注于建模数据的底层概率分布。

Q2. 判别式模型用于分类任务吗？
A. 判别式模型支持分类任务，其目标是根据某些特征预测输入的类标签。它们建模类之间的决策边界，而不是建模数据的分布。

Q3. 生成式模型的示例有哪些？
A. 生成式模型的示例包括用于图像生成的变分自编码器(VAEs)和生成对抗网络(GANs)，用于创建逼真的数据，如图像和文本。

Q4. CNN是生成式模型吗？
A. 不，CNN（卷积神经网络）不是生成式模型。它是一种主要用于图像分类等任务的神经网络，不用于生成数据。

Q5. 生成式AI模型和判别式AI模型的示例是什么？
A. 生成式AI模型的示例是像OpenAI的GPT-3这样的语言模型，它生成类似人类的文本。判别式AI模型的示例是逻辑回归，用于二进制分类任务，如垃圾邮件检测。

本文中显示的媒体不属于Analytics Vidhya，作者自行决定使用。