机器学习算法的种类（机器学习类型的比较）

理解不同的机器学习算法具有重要意义。了解各算法的原理、优缺点和适用场景，有助于根据具体问题选择最合适的算法，从而提高模型的性能和准确性。深入理解算法的工作机制，可以更有效地进行模型调优，包括参数调整和特征选择，以达到最佳的预测效果。当模型表现不佳时，理解算法有助于诊断问题根源，如过拟合、欠拟合或数据不足，从而采取相应的改进措施。掌握多种算法的知识，能够激发创新思维，将不同算法组合或改进，应用于新的领域或问题，推动技术进步。不同算法对计算资源和时间的需求各异。了解这些差异，有助于在资源有限的情况下，选择高效的算法，优化计算成本。

因此，通过这篇博文，我们来整体对机器学习类型进行概括和总结。

一、按函数的不同

算法种类	含义	特点
线性模型	线性模型假设输入特征与输出变量之间存在线性关系，即输出是输入变量的线性组合。	简单易解释：模型结构简单，参数具有明确的物理意义。计算效率高：适用于处理大规模数据集。局限性：难以捕捉复杂的非线性关系。
非线性模型	非线性模型允许输入特征与输出变量之间存在复杂的非线性关系，能够捕捉数据中的复杂模式。	灵活性强：能够拟合复杂的非线性关系。计算复杂度高：训练时间较长，可能需要更多计算资源。易过拟合：需要正则化和超参数调优来防止过拟合。

如何区分线性模型和非线性模型：

关键在于模型对参数的依赖关系。

线性模型： 输出对参数是线性依赖的，即参数以一次方出现。
非线性模型： 输出对参数是非线性依赖的，参数可能以非线性方式影响输出。

二、按学习准则的不同

算法种类	含义	特点
统计方法	统计方法运用数学统计学的原理和技术来收集、分析和解释数据。	数据驱动：依赖于对数据的收集和分析。定量分析：通过数理统计手段进行定量分析，得出具有统计意义的结论。客观性：结果具有客观性，可重复验证。
非统计方法	非统计方法不使用数学统计学的原理和技术，更多地依赖于定性分析。	定性分析：侧重于对现象的描述和解释，而非数量上的测量。主观性：结果可能带有研究者的主观判断。灵活性：适用于无法量化或缺乏数据的研究领域。

统计方法强调数据的收集和定量分析，以获得客观、可验证的结论；而非统计方法则侧重于定性分

析，注重对现象的深度理解和解释。

三、按照训练样本提供的信息以及反馈方式的不同

1、监督学习：

如果机器学习的目标是建模样本的特征 𝒙 和标签 𝑦 之间的关系:𝑦 = 𝑓(𝒙; 𝜃) 或 𝑝(𝑦|𝒙; 𝜃)，并且训练

集中每个样本都有标签，那么这类机器学习称为监督学习(Supervised Learning).

根据标签类型的不同，监督学习又可以分为回归问题、分类问题和结构化学习问题.

（1）回归问题：

标签 𝑦 是连续值(实数或连续整数)， 𝑓(𝒙; 𝜃) 的输出也是连续值.

预测连续的数值输出。例如，房价预测，根据房屋特征估计其市场价格。

（2）分类问题：

标签 𝑦 是离散的类别(符号).在分类问题中，学习到的模型也称为分类器(Classifier).分类问题根据其类别数量又可分为二分类(Binary Classification)和多分类(Multi-class Classification) 问题.

将输入数据分配到预定义的类别中。例如，垃圾邮件检测，将电子邮件分类为“垃圾邮件”或“非垃圾邮件”。

（3）结构化学习问题：

是一种特殊的分类问题.在结构化学习中，标签 𝒚 通常是结构化的对象，比如序列、树或图等.由于结构化学习的输出空间比较大，因此我们一般定义一个联合特征空间，将 𝒙, 𝒚 映射为该空间中的联合特征向量 𝜙(𝒙, 𝒚)，预测模型可以写为

（4）监督学习的过程：

数据收集： 获取包含输入特征和对应输出标签的训练数据集。

模型训练： 使用训练数据来调整模型参数，使其能够准确地映射输入到输出。

模型评估： 在独立的验证数据集上测试模型性能，评估其泛化能力。

模型应用： 将训练好的模型应用于新数据，进行预测或分类。

通过监督学习，模型能够从标注数据中学习规律，并将其应用于实际问题中，实现自动化预测和决策。

2、无监督学习（Unsupervised Learning，UL）：

在训练过程中使用未标注的数据集，即输入数据没有对应的输出标签。模型通过分析和学习数据的内在结构和模式，发现数据的潜在分布或规律。

是指从不包含目标标签的训练样本中自动学习到一些有价值的信息.典型的无监督学习问题有聚类、密度估计、特征学习、降维等.

（1）聚类（Clustering）：

将相似的数据点分组，形成簇。例如，将客户分为不同的群体，以便进行差异化营销。

（2）降维（Dimensionality Reduction）：

将高维数据映射到低维空间，保留重要信息，去除冗余和噪声。例如，使用主成分分析（PCA）简化数据结构。

（3）关联规则学习（Association Rule Learning）：

发现数据中不同特征之间的有趣关系。例如，在购物篮分析中，确定哪些产品经常一起购买。

（4）密度估计

密度估计是一种统计方法，旨在估计随机变量在不同取值范围内的概率密度函数。这在无监督学习、特征工程和数据建模中都有广泛应用。

常见的密度估计方法包括：

参数化方法： 假设数据服从某种已知分布形式，如高斯分布，然后根据数据估计分布的参数。
非参数化方法： 不对数据的分布形式做具体假设，如直方图密度估计和核密度估计。

（5）特征学习

特征学习，也称为表示学习，是从原始数据中自动提取有用特征的过程，以便于后续的机器学习任务。传统的机器学习依赖于手工设计特征，而特征学习通过算法自动发现数据的最佳表示形式。

常见的特征学习方法包括：

自动编码器： 一种神经网络，通过将输入数据编码为低维表示，再解码回原始数据，实现特征提取。
卷积神经网络（CNN）： 特别适用于图像数据，通过卷积层自动学习空间特征。
词嵌入（Word Embedding）： 在自然语言处理领域，将词语映射到低维向量空间，捕捉词语之间的语义关系。

3、强化学习（Reinforcement Learning，RL）

是一类通过交互来学习的机器学习算法.在强化学习中，智能体根据环境的状态做出一个动作，并得到即时或延时的奖励.智能体在和环境的交互中不断学习并调整策略，以取得最大化的期望总回报.

监督学习需要每个样本都有标签，而无监督学习则不需要标签.

一般而言，监督学习通常需要大量的有标签数据集，这些数据集一般都需要由人工进行标注，成本很高.因此，也出现了很多弱监督学习(Weakly Supervised Learning) 和半监督学习(Semi-Supervised Learning，SSL)的方法，希望从大规模的无标注数据中充分挖掘有用的信息，降低对标注样本数量的要求.强化学习和监督学习的不同在于，强化学习不需要显式地以“输入/输出对”的方式给出训练样本，是一种在线的学习机制.