传统的机器学习算法主要依赖统计学和优化方法，不依赖深层神经网络，通常具有较高的可解释性且适用于中小规模数据集。以下是经典的传统机器学习算法分类及代表性模型：
一、监督学习（Supervised Learning）
1. 回归（Regression）
-
线性回归（Linear Regression）
通过最小化预测值与真实值的平方误差，拟合特征与目标之间的线性关系。
场景：房价预测、销量趋势分析。 -
岭回归（Ridge Regression） 和 Lasso回归（Lasso Regression）
在线性回归基础上加入L2或L1正则化，防止过拟合。
场景：高维数据回归（如基因数据分析）。 -
支持向量回归（Support Vector Regression, SVR）
基于支持向量机（SVM）的回归方法，通过间隔最大化优化预测边界。
2. 分类（Classification）
-
逻辑回归（Logistic Regression）
通过Sigmoid函数将线性回归结果映射到概率，用于二分类或多分类。
场景：信用评分、疾病预测。 -
支持向量机（Support Vector Machine, SVM）
寻找最大间隔超平面分割数据，支持核技巧处理非线性问题。
场景：文本分类、图像分割。 -
决策树（Decision Tree）
基于特征阈值递归划分数据，生成树形规则（如ID3、C4.5、CART）。
场景：客户分群、风险评估。 -
K近邻（K-Nearest Neighbors, KNN）
根据样本在特征空间中的最近邻标签进行预测，属于惰性学习。
场景：推荐系统、简单模式识别。 -
朴素贝叶斯（Naive Bayes）
基于贝叶斯定理与特征条件独立性假设，计算类别概率。
场景：垃圾邮件过滤、情感分析。
3. 集成学习（Ensemble Learning）
-
随机森林（Random Forest）
通过多棵决策树的投票或平均提升泛化能力，降低过拟合。
场景：高维数据分类（如医疗诊断）。 -
梯度提升树（Gradient Boosting Decision Trees, GBDT）
逐步训练弱学习器拟合残差，优化预测效果（如XGBoost、LightGBM）。
场景：点击率预测、竞赛建模。 -
AdaBoost
自适应调整样本权重，迭代训练弱分类器并加权组合。
场景：人脸检测、异常识别。
二、无监督学习（Unsupervised Learning）
1. 聚类（Clustering）
-
K均值（K-Means）
将数据划分为K个簇，最小化簇内样本到中心的距离平方和。
场景：用户分群、图像压缩。 -
层次聚类（Hierarchical Clustering）
构建树状聚类结构，支持自底向上（AGNES）或自顶向下（DIANA）划分。
场景：生物基因分类、文档主题聚类。 -
DBSCAN（Density-Based Spatial Clustering）
基于密度发现任意形状的簇，自动识别噪声点。
场景：地理数据聚类、异常检测。 -
高斯混合模型（GMM）
假设数据由多个高斯分布混合生成，通过EM算法估计参数。
场景：语音信号分离、图像分割。
2. 降维（Dimensionality Reduction）
-
主成分分析（PCA）
线性降维，提取数据最大方差方向的主成分。
场景：数据可视化、特征压缩。 -
线性判别分析（LDA）
最大化类间差异、最小化类内差异的监督降维方法。
场景：人脸识别、分类任务的特征提取。
3. 关联规则（Association Rule）
- Apriori算法
挖掘频繁项集（如“购买啤酒的用户常购买尿布”）。
场景：购物篮分析、交叉销售。
三、半监督学习（Semi-Supervised Learning）
-
标签传播（Label Propagation）
基于图结构将少量标签扩散到未标注数据。
场景：社交网络分析、半监督分类。 -
自训练（Self-Training）
用已标注数据训练初始模型，预测未标注数据并迭代优化。
场景：文本分类（标注数据不足时）。
四、概率图模型（Probabilistic Graphical Models）
-
隐马尔可夫模型（HMM）
用于时序数据建模，假设状态转移和观测服从马尔可夫性。
场景：语音识别、股票预测。 -
贝叶斯网络（Bayesian Network）
用有向无环图表示变量间的条件依赖关系。
场景：医疗诊断、风险评估。
五、其他经典算法
-
核方法（Kernel Methods）
通过核函数将数据映射到高维空间，解决非线性问题（如核SVM）。
场景：图像分类、非线性回归。 -
最近邻（KNN）
基于距离度量进行预测，无需显式训练过程。
场景：简单分类/回归（数据分布清晰时）。
六、传统机器学习的优势与局限
优势：
- 解释性强：如决策树、线性回归可直观理解特征重要性。
- 计算效率高：适合中小规模数据，训练和推理速度快。
- 依赖特征工程：通过人工设计特征提升模型表现。
局限：
- 对复杂模式捕捉能力有限：如图像、语音等非结构化数据。
- 特征工程成本高：需领域知识设计有效特征。
七、应用场景选择建议
- 小数据集+可解释性需求：逻辑回归、决策树。
- 高维稀疏数据：SVM（线性核）、随机森林。
- 时序数据：HMM、ARIMA（统计模型）。
- 无标签数据聚类：K-Means、DBSCAN。
- 关联规则挖掘：Apriori、FP-Growth。
传统机器学习算法至今仍在工业界广泛应用，尤其在数据规模较小、特征明确且需解释性的场景中表现优异。结合业务需求和数据特点选择合适的算法，往往能高效解决问题。
