决策树是一种由算法自动设计的模型。在机器学习中,构建决策树的过程通常遵循以下步骤:
-
特征选择:算法会评估每个特征,并选择一个特征作为节点分裂的依据。这个选择基于某种准则,如信息增益(ID3算法)或Gini不纯度(CART算法)。
-
最佳分裂点确定:算法会计算每个特征的所有可能分裂点,并选择一个使得不纯度最小(或信息增益最大)的分裂点。
-
递归分裂:在选择了特征和分裂点后,算法会递归地对数据集的每个子集重复上述过程,直到满足停止条件。
-
停止条件:停止条件可以是多种因素,例如:
- 数据集的不纯度低于某个阈值。
- 达到预设的最大树深度。
- 节点中的样本数量低于某个阈值。
- 没有更多的特征可以用来分裂。
-
剪枝:为了防止过拟合,算法可能会采用剪枝技术来减少树的复杂度。这包括预剪枝(在生长过程中限制树的大小)和后剪枝(先生长整棵树,然后从底部剪除不必要的分支)。
首先导入库和数据,分割数据集,创建 DecisionTreeClassifier
的实例并使用训练集数据对其进行训练。预测分数
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn import datasets
import graphviz
from sklearn.model_selection import train_test_split
from sklearn import treeiris = datasets.load_iris()
X = iris['data']
y = iris['target']feature_names = iris['feature_names']X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2,random_state =256)model = DecisionTreeClassifier()
model.fit(X_train,y_train)print('测试数据得分',model.score(X_test,y_test))print('算法预测结果',model.predict(X_test))
print('真实结果 ',y_test)
#逻辑斯蒂回归中,手动计算过概率
model.predict_proba(X_test)
构建决策树
dot_data = tree.export_graphviz(model,filled=True,rounded=True,feature_names=feature_names)graphviz.Source(dot_data)
我们可以分析出构建的决策树使用了以下特征和策略:
-
特征选择:决策树使用了鸢尾花数据集中的以下特征:
- petal length (cm):花瓣长度
- petal width (cm):花瓣宽度
- sepal width (cm):萼片宽度
-
分裂准则:决策树的每个节点都基于某个特征的阈值进行分裂,例如 "petal length (cm) <= 2.45" 表示如果花瓣长度小于或等于2.45厘米,则按照这个条件进行数据的分裂。
-
Gini不纯度:每个节点都显示了Gini不纯度值,这是衡量数据集纯度的指标。Gini不纯度越低,表示数据集的纯度越高。例如,一个节点显示 "gini = 0.666" 表示该节点的不纯度较高,而 "gini = 0.0" 表示该节点的样本全部属于同一类别。
-
样本数量:每个节点都显示了该节点下的样本数量,例如 "samples = 120" 表示该节点下有120个样本。
-
类别分布:每个节点都显示了该节点下各个类别的样本数量,例如 "value = [39, 39, 42]" 表示该节点下有39个样本属于第一类,39个样本属于第二类,42个样本属于第三类。
-
递归分裂:决策树通过递归的方式进行分裂,直到满足停止条件,例如Gini不纯度降至0(所有样本属于同一类别)或者达到预设的最大深度。
-
停止条件:当一个节点的Gini不纯度降至0,或者样本数量很少时,分裂会停止。例如,"gini = 0.0" 表示该节点下的所有样本都属于同一类别,不需要进一步分裂。
-
特征重要性:从截图中可以看出,花瓣长度和宽度的特征在多个节点中被用作分裂准则,这表明这些特征对于分类可能更为重要。
-
树的深度:从截图中可以看出,树的深度相对较浅,这意味着模型可能没有过拟合,但也可能没有捕捉到数据的所有特征。
-
预测结果:最终,每个叶节点都会给出一个预测结果,通常是多数投票的结果。