在机器学习中，优化超参数的算法是至关重要的，因为它们可以帮助我们找到最佳的模型配置，从而提高模型的性能。以下是一些常用的超参数优化算法：
-
网格搜索（Grid Search）：这是一种穷举搜索的方法，它会系统地遍历多种超参数的组合，通过交叉验证来确定每种组合的性能，并选择最佳的参数组合。这种方法的缺点是计算成本很高，特别是当参数数量和数据集大小增加时。
-
随机搜索（Random Search）：与网格搜索不同，随机搜索不会尝试所有的参数组合，而是在参数空间中随机选择参数组合。这种方法通常比网格搜索快，并且在大型数据集中表现更好，因为它不需要遍历所有可能的参数组合。
-
贝叶斯优化（Bayesian Optimization）：贝叶斯优化是一种更智能的搜索方法，它使用概率模型来预测哪些参数可能会带来更好的性能，并据此来选择新的参数组合进行尝试。这种方法特别适合于优化成本高昂的模型，因为它可以在较少的迭代次数内找到较优的参数组合。
-
遗传算法（Genetic Algorithms）：遗传算法是一种启发式搜索算法，它模仿自然选择的过程。它通过选择、交叉、变异和遗传等操作来迭代地改进参数组合。
-
Hyperband：这是一种基于多臂老虎机的算法，它在不同的预算下频繁执行连续减半的方法，以找到最佳配置。Hyperband算法在资源有限的情况下，能够快速有效地找到较好的超参数组合。
-
BOHB（Bayesian Optimization and Hyperband）：BOHB结合了贝叶斯优化和Hyperband算法的优势，它是一种多保真优化方法，可以根据预算进行调整。BOHB在保持高效的同时，也能够在更广泛的应用中找到更好的超参数组合。
-
Successive Halving：这是一种逐步减少候选集大小的方法，它在每一轮中都会淘汰掉一半表现最差的超参数组合，直到找到最佳组合。
-
TPE（Tree-structured Parzen Estimator）：这是一种基于概率模型的优化算法，它通过构建一个概率模型来预测参数的好坏，并据此来选择新的参数进行尝试。
网格搜索（Grid Search）
from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target# 定义模型
model = RandomForestClassifier()# 定义参数网格
param_grid = {'n_estimators': [100, 200, 300],'max_depth': [10, 20, 30, None],'min_samples_split': [2, 5, 10]
}# 创建网格搜索对象
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=5, scoring='accuracy')# 执行网格搜索
grid_search.fit(X, y)# 输出最佳参数
print(grid_search.best_params_)
param_grid是一个字典，它定义了你想要在网格搜索中探索的参数及其可能的值。GridSearchCV会遍历这个网格中的所有参数组合，通过交叉验证来评估每一组参数的表现，并最终选择最佳的参数组合。具体来说，
param_grid中的每个键值对代表一个超参数和它的候选值列表。在这个例子中，有三个超参数：
n_estimators：决策树的数量。这里提供了三个候选值 [100, 200, 300]。max_depth：树的最大深度。这里提供了四个候选值 [10, 20, 30, None]，None表示树的深度没有限制。min_samples_split：分裂内部节点所需的最小样本数。这里提供了三个候选值 [2, 5, 10]。
GridSearchCV会创建一个参数的所有可能组合的网格，并针对每一组参数训练模型，然后评估模型的性能。例如，如果n_estimators有三个候选值，max_depth有四个候选值，min_samples_split有三个候选值，那么总共会有3 * 4 * 3 = 36种不同的参数组合。
随机搜索（Random Search）
from sklearn.model_selection import RandomizedSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from scipy.stats import randint as sp_randint# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target# 定义模型
model = RandomForestClassifier()# 定义参数分布
param_dist = {'n_estimators': sp_randint(100, 301),'max_depth': [10, 20, 30, None],'min_samples_split': sp_randint(2, 11)
}# 创建随机搜索对象
random_search = RandomizedSearchCV(estimator=model, param_distributions=param_dist, n_iter=100, cv=5, scoring='accuracy', random_state=42)# 执行随机搜索
random_search.fit(X, y)# 输出最佳参数
print(random_search.best_params_)贝叶斯优化（Bayesian Optimization）
from skopt import BayesSearchCV
from skopt.space import Real, Integer, Categorical
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target# 定义模型
model = RandomForestClassifier()# 定义参数空间
search_spaces = {'n_estimators': Integer(100, 300),'max_depth': Integer(10, 30),'min_samples_split': Integer(2, 10)
}# 创建贝叶斯优化对象
bayes_search = BayesSearchCV(estimator=model, search_spaces=search_spaces, n_iter=32, cv=5, scoring='accuracy', n_jobs=-1, random_state=42)# 执行贝叶斯优化
bayes_search.fit(X, y)# 输出最佳参数
print(bayes_search.best_params_)Hyperband
from hpbandster.optimizers.bayes import BOHB
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split# 加载数据集
iris = load_iris()
X, y = load_iris(return_X_y=True)# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)# 定义目标函数
def objective(params):model = RandomForestClassifier(**params)model.fit(X_train, y_train)accuracy = model.score(X_test, y_test)return {'loss': -accuracy, 'status': 'ok'}# 定义参数空间
params_space = {'n_estimators': (100, 300),'max_depth': (10, 30),'min_samples_split': (2, 10)
}# 创建Hyperband优化器对象
optimizer = BOHB(objective, params_space, num_iterations=81, random_state=42, min_budget=1, max_budget=27)# 执行Hyperband优化
optimizer.run()# 输出最佳参数
print(optimizer.result['best_config'])
