机器学习-核函数（Kernel Function）

核函数（Kernel Function）是一种数学函数，主要用于将数据映射到一个更高维的特征空间，以便于在这个新特征空间中更容易找到数据的结构或模式。核函数的主要作用是在不需要显式计算高维特征空间的情况下，通过内积操作来实现高维映射，从而简化计算。

核函数的作用

处理非线性问题：很多机器学习算法（如支持向量机）在原始特征空间中仅能处理线性可分数据。通过核函数，可以将数据映射到更高的特征空间，使得即使在原始空间中非线性可分的数据，也可以在线性可分的高维空间中找到分离超平面。
提高模型的灵活性：通过选择不同的核函数，模型可以适应不同类型的数据分布，从而优化分类、回归等任务的性能。
避免维度灾难：直接进行高维计算可能会带来计算复杂度高和数据稀疏的问题。核函数通过计算内积的方式在更低的维度上完成挑战，从而减轻了这一问题。

常用的核函数

线性核： $K(x_i,x_j)=x_i^Tx_j$ 于线性可分数据。
多项式核： $K(x_i,x_j)=(x_i^Tx_j+c)^d$ 其中 c是常数，d是多项式的度数。
高斯（RBF）核：高斯核非常常用，能够处理许多非线性问题。
Sigmoid核：

适用于神经网络的某些模型。

这些核函数在选择和应用时可以根据具体问题的需要而定。不同的核函数对模型的表现可以产生显著影响，因此在实践中往往需要进行选择和调优。

例子：使用高斯 (RBF) 核的支持向量机

import numpy as np  
import matplotlib.pyplot as plt  
from sklearn import datasets  
from sklearn.model_selection import train_test_split  
from sklearn.svm import SVC  
from sklearn.metrics import classification_report, confusion_matrix  # 生成一个分类数据集  
X, y = datasets.make_moons(n_samples=100, noise=0.1, random_state=42)  # 分割数据集为训练集和测试集  
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)  # 创建高斯核支持向量机模型  
svm_rbf = SVC(kernel='rbf', gamma='scale')  # 训练模型  
svm_rbf.fit(X_train, y_train)  # 对测试集进行预测  
y_pred = svm_rbf.predict(X_test)  # 输出分类报告  
print("Confusion Matrix:\n", confusion_matrix(y_test, y_pred))  
print("\nClassification Report:\n", classification_report(y_test, y_pred))  # 可视化结果  
plt.scatter(X_test[:, 0], X_test[:, 1], c=y_pred, cmap='coolwarm', s=50, edgecolor='k')  
plt.title('SVM with RBF Kernel')  
plt.xlabel('Feature 1')  
plt.ylabel('Feature 2')  
plt.show()

示例 2: 使用线性核的支持向量机

# 生成一个线性可分的数据集  
X_linear, y_linear = datasets.make_blobs(n_samples=100, centers=2, random_state=6)  # 分割数据集为训练集和测试集  
X_train_linear, X_test_linear, y_train_linear, y_test_linear = train_test_split(X_linear, y_linear, test_size=0.3, random_state=42)  # 创建线性核支持向量机模型  
svm_linear = SVC(kernel='linear')  # 训练模型  
svm_linear.fit(X_train_linear, y_train_linear)  # 对测试集进行预测  
y_pred_linear = svm_linear.predict(X_test_linear)  # 输出分类报告  
print("\nConfusion Matrix (Linear SVM):\n", confusion_matrix(y_test_linear, y_pred_linear))  
print("\nClassification Report (Linear SVM):\n", classification_report(y_test_linear, y_pred_linear))  # 可视化结果  
plt.scatter(X_test_linear[:, 0], X_test_linear[:, 1], c=y_pred_linear, cmap='coolwarm', s=50, edgecolor='k')  
plt.title('SVM with Linear Kernel')  
plt.xlabel('Feature 1')  
plt.ylabel('Feature 2')  
plt.show()