machine learning
- 监督学习: 是指在有标记的样本(labeled samples)上建立机器学习的模型
- 无监督学习: 是指在没有标记的样本上建立机器学习的模型
- semi-supervised learning: 是指在部分标记样本上建立机器学习的模型
- 强化学习: 是指在与环境交互的过程中,根据环境反馈来调整策略,以达到目标
- 强化学习算法: 是指在与环境交互的过程中,根据环境反馈来调整策略,以达到目标的算法
数据预处理
均值移除(标准化)
- 均值移除(标准化): 平均值调整为 0, 标准差调整为 1
- 由于一个样本的不同特征值差异较大,不利于使用现有机器学习算法进行样本处理
代码
import numpy as np
from sklearn import preprocessing
data = np.array([[3,-1.5,2,-5.4],[0,4,-0.3,2.1],[1,3.3,-1.9,-4.3]])
print("data:\n", data)
data_standardized = preprocessing.scale(data)
print("preprocessing.scale:\n", data_standardized)
print("Mean =", data_standardized.mean(axis=0))
print("Std deviation =", data_standardized.std(axis=0))
算法
均值为 0
a=17
b=20
c=23
mean=(a+b+c)/3
mean=(17+20+23)/3=20
a1=17-20=-3
b1=20-20=0
c1=23-20=3
方差为 1
a1=-3
b1=0
c1=3
s=std(a1,b1,c1)
result = [a1/s,b1/s,c1/s]
范围缩放
- 数据点中每个特征的数值范围可能变化很大,因此,有时将特征的数值范围缩放到合理的大小是非常重要的
- 特征缩放: 特征值缩放到 0~1 之间
代码
data_scaler = preprocessing.MinMaxScaler(feature_range=(0, 1))
data_scaled = data_scaler.fit_transform(data)
print("Min max scaled data =", data_scaled)
归一化
- 归一化: 特征值缩放到 0~1 之间
- 数据归一化用于需要对特征向量的值进行调整时,以保证每个特征向量的值都缩放到相同的数值范围。机器学习中最常用的归一化形式就是将特征向量调整为 L1 范数,使特征向量的数值之和为 1
- 这个方法经常用于确保数据点没有因为特征的基本性质而产生较大差异,即确保数据处于同一数量级,提高不同特征数据的可比性
代码
data_scaler = preprocessing.normalizer(norm='l1').fit(data)
data_normalized = data_scaler.transform(data)
print("Normalized data =", data_normalized)
二值化
代码
data_binarized = preprocessing.Binarizer(threshold=1.4).transform(data)
print("Binarized data:\n", data_binarized)
独热编码
- 独热编码是一种将离散型特征转换为二值型特征的技术,它将每个离散型特征的值转换为一个二值特征,并将其值设为 1,其他值设为 0
代码
encoder = preprocessing.OneHotEncoder()
encoder.fit([[0, 2, 1, 12], [1, 3, 5, 3], [2, 3, 2, 12], [1, 2, 4, 3]])
encoded_vector = encoder.transform([[2, 3, 5, 3]]).toarray()
print("Encoded vector =", encoded_vector)
标记编码
- 标记编码: 给定一个类别,将其转换为一个整数
- 标记编码的优点: 编码后的数据更加易于理解和处理
- 标记编码的缺点: 编码后的数据不易于理解和处理
from sklearn import preprocessing
print("#"*10,"标记编码器", "#"*10)
label_encoder = preprocessing.LabelEncoder()
input_classes = ['audi', 'ford', 'audi', 'toyota', 'ford', 'bmw']
label_encoder.fit(input_classes)for i, item in enumerate(label_encoder.classes_):print(item, "\t=>\t", i)print("#"*10,"标记转数字", "#"*10)
labels = ['toyota', 'ford', 'audi']
encoded_labels = label_encoder.transform(labels)
print("Labels =", labels)
print("Encoded labels =", list(encoded_labels))
划分训练集与测试集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=7)
X_train, X_test, y_train, y_test = X[0:100], X[100:], y[0:100], y[100:]
num_training = int(0.8 * len(X))
num_test = len(X) - num_training
X_train = np.array(X[:num_training]).reshape((num_training,1))
y_train = np.array(y[:num_training])
X_test = np.array(X[num_training:]).reshape((num_test,1))
y_test = np.array(y[num_training:])