机器学习———特征工程

server/2024/11/18 20:16:27/

1 特征工程概念

特征工程就是对特征进行相关的处理，一般使用pandas来进行数据清洗和数据处理、使用sklearn来进行特征工程，特征工程是将任意数据(如文本或图像)转换为可用于机器学习的数字特征，比如:字典特征提取(特征离散化)、文本特征提取、图像特征提取。

2 特征工程API

DictVectorizer      字典特征提取
CountVectorizer     文本特征提取
TfidfVectorizer     TF-IDF文本特征词的重要程度特征提取 
MinMaxScaler         归一化
StandardScaler         标准化
VarianceThreshold     底方差过滤降维
PCA                  主成分分析降维

转换器对象调用fit_transform()进行转换, 其中fit用于计算数据，transform进行最终转换

fit_transform()可以使用fit()和transform()代替

data_new = transfer.fit_transform(data)
可写成
transfer.fit(data)
data_new = transfer.transform(data)

3 DictVectorizer 字典列表特征提取

稀疏矩阵

一个矩阵中大部分元素为零，只有少数元素是非零的矩阵。 例如，在一个1000 x 1000的矩阵中，如果只有1000个非零元素，那么这个矩阵就是稀疏的。

三元组表

三元组表就是一种稀疏矩阵类型数据,存储非零元素的行索引、列索引和值:

(行,列) 数据

(0,0) 10

(0,1) 20

(2,0) 90

(2,20) 8

(8,0) 70

表示除了列出的有值, 其余全是0

非稀疏矩阵（稠密矩阵）

矩阵中非零元素的数量与总元素数量相比接近或相等，也就是说矩阵中的大部分元素都是非零的。

api

  • 创建转换器对象:

        sklearn.feature_extraction.DictVectorizer(sparse=True)

        参数:

        sparse=True返回类型为csr_matrix的稀疏矩阵 

        sparse=False表示返回的是数组,数组可以调用.toarray()方法将稀疏矩阵转换为数组

  • 转换器对象调用：

        fit_transform(data)

        参数：

        data为一维字典数组或一维字典列表,返回转化后的矩阵或数组

        转换器对象get_feature_names_out()方法获取特征名

示例：

from sklearn.feature_extraction import DictVectorizer
import pandas as pd # sklearn.feature_extraction.DictVectorizer(sparse=True)data = [{'city': '北京', 'temperature': 100}, 
{'city': '上海', 'temperature': 60}, 
{'city': '深圳', 'temperature': 30}]# 初始化工具（字典变成向量的工具器）
# sparse=False表示返回的是数组
model=DictVectorizer(sparse=False)
data=model.fit_transform(data)
print(data,type(data))
# 获取所有的特征名称
print(model.get_feature_names_out())# sparse=True返回类型为csr_matrix的稀疏矩阵,可以调用.toarray()方法将稀疏矩阵转换为数组
model=DictVectorizer(sparse=True)
data=model.fit_transform(data)
print(data,type(data))
print(model.get_feature_names_out())
arr=data.toarray()
print(arr)

 sparse=False结果：

 

 sparse=True结果：

 

4 CountVectorizer 文本特征提取

(1)API

sklearn.feature_extraction.text.CountVectorizer(stop_words=' ')

关键字:

参数stop_words，值为list，表示词的黑名单(不提取的词)

fit_transform函数的返回值为稀疏矩阵

(2) 英文文本提取

# CountVectorizer 文本特征提取
from sklearn.feature_extraction.text import CountVectorizer
corpus = [  'I love machine learning. Its awesome.', 'Its a book amazon book', 'Amazon is a great company']
# 创建一个词频提取对象
# 构造函数关键字参数stop_words，值为list，表示词的黑名单(不提取的词)
vectorizer = CountVectorizer(stop_words=['amazon'])
# 提取词频
x=vectorizer.fit_transform(corpus)
print(x)
print(x.toarray())
print(vectorizer.get_feature_names_out())

 输出结果：

(3) 中文文本提取

 中文文本不像英文文本，中文文本文字之间没有空格，所以要先分词，一般使用jieba分词.

pip install jieba

 jieba使用函数：jieba.cut(data)

 示例：

# 中文文本提取
from sklearn.feature_extraction.text import CountVectorizer
import jieba# 传入没有断词的文本
def my_cut(text):return ' '.join(jieba.cut(text))corpus = ['我来到北京清华大学',  '他来到了网易杭研大厦',  '小明硕士毕业与中国科学院']
vectorizer = CountVectorizer(stop_words=[])
x=vectorizer.fit_transform(my_cut(el) for el in corpus)
print(x)
print(x.toarray())
print(vectorizer.get_feature_names_out())ddata=pd.DataFrame(x.toarray(),columns=vectorizer.get_feature_names_out())
ddata

输出结果：

 

5 TfidfVectorizer TF-IDF文本特征词的重要程度特征提取

(1) 算法

词频(Term Frequency, TF), 表示一个词在当前篇文章中的重要性

逆文档频率(Inverse Document Frequency, IDF), 反映了词在整个文档集合中的稀有程度

(2) API

sklearn.feature_extraction.text.TfidfVectorizer()

构造函数关键字参数stop_words，表示词特征黑名单

fit_transform函数的返回值为稀疏矩阵

(3) 示例

from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer
import jieba
import pandas as pd
def my_cut(text):return ' '.join(jieba.cut(text))data=['小明来到北京清华大学', '小明来到了网易杭研大厦', '小明硕士毕业与中国科学院']
data = [my_cut(i) for i in data]
print(data)
transfer=TfidfVectorizer(stop_words=[])
res=transfer.fit_transform(data)
print(res.toarray())
print(transfer.get_feature_names_out())
ddata=pd.DataFrame(res.toarray(),columns=transfer.get_feature_names_out())
ddata

 输出结果：

6 无量纲化-预处理

无量纲，即没有单位的数据

(1) MinMaxScaler 归一化

通过对原始数据进行变换把数据映射到指定区间(默认为0-1)

1、公式:

若要缩放到其他区间，可以使用公式：x=x*(max-min)+min;

2、归一化API

sklearn.preprocessing.MinMaxScaler(feature_range)

参数:feature_range=(0,1) 归一化后的值域,可以自己设定

fit_transform函数归一化的原始数据类型可以是list、DataFrame和ndarray, 不可以是稀疏矩阵

fit_transform函数的返回值为ndarray

3、示例：

from sklearn.preprocessing import MinMaxScaler
import pandas as pdscaler=MinMaxScaler(feature_range=(0,1))
data=pd.read_excel('./src/test01.xlsx')
print(data.values)
arr=scaler.fit_transform(data.values)
print(arr)

 

4、缺点

最大值和最小值容易受到异常点影响，如一个异常值远远大于正常值，所以鲁棒性较差。所以常使用标准化的无量钢化

(2)StandardScaler 标准化

它的目的是将不同特征的数值范围缩放到统一的标准范围，以便更好地适应一些机器学习算法，特别是那些对输入数据的尺度敏感的算法。

1、标准化公式

最常见的标准化方法是Z-score标准化，也称为零均值标准化。它通过对每个特征的值减去其均值，再除以其标准差，将数据转换为均值为0，标准差为1的分布。这可以通过以下公式计算:

 其中，z是转换后的数值，x是原始数据的值，μ是该特征的均值，σ是该特征的标准差

2、标准化 API

sklearn.preprocessing.StandardScale

与MinMaxScaler一样，原始数据类型可以是list、DataFrame和ndarray

fit_transform函数的返回值为ndarray, 归一化后得到的数据类型都是ndarray

3、标准化示例
from sklearn.preprocessing import StandardScaler
import numpy as np
# 初始化标准化工具
scaler=StandardScaler()
np.random.seed(7)data=np.random.randint(0,100,(10,4))
print(data)
x=scaler.fit_transform(data)
print(x)

 

4、注意点

在数据预处理中，特别是使用如StandardScale这样的数据转换器时，fit、fit_transform和transform这三个方法的使用是至关重要的，它们各自有不同的作用：

  1. fit:

    • 这个方法用来计算数据的统计信息，比如均值和标准差（在StandardScale的情况下）。这些统计信息随后会被用于数据的标准化。

    • 你应当仅在训练集上使用fit方法。

  2. fit_transform:

    • 这个方法相当于先调用fit再调用transform，但是它在内部执行得更高效。

    • 它同样应当仅在训练集上使用，它会计算训练集的统计信息并立即应用到该训练集上。

  3. transform:

    • 这个方法使用已经通过fit方法计算出的统计信息来转换数据。

    • 它可以应用于任何数据集，包括训练集、验证集或测试集，但是应用时使用的统计信息必须来自于训练集。

总结来说:我们常常是先fit_transform(x_train)然后再transform(x_text)  

7 特征降维

实际数据中,有时候特征很多,会增加计算量,降维就是去掉一些特征,或者转化多个特征为少量个特征

 特征降维其目的:是减少数据集的维度，同时尽可能保留数据的重要信息。

1 .特征选择

(a) VarianceThreshold 低方差过滤特征选择

如果一个特征的方差很小，说明这个特征的值在样本中几乎相同或变化不大，包含的信息量很少，模型很难通过该特征区分不同的对象

(b) 根据相关系数的特征选择

皮尔逊相关系数（Pearson correlation coefficient)是一种度量两个变量之间线性相关性的统计量。它提供了两个变量间关系的方向（正相关或负相关）和强度的信息。皮尔逊相关系数的取值范围是 [−1,1]，相关系数$\rho$的绝对值为0-1之间，绝对值越大，表示越相关，当两特征完全相关时，两特征的值表示的向量是在同一条直线上，当两特征的相关系数绝对值很小时，两特征值表示的向量接近在同一条直线上。

api:

scipy.stats.personr(x, y) 计算两特征之间的相关性

返回对象有两个属性:

statistic皮尔逊相关系数[-1,1]

pvalue零假设(了解),统计上评估两个变量之间的相关性,越小越相关

示例：

from scipy.stats import pearsonr
import pandas as pd
def association_demo():data = pd.read_csv('src/factor_returns.csv')data = data.iloc[:, 1:-2]# 计算某两个变量之间的相关系数r1 = pearsonr(data["pe_ratio"], data["pb_ratio"])print(r1.statistic) #-0.0043893227799362555 相关性, 负数表示负相关print(r1.pvalue) #0.8327205496590723        正相关性r2 = pearsonr(data['revenue'], data['total_expense'])print(r2) #PearsonRResult(statistic=0.9958450413136111, pvalue=0.0)return None
association_demo()


http://www.ppmy.cn/server/142995.html

相关文章

vue路由的钩子函数?

vue路由的钩子函数?

在 Vue 中，路由的钩子函数可以用来在导航过程中执行一些操作，比如进行权限验证、页面加载前后的处理等。常用的路由钩子函数包括全局前置守卫、全局解析守卫、全局后置钩子以及路由独享守卫。下面是这些路由守卫函数的简要说明： 全局前置守卫…
阅读更多...
sql文件

sql文件

.sql文件通常包含SQL语句，用于数据库的创建、修改和数据操作。根据内容的不同，.sql文件的使用方式也有所不同。一般来说，可以分为以下两种情况： 1. 包含完整数据库内容的 .sql 文件 这种类型的 .sql 文件通常包含数据库的创建语句…
阅读更多...
十五届蓝桥杯赛题-c/c++ 大学b组

十五届蓝桥杯赛题-c/c++ 大学b组

握手问题 很简单&#xff0c;相互牵手即可&#xff0c;但是要注意&#xff0c;第一个人只能与其他49个人牵手&#xff0c;所以开头是加上49 #include <iostream> using namespace std; int main() {int cnt0;for(int i49;i>7;i--){cnti;//cout<<i<<&quo…
阅读更多...
Rust： 原子操作大全

Rust： 原子操作大全

Rust 的原子操作主要通过 std::sync::atomic 模块提供。这些原子操作对于多线程编程至关重要&#xff0c;因为它们能够确保操作的原子性和内存可见性&#xff0c;从而避免数据竞争和其他并发问题。以下是一些 Rust 中常用的原子操作及其简要说明&#xff1a; 原子类型 Rust 提…
阅读更多...
机器学习 笔记

机器学习 笔记

特征值提取 字典 from sklearn.extaction import DictVectorizer mDictVectorizer(sparseFalse)#sparse是否转换成三元组形式 data[], #传入字典数据 data1model.fit_transform(data) #使用API 英文特征值提取 from sklearn.feature_extraction.text import CountVe…
阅读更多...
【Git】Git Clone 指定自定义文件夹名称：详尽指南

【Git】Git Clone 指定自定义文件夹名称：详尽指南

目录 引言一、git clone 基本语法二、默认行为&#xff1a;没有指定文件夹名称时三、如何指定自定义文件夹名称四、高级使用技巧&#xff1a;动态文件夹名称4.1 基于日期命名文件夹4.2 基于版本标签&#xff08;Tag&#xff09;动态命名文件夹4.1 基于日期命名文件夹4.2 基于版…
阅读更多...
活着就好20241118

活着就好20241118

今天是18号&#xff0c;周一&#xff0c;亲爱的朋友们&#xff0c;大家早上好&#xff01;在这个略显不同却又充满希望的周一早晨&#xff0c;让我们怀揣着周末的余温&#xff0c;带着新的目标和梦想&#xff0c;共同迎接这全新的一天吧&#xff01; &#x1f31e; 今天是2024…
阅读更多...
《C++设计模式：重塑游戏角色系统类结构的秘籍》

《C++设计模式：重塑游戏角色系统类结构的秘籍》

在游戏开发领域&#xff0c;游戏角色系统的类结构设计至关重要。一个良好的类结构可以使游戏更易于扩展、维护和优化&#xff0c;而 C中的设计模式为我们提供了强大的工具来实现这一目标。 一、理解游戏角色系统的复杂性 游戏角色系统通常具有高度的复杂性。每个角色都有自己…
阅读更多...
最新文章

Copyright @ 2022~2023