1.子集搜索与评价

相关特征：对当前学习任务有用的特征
无关特征：对当前学习任务没用的特征
特征选择：从给定的特征集合中选择出相关特征子集的过程

为什么要特征选择？
1.任务中经常碰到维数灾难
2.去除不相关的特征能降低学习的难度

特征选择很重要，但特征很多，如何根据评价结果获取下一个候选特征子集？
子集搜索

如何评价候选特征子集的好坏？
子集评价
利用信息增熵方法计算的结果进行评价

2.过滤式选择

3.包裹式选择

包裹式特征选择直接把最终将要使用的学习器的性能作为特征子集的评价标准
优点：结果优于过滤式选择
缺点：计算开销大于过滤式选择

4.嵌入式选择

将特征选择过程与学习器训练过程融为一体，在学习器训练过程中自动地进行特征选择

5.稀疏表示与字典学习