一, Supervised Machine Learning (监督机器学习)

        1,定义:学习X到Y或输入到输出的映射的算法，学习算法从正确答案中学习。即教机器   如何做事情(数据集+学习算法=模型)，根据已有的数据集，知道输入和输出结果   之间的关系，并根据这种已知的关系，训练得到一个最优的模型(即在面对只有   特征没有标签的数据时，可以判断出标签)。

        2,主要类型:

                回归(regression)和分类(classification)

        回归:学习算法必须从无限多可能的输出数字中预测数字，如预测房价

        分类:学习算法必须对一个类别做出预测，如判断肿瘤的良性或恶性

二,Unsupervised Machine Learning(无监督机器学习)

        1,定义:给定的数据与任何输出标签Y无关，本质上是一个统计的手段，在没有标签的数据里发现潜在的一些结构的训练方式。(让机器自学，学会自己做事情)

        2,类别：

                聚类(clustering) 降维(Dimensionality Reduction) 异常检测(Anomaly Detection)

        聚类:将数据样本分为相似的组别或者簇的过程，通过计算样本之间的相似性来将  相似的样本聚集在一起。如数据分析，市场细分。

       降维:将一个大数据集压缩成一个小得多的数据集，同时尽可能的保留数据的特征。

        异常检测:用于识别与大多数数据样本不同的罕见或者异常数据点。

三,线性回归模型(Linear Regression Model)

        1,监督学习算法过程:

        输入训练集(输入特征+输出目标) ---> 监督学习算法产生函数(function)

        f的作用于新输入的x，进行估计或预测，输出y，此时的y称为y-hat，f称为模型 (model)。(注:y-hat仅是一个估计值,若输出为y，则代表训练集中的实际真实值)

        2,f的表示：

        f(X)=wx+b   (w和b被称为模型的参数，可在训练期间调整的变量)

3,成本函数(cost function)

用于衡量一条直线与训练数据的拟合程度，即

        b=0 时f(x)=wx+0 和 J(x) 关系图象

        线性回归的目标是找到参数w和b，使成本函数J的值最小

        b!=0时 f(x)=wx+b 和 J(x) 关系图象

    

成本函数的最小碗底为同心椭圆的中心点

四,梯度下降(Gradient Descent)

        1,定义:通过迭代找到目标函数的最小值，或者收敛到最小值。

        2,实现过程：

①计算新的w和b

temp_w = w - Alpha * ( J(w,b)对w求一阶导 )

temp_b = b - Alpha * ( J(w,b)对b求一阶导 )

(注:此处Alpha为学习率,Alpha范围在(0,1) )

②同步更新w和b

w = temp_w

b = temp_b

③迭代至找到最小值或收敛到最小值

         3,线性回归中的梯度下降:

公式: