# **正规方程求解的缺点**
# 最小二乘法的缺点
# 之前利用正规方程求解的W是最优解的原因是MSE这个损失函数是凸函数。
# 但是，机器学习的损失函数并非都是凸函数，设置导数为0会得到很多个极值，不能确定唯一解,MSE还有一个问题,当数据量和特征较多时,矩阵计算量太大.
# 极值点不止一个 计算量大 求逆矩阵的时间复杂度为O(n^3)
# 梯度下降 一点一点的靠近损失函数的的极值点
# 求出损失函数 然后一点点的调整W的值使得损失函数的值变小 多个W的话随机生成一组成正太分布的数值w_0,w_1,w_2....w_n,这个随机是成正太分布的(高斯说的)
# 首先要初始化一个W 即选择一个起点 然后变大或者变小 带入导函数 导函数的值为负数 就要增大 此时的点肯定在极小值的左边 为正数要变小 此时在极小值的右边 最后导函数的值越来越靠近0
# 但是算法没有对此时的导函数的值进行正负性判断 而是依靠公式判断
# 公式 w新= w旧 -学习率a*梯度 a为正 梯度就是w旧带入导函数的值 如果为负 就说明在左边 就会+ 反之为正说明在右边就会减 离得远梯度大步子大 反之步子小
# ### 6.3学习率
# 根据我们上面讲的梯度下降公式，我们知道α是学习率，设置大的学习率α;每次调整的幅度就大,设置小的学习率α;每次调整的幅度就小，然而如果步子迈的太大也会有问题!
# 学习率大，可能一下子迈过了，到另一边去了（从曲线左半边跳到右半边)，继续梯度下降又迈回来，使得来来回回震荡。步子太小呢，就像蜗牛一步步往前挪，也会使得整体迭代次数增加。
# ### 6.3学习率
# 学习率的设置是门一门学问，
# 一般我们会把它设置成一个小数，0.1、0.01、0.001、0.0001，都是常见的设定数值（然后根据情况调整)。一般情况下学习率在整体迭代过程中是不变，但是也可以设置成**随着迭代次数增多学习率逐渐变小**，
# 因为越靠近山谷我们就可以步子迈小点，可以更精准的走入最低点，同时防止走过。还有一些深度学习的优化算法会自己控制调整学习率这个值
# 自己实现一遍梯度下降
import numpy as np
import matplotlib.pyplot as plt
import random
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import SGDRegressor
import random
import numpy as np
def gradient_descent():
w=np.linspace(-10,20,100) # 画图用的x的坐标
loss=lambda w_1:(w_1-3.5)**2-4.5*w_1+10 # 损失函数 ***
# plt.plot(w,loss)
# plt.show()
g=lambda w_1:2*(w_1-3.5)-4.5#导函数***
w1=random.randint(-10,20) # 随机一个初始w***
alpha=0.1
w2_list=[]
for x in range(100):
w2=w1-alpha*g(w1) #梯度下降公式
w2_list.append(w2)
w1=w2
alpha=alpha-alpha/10 # 控制学习率越来越小
plt.plot(w,loss(w))
plt.scatter(w2_list,loss(np.array(w2_list)),marker="o")
plt.show()
pass
# 如果有两个w w1 ，w2 就要用偏导数
def gradient_descent2():
# 损失函数 关于w1，w2的二次方程
loss=lambda w_1,w_2:(w_1-3.5)**2+(w_2-2)**2+2*w_2-4.5*w_1+3*w_1*w_2+20
# w1 w2 的偏导
dw_1=lambda w_1,w_2:2*(w_1-3.5)+3*w_2-4.5#w_1的导函数
dw_2=lambda w_1,w_2:3*w_1+2*w_2-2#w_2的导函数
# 初始化随机w1 w2
w_1=10#np.random.randint(0,100,size=1)[0]#随机初始值
w_2=40#np.random.randint(0,100,size=1)[0]#随机初始值
# 学习率初始化 0.1
alpha=0.1
w1_list=[]
w2_list=[]
for x in range(10):
w1=w_1-alpha*dw_1(w_1,w_2)
w2=w_2-alpha*dw_2(w_1,w_2)
w1_list.append(w1)
w2_list.append(w2)
w_1,w_2=w1,w2
pass
print(w1_list)
print(w2_list)
# API
# 官方的梯度下降API常用有三种:
# 批量梯度下降BGD(Batch Gradient Descent)
# 小批量梯度下降MBGD(Mini-BatchGradient Descent)
# 随机梯度下降SGD(Stochastic Gradient Descent)
# 三种梯度下降有什么不同呢?
# - **Batch Gradient Descent (BGD)**: 在这种情况下，每一次迭代都会使用全部的训练样本**计算梯度**来更新权重。 就是上面自己做的方式 这个数量大了太慢 把全部的数据集拿来做梯度下降 均方差公式的n值 写均方差公式的时候 全部的样本都考虑
# 这意味着每一步梯度更新都是基于整个数据集的平均梯度。这种方法的优点是每次更新的方向是最准确的，但缺点是计算量大且速度慢，尤其是在大数据集上。
"""
**特点**
- **准确性**：由于使用了所有训练样本，所以得到的梯度是最准确的，这有助于找到全局最小值。
- **计算成本**：每次更新都需要遍历整个数据集，因此计算量较大，特别是在数据集很大的情况下。
- **收敛速度**：虽然每一步的更新都是准确的，但由于计算成本较高，实际收敛到最小值的速度可能不如其他方法快。
- **内存需求**：需要在内存中存储整个数据集，对于大型数据集来说可能成为一个问题。
**使用场景**
- **小数据集**：当数据集较小时，批量梯度下降是一个不错的选择，因为它能保证较好的收敛性和准确性。
- **不需要实时更新**：如果模型不需要实时更新，例如在离线训练场景下，批量梯度下降是一个合理的选择。
**实现注意事项**
- **选择合适的学习率**：选择合适的学习率对于快速且稳定的收敛至关重要。如果学习率太小，收敛速度会很慢；如果太大，则可能会导致不收敛。
- **数据预处理**：对数据进行标准化或归一化，可以提高批量梯度下降的效率。
- **监控损失函数**：定期检查损失函数的变化趋势，确保算法正常工作并朝着正确的方向前进。
**API**
批量梯度下降通常不是首选方法，因为它在大数据集上的计算成本较高。如果你确实需要批量梯度下降，那么可以考虑自己实现。
"""
# - **Mini-Batch Gradient Descent (MBGD)**: 这种方法介于批量梯度下降和随机梯度下降之间。它不是用全部样本也不是只用一个样本， 每次下降考虑一部分数据 均方差公式的n值
# 而是每次迭代从数据集中随机抽取一小部分样本（例如，从500个样本中选取32个），然后基于这一小批样本的平均梯度来更新权重。这种方法在准确性和计算效率之间取得了一个平衡。 每次一般选择2的次方个
# - **Stochastic Gradient Descent (SGD)**: 在随机梯度下降中，每次迭代仅使用随机单个样本（或有时称为“例子”）来计算梯度并更新权重。
# 这种方法能够更快地收敛，但由于每次更新都基于单个样本，所以会导致权重更新路径不稳定。 最快 每次n变为了1
"""
**基本步骤**
1. **初始化参数**:
- 选择一个初始点作为参数向量 $\theta$的初始值。
2. **选择样本**:
- 随机选取一个训练样本$ (x^{(i)}, y^{(i)})$。
3. **计算梯度**:
- 使用所选样本 $(x^{(i)}, y^{(i)})$来近似计算损失函数 $J(\theta) $的梯度 $\nabla J(\theta)$。
4. **更新参数**:
- 根据梯度的方向来更新参数 $\theta$。更新公式为：
$\theta := \theta - \alpha \cdot \nabla J(\theta)$
- 其中 $\alpha$ 是学习率，决定了每次迭代时参数更新的步长。
5. **重复步骤 2 到 4**:
- 对所有的训练样本重复此过程，直到完成一个完整的 epoch（即所有样本都被访问过一次）。
6. **重复多个 epoch**:
- 重复上述过程，直到满足某个停止条件，比如达到最大迭代次数或者梯度足够小。
7. **输出结果**:
- 输出最小化损失函数后的最优参数 $\theta^*$。
**注意事项**
- **学习率 $\alpha$**: 需要适当设置，太大会导致算法不收敛，太小则收敛速度慢。
- **随机性**: 每次迭代都从训练集中随机选择一个样本，这有助于避免陷入**局部最小值**。
- **停止条件**: 可以是达到预定的最大迭代次数，或者梯度的范数小于某个阈值。
"""
# API
# sklearn.linear_model.SGDRegressor()
# 功能：梯度下降法线性回归
# 参数:
# loss: 损失函数，默认为 ’squared_error’
# fit_intercept: 是否计算偏置， default=True
# eta0: float, default=0.01学习率初始值
# learning_rate: str, default=’invscaling’
# The learning rate schedule:
# ‘constant’: eta = eta0 学习率为eta0设置的值，保持不变
# ‘optimal’: eta = 1.0 / (alpha * (t + t0))
# ‘invscaling’: eta = eta0 / pow(t, power_t)
# ‘adaptive’: eta = eta0, 学习率由eta0开始，逐步变小
# max_iter: int, default=1000 经过训练数据的最大次数(又名epoch)
# shuffle=True 每批次是否洗牌
# penalty: {‘l2’, ‘l1’, ‘elasticnet’, None}, default=’l2’
# 要使用的惩罚(又称正则化项)。默认为' l2 '，这是线性SVM模型的标准正则化器。' l1 '和'
# elasticnet '可能会给模型(特征选择)带来' l2 '无法实现的稀疏性。当设置为None时，不添加惩罚。
# 属性:
# coef_ 回归后的权重系数
# intercept_ 偏置
def sgd1():
data=fetch_california_housing(data_home="assets/datasets")
# print(data.feature_names)
# print(data.target_names)
x=data.data
y=data.target
# print(x)
# print(y)
scaler1=StandardScaler()
scaler2=StandardScaler()
# 创建sgd工具
sgd=SGDRegressor(loss="squared_error",max_iter=10000,shuffle=True,eta0=0.001) # loss 损失函数，默认为 ’squared_error’
x_train,x_test,y_train,y_test=train_test_split(x,y,random_state=666,train_size=0.7)
x_train_stand=scaler1.fit_transform(x_train)
x_test_stand=scaler1.transform(x_test)
sgd.fit(x_train_stand,y_train)
score1=sgd.score(x_test_stand,y_test)
print(score1) # 得分范围为 负无穷到1 sgd.score使用的是R² score（决定系数）可以为负 使用mse不能为负
pass
if __name__=="__main__":
# gradient_descent()
# gradient_descent2()
sgd1()
