【机器学习】机器学习的基本分类-监督学习-逻辑回归(Logistic Regression)

devtools/2024/11/30 13:08:35/

逻辑回归是一种分类算法,尽管名字中包含“回归”,但其主要用于解决二分类和多分类问题。它通过学习一个逻辑函数,预测输入属于某个类别的概率。


1. 逻辑回归的基本概念

目标

逻辑回归的目标是找到一个函数 h(x),输出一个概率值 P(y=1|x),表示输入样本 x 属于正类的概率。

逻辑函数(Sigmoid 函数)

逻辑回归使用 Sigmoid 函数将线性回归的结果映射到 (0, 1) 之间:

h(x) = \frac{1}{1 + e^{-z}}, \quad z = w^T x + b

其中:

  • z 是线性模型的结果。
  • h(x) 是预测为正类的概率。

学习>机器学习学习>机器学习的基本分类-监督学习-逻辑回归-Sigmoid 函数-CSDN博客


2. 逻辑回归的损失函数

为了优化模型参数 w 和 b,逻辑回归最小化 对数似然损失函数

L(w, b) = -\frac{1}{m} \sum_{i=1}^m \left[ y_i \log(h(x_i)) + (1 - y_i) \log(1 - h(x_i)) \right]

其中:

  • m 是样本数量。
  • y_i \in \{0, 1\}是第 i 个样本的真实标签。

逻辑回归通过梯度下降或其他优化算法最小化该损失函数。

学习>机器学习学习>机器学习的基本分类-监督学习-逻辑回归-对数似然损失函数(Log-Likelihood Loss Function)-CSDN博客


3. 逻辑回归的假设

  1. 数据集中的样本是独立的。
  2. 输入特征和目标变量之间是线性可分的(通过特征变换,可以扩展到非线性问题)。

4. Python 实现

4.1 数据生成

我们以二分类任务为例:

from sklearn.datasets import make_classification
import matplotlib.pyplot as plt# 生成二分类数据
# 参数说明:
# n_samples=100: 生成100个样本
# n_features=4: 每个样本有4个特征
# n_classes=2: 分为2个类别
# n_informative=2: 有2个特征是信息特征,对分类有帮助
# n_redundant=1: 有1个特征是冗余特征,对分类无直接帮助
# n_repeated=0: 没有重复的特征
# random_state=0: 设置随机种子,保证结果可重复
X, y = make_classification(n_samples=100, n_features=4, n_classes=2, n_informative=2, n_redundant=1, n_repeated=0,random_state=0)# 可视化生成的数据
# 这里只绘制了前两个特征,因为高维数据无法直接可视化
# c=y: 根据类别y上色
# cmap='viridis': 使用'viridis'颜色地图
# edgecolor='k': 设置点的边缘颜色为黑色
plt.scatter(X[:, 0], X[:, 1], c=y, cmap='viridis', edgecolor='k')
plt.xlabel("Feature 1")
plt.ylabel("Feature 2")
plt.title("Generated Data")
plt.show()

4.2 使用 Scikit-learn 实现
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, confusion_matrix, classification_report# 生成二分类数据
# 参数说明:n_samples=100表示生成100个样本,n_features=4表示数据有4个特征,n_classes=2表示二分类问题,
# n_informative=2表示其中2个特征是有信息的,n_redundant=1表示1个特征是冗余的,n_repeated=0表示没有重复的特征,
# random_state=0表示随机种子,保证结果可重复
X, y = make_classification(n_samples=100, n_features=4, n_classes=2, n_informative=2, n_redundant=1, n_repeated=0,random_state=0)# 数据集划分
# 将数据集划分为训练集和测试集,test_size=0.2表示测试集占20%,random_state=42保证划分结果可重复
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 逻辑回归模型
# 初始化逻辑回归模型
model = LogisticRegression()
# 使用训练集数据拟合模型
model.fit(X_train, y_train)# 模型预测
# 使用拟合好的模型对测试集进行预测
y_pred = model.predict(X_test)# 评估模型
# 输出模型的准确率
print("Accuracy:", accuracy_score(y_test, y_pred))
# 输出模型的混淆矩阵
print("Confusion Matrix:\n", confusion_matrix(y_test, y_pred))
# 输出模型的分类报告,包括精确度、召回率、F1值等指标
print("Classification Report:\n", classification_report(y_test, y_pred))

输出结果

Accuracy: 0.9
Confusion Matrix:[[9 2][0 9]]
Classification Report:precision    recall  f1-score   support0       1.00      0.82      0.90        111       0.82      1.00      0.90         9accuracy                           0.90        20macro avg       0.91      0.91      0.90        20
weighted avg       0.92      0.90      0.90        20
4.3 自定义实现

使用 NumPy 手动实现逻辑回归的梯度下降:

import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score# 生成二分类数据
# 参数说明:n_samples=100表示生成100个样本,n_features=4表示数据有4个特征,n_classes=2表示二分类问题,
# n_informative=2表示其中2个特征是有信息的,n_redundant=1表示1个特征是冗余的,n_repeated=0表示没有重复的特征,
# random_state=0表示随机种子,保证结果可重复
X, y = make_classification(n_samples=100, n_features=4, n_classes=2, n_informative=2, n_redundant=1, n_repeated=0,random_state=0)# 数据集划分
# 将数据集划分为训练集和测试集,test_size=0.2表示测试集占20%,random_state=42保证划分结果可重复
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# Sigmoid 函数
# 用于将预测值映射到0到1之间,作为概率解释
def sigmoid(z):return 1 / (1 + np.exp(-z))# 损失函数
# 计算模型预测值与真实值之间的交叉熵损失
def compute_loss(y, y_pred):return -np.mean(y * np.log(y_pred) + (1 - y) * np.log(1 - y_pred))# 梯度下降实现逻辑回归
# 参数说明:X为特征数据,y为目标标签,learning_rate为学习率,n_iterations为迭代次数
# 返回值说明:weights为权重参数,bias为偏置参数
def logistic_regression(X, y, learning_rate=0.01, n_iterations=1000):m, n = X.shapeweights = np.zeros(n)bias = 0for _ in range(n_iterations):# 计算预测值z = np.dot(X, weights) + biasy_pred = sigmoid(z)# 计算梯度dw = (1 / m) * np.dot(X.T, (y_pred - y))db = (1 / m) * np.sum(y_pred - y)# 更新参数weights -= learning_rate * dwbias -= learning_rate * dbreturn weights, bias# 使用模型
# 训练逻辑回归模型,得到权重参数和偏置参数
weights, bias = logistic_regression(X_train, y_train)
# 对测试集进行预测
z = np.dot(X_test, weights) + bias
y_pred = (sigmoid(z) >= 0.5).astype(int)# 输出准确率
print("Accuracy:", accuracy_score(y_test, y_pred))

输出结果

Accuracy: 0.9

5. 多分类逻辑回归

逻辑回归也可以扩展到多分类问题,通过 一对多(One-vs-Rest)策略多项逻辑回归(Softmax Regression) 来处理多类别任务。

Softmax 函数

P(y=k|x) = \frac{e^{z_k}}{\sum_{j=1}^K e^{z_j}}

其中 z_k = w_k^T x + b_k,是类别 k 的得分。


6. 优缺点

优点
  1. 简单易用:实现简单,计算速度快。
  2. 结果解释性强:可以直接查看每个特征的权重。
  3. 适合小数据集:在小规模数据上效果良好。
缺点
  1. 线性可分性假设:当数据不可线性分割时,效果较差。
  2. 对异常值敏感:异常数据会极大影响模型。
  3. 扩展性有限:不能直接处理复杂的非线性关系。

7. 应用场景

  1. 分类问题
    • 邮件分类(垃圾邮件/正常邮件)。
    • 医疗诊断(患病/健康)。
  2. 分类问题
    • 文本情感分析(积极/消极/中立)。
    • 图片分类(猫/狗/鸟)。

8. 优化与改进

  1. 特征工程:通过多项式特征扩展、标准化等提高模型效果。
  2. 正则化:通过 L1(Lasso)或 L2(Ridge)正则化减少过拟合。
    • L1 可用于特征选择。
    • L2 提高模型的泛化能力。
  3. 核方法:结合核技巧(如支持向量机)处理非线性问题。

拓展内容

学习>机器学习分类任务: 二分类与多分类-CSDN博客

学习>机器学习学习>机器学习的基本分类-监督学习-逻辑回归-Sigmoid 函数-CSDN博客

学习>机器学习学习>机器学习的基本分类-监督学习-逻辑回归-对数似然损失函数(Log-Likelihood Loss Function)-CSDN博客


http://www.ppmy.cn/devtools/138202.html

相关文章

微信小程序Webview与H5通信

背景 近期有个微信小程序需要用到web-view嵌套H5的场景,该应用场景需要小程序中频繁传递数据到H5进行渲染,且需要保证页面不刷新。 由于微信小程序与H5之间的通信限制比较大,显然无法满足于我的业务场景 探索 由于微信小程序与webview的环境是…

田忌赛马五局三胜问题matlab代码

问题描述:在可以随机选择出场顺序的情况下,如果把比赛规则从三局两胜制改为五局三胜制,齐王胜出的概率是上升了还是下降了?五局三胜的赛制下,大家的马重新分为5个等级。前提条件仍然是齐王每种等级的马都优于田忌同等级…

docker入门学习笔记

docker的定义 docker是一个用于构建、运行、传送 应用程序的平台。 为什么要使用docker ? 在开发测试库环境中测试成功后,打包成集装箱,到生产环境也是能够成功的。而传统的安装方式不仅繁琐,并且在测试环境安装后,到…

添加事务,封装响应数据

(4)在业务中添加事务管理 创建平台事务管理器》实际是jdbc的事务 public class JdbcConfig {Beanpublic PlatformTransactionManager transactionManager(DataSource ds){DataSourceTransactionManager transactionManager new DataSourceTransacti…

Elasticsearch 分片分配策略讲解与实战

ES 分片分配策略讲解与实战 Elasticsearch分片分配策略讲解与实战:深入探索与实践指南1. 引言1.1 博客目的与读者定位1.2 Elasticsearch分片分配的重要性2. Elasticsearch分片分配基础2.1 分片与副本的概念2.2 分片分配的目标3. 分片分配策略详解3.1 分片分配的基本原则3.2 影…

课程学习 (Curriculum Learning) 介绍及其在 DeepSpeed 框架中的应用:中英双语

中文版 课程学习 (Curriculum Learning) 介绍及其在 DeepSpeed 框架中的应用 1. 课程学习的概念 课程学习(Curriculum Learning)是机器学习中的一种训练策略,灵感来源于人类学习的过程——从简单到复杂逐步掌握知识。具体来说,…

大厂也在用的分布式链路追踪:TraceIdFilter + MDC + Skywalking

痛点 查线上日志时,同一个 Pod 内多线程日志交错,很难追踪每个请求对应的日志信息。 日志收集工具将多个 Pod 的日志收集到同一个数据库中后,情况就更加混乱不堪了。 解决 TraceId MDC 前端每次请求时,添加 X-App-Trace-Id 请…

Python PDF转JPG图片小工具

Python PDF转JPG图片小工具 1.简介 将单个pdf装换成jpg格式图片 Tip: 1、软件窗口默认最前端,不支持调整窗口大小; 2、可通过按钮选择PDF文件,也可以直接拖拽文件到窗口; 3、转换质量有5个档位,(0.25&a…