【漫话机器学习系列】054.极值(Extrema)

server/2025/1/24 4:43:36/

极值(Extrema)

定义

极值是数学分析和优化问题中的一个核心概念,指函数在某个定义域内取得的最大值或最小值。根据极值的性质,可以将其分为两类:

  1. 局部极值(Local Extrema):函数在某点附近的最大值或最小值。
  2. 全局极值(Global Extrema):函数在整个定义域内的最大值或最小值。

分类
  1. 局部极大值(Local Maximum)
    • 若在点 x = a 附近存在某邻域,使得对任意 x 在该邻域内,满足 f(x) ≤ f(a),则称 f(a) 是局部极大值。
  2. 局部极小值(Local Minimum)
    • 若在点 x = a 附近存在某邻域,使得对任意 x 在该邻域内,满足 f(x) ≥ f(a),则称 f(a) 是局部极小值。
  3. 全局极大值(Global Maximum)
    • 若对于函数定义域内的所有 x,都满足 f(x) ≤ f(a),则称 f(a) 是全局极大值。
  4. 全局极小值(Global Minimum)
    • 若对于函数定义域内的所有 xxx,都满足 f(x) ≥ f(a),则称 f(a) 是全局极小值。

数学条件

设函数 f(x) 在点 x = c 处可导,那么:

  1. 一阶导数条件
    • 如果 f'(c) = 0,则 x = c 是一个极值点的候选点。
  2. 二阶导数条件
    • 若 f''(c) > 0,则 f(x) 在 x = c 处取得局部极小值。
    • 若 f''(c) < 0,则 f(x) 在 x = c 处取得局部极大值。
    • 若 f''(c) = 0,无法判断极值,需要更高阶导数或其他方法。

几何解释

在函数图像上:

  • 极大值对应于“峰值”点,图像局部上凸。
  • 极小值对应于“谷底”点,图像局部下凹。

求解方法
  1. 解析方法
    • 通过求解一阶导数 f'(x) = 0 找到驻点。
    • 检查驻点处的二阶导数 f''(x) 或函数变化趋势以确认极值类型。
  2. 数值方法
    • 使用优化算法(如梯度下降或牛顿法)逼近极值点。

应用场景
  1. 优化问题
    • 机器学习中,用于找到损失函数的最小值或最大值。
  2. 物理学
    • 极值用于确定系统的稳态(如势能最小化)。
  3. 经济学
    • 极值分析可用于寻找利润最大化或成本最小化的策略。
  4. 工程领域
    • 用于设计系统的最佳性能或负载条件。

代码示例

以下是 Python 中使用 sympy 计算极值的示例:

import sympy as sp# 定义变量和函数
x = sp.Symbol('x')
f = x**3 - 6*x**2 + 9*x + 15# 求一阶导数和二阶导数
f_prime = sp.diff(f, x)
f_double_prime = sp.diff(f_prime, x)# 求驻点
critical_points = sp.solve(f_prime, x)# 判断极值类型
for point in critical_points:second_derivative = f_double_prime.subs(x, point)if second_derivative > 0:print(f"x = {point} 是局部极小值")elif second_derivative < 0:print(f"x = {point} 是局部极大值")else:print(f"x = {point} 无法通过二阶导数判断")
运行结果 
x = 1 是局部极大值
x = 3 是局部极小值


总结

极值是分析函数行为的重要工具,广泛应用于优化、建模和决策中。通过数学条件和数值方法,可以有效地识别和验证极值点,从而指导实际问题的求解。


http://www.ppmy.cn/server/160940.html

相关文章

西安交通大学COMP551605人工智能2024.1.3期末考试

西安交通大学COMP551605人工智能2024.1.3期末考试 有关的课程资料我的笔记放Github上了&#xff0c;欢迎来star 名词解释&#xff0c;5分一个&#xff0c;20分 知识阈值理论 限制策略 最一般合一 过拟合 简答题&#xff0c;8分一个&#xff0c;24分 归结演绎的含义和一…

Nginx正向代理配置

Nginx 正向代理默认只支持 http 协议&#xff0c;不支持 https 协议&#xff0c;需借助 "ngx_http_proxy_connect_module" 模块实现 https 正向代理&#xff0c;详情请参考&#xff1a; https://github.com/chobits/ngx_http_proxy_connect_module 安装Nginx某些模块…

机器学习(4):决策树

1 介绍 决策树&#xff08;Decision Tree&#xff09;&#xff0c;它是一种以树形数据结构来展示决策规则和分类结果的模型&#xff0c;作为一种归纳学习算法&#xff0c;其重点是将看似无序、杂乱的已知数据&#xff0c;通过某种技术手段将它们转化成可以预测未知数据的树状模…

前端面试题-问答篇-5万字!

1. 请描述CSS中的层叠&#xff08;Cascade&#xff09;和继承&#xff08;Inheritance&#xff09;规则&#xff0c;以及它们在实际开发中的应用。 在CSS中&#xff0c;层叠&#xff08;Cascade&#xff09;和继承&#xff08;Inheritance&#xff09;是两个关键的规则&#x…

从C语言看数据结构和算法:复杂度决定性能

大家好&#xff0c;这里是小编的博客频道 小编的博客&#xff1a;就爱学编程 很高兴在CSDN这个大家庭与大家相识&#xff0c;希望能在这里与大家共同进步&#xff0c;共同收获更好的自己&#xff01;&#xff01;&#xff01; 本文目录 引言正文一 时间复杂度1. 常数时间复杂度…

快手极速版如何查找ip归属地?怎么关掉

在数字化时代&#xff0c;个人隐私的保护成为了广大用户关注的焦点。快手极速版作为一款备受欢迎的短视频应用&#xff0c;其IP归属地的显示与关闭功能自然也成了用户热议的话题。本文将详细介绍如何在快手极速版中查找IP归属地以及如何关闭IP属地显示&#xff0c;帮助用户更好…

Swift 中 Codable 和 Hashable 的理解

最近初学Swift&#xff0c;碰到下面的代码脑袋里冒出疑问&#xff1a;Codable 和 Hashable是啥&#xff1f;怎么理解&#xff1f; struct Landmark: Hashable, Codable {var id: Intvar name: Stringvar park: Stringvar state: Stringvar description: String }针对上面的疑问…

ChatGPT接入苹果全家桶:开启智能新时代

最近&#xff0c;科技界最重磅的消息莫过于ChatGPT正式接入苹果iOS生态系统&#xff01;这意味着苹果用户将能够直接在iPhone、iPad和Mac上体验到这款强大的AI代码生成器带来的便利&#xff0c;开启一个全新的智能时代。这篇文章将深入探讨ChatGPT与苹果生态的整合&#xff0c;…