【缓存与加速技术实践】Web缓存代理与CDN内容分发网络

server/2024/12/2 13:07:50/

文章目录

  • Web缓存代理
    • Nginx配置缓存代理
      • 详细说明
  • CDN内容分发网络
    • CDN的作用
    • CDN的工作原理
    • CDN内容的获取方式
    • 解决缓存集中过期的问题

Web缓存代理

作用:

  • 缓存之前访问过的静态网页资源,以便在再次访问时能够直接从缓存代理服务器获取,减少源服务器的负载压力。
  • 加快用户的访问速度。
  • 可以作为正向代理服务器,隐藏客户端的真实地址。
    常见的Web缓存代理应用:
  • 本地部署:Nginx、Squid、Varnish
  • 云环境使用:CDN

Nginx配置缓存代理

nginx">http {......# 配置缓存路径和相关参数proxy_cache_path /data/nginx/cache levels=1 keys_zone=my_cache:10m max_size=10g inactive=60m use_temp_path=off;# 缓存目录         目录层级   缓存共享内存区域的名称和大小   缓存数据上限    缓存失效时间    不存放临时文件upstream XXXX {        # 上游服务器数量 >= 2 时server IP:PORT;......}server {listen   IP:PORT;server_name  主机名;location 匹配静态网页路径 {proxy_cache my_cache;                                      # 指定使用的缓存共享内存区域的名称proxy_cache_valid 200 60m;                                 # 指定有效缓存的响应状态码和缓存时间proxy_cache_key $request_uri;                              # 指定缓存数据的key为请求的URL路径add_header Nginx_Cache_Status $upstream_cache_status;      # 添加响应头显示缓存状态,HIT命中缓存  MISS未命中proxy_pass http://XXXX;                                    # 设置未命中缓存时的代理转发}}
}

详细说明

  1. proxy_cache_path:

    • /data/nginx/cache: 指定缓存文件的存储目录。
    • levels=1:2: 缓存目录的层级结构。这里表示使用一级目录和二级子目录来组织缓存文件,有助于提高文件系统性能。
    • keys_zone=my_cache:10m: 定义一个缓存共享内存区域my_cache,大小为10MB,用于存储缓存键和元数据。
    • max_size=10g: 设置缓存的最大容量为10GB。
    • inactive=60m: 如果缓存文件在60分钟内未被访问,则被认为是无效的,并可以被删除。
    • use_temp_path=off: 禁用临时路径的使用,直接写入缓存目录。
  2. upstream XXXX:

    • 定义一个上游服务器组XXXX,包含多个上游服务器。Nginx会根据负载均衡策略(默认是轮询)将请求分发到这些服务器。
  3. server:

    • listen IP:PORT: 指定Nginx监听的IP地址和端口。
    • server_name 主机名: 指定服务器的主机名或域名。
  4. location:

    • 匹配特定的请求路径。
    • proxy_cache my_cache: 使用前面定义的my_cache缓存共享内存区域。
    • proxy_cache_valid 200 60m: 对HTTP状态码为200的响应设置60分钟的缓存有效期。
    • proxy_cache_key $request_uri: 设置缓存数据的键为请求的URL路径。
    • add_header Nginx_Cache_Status $upstream_cache_status: 添加一个响应头,显示缓存状态。
    • proxy_pass http://XXXX: 如果请求未命中缓存,则转发到上游服务器组XXXX进行处理。

CDN内容分发网络

CDN(Content Delivery Network)即内容分发网络,是一种利用分布式节点技术,在全球范围内部署服务器,将源站点服务器的内容发布并缓存到这些服务器上。当用户请求访问这些内容时,可以从最近的CDN节点获取,从而提高用户访问网站的响应速度和体验。

CDN的作用

  1. 缓存Web网站内容:CDN将源站点服务器的静态网页资源(如HTML、CSS、JavaScript、图片等)缓存到全球各地的节点上。
  2. 降低用户网络延迟:用户可以从最近的CDN节点获取所需内容,减少了传输延迟和网络拥塞。

CDN的工作原理

  1. 资源缓存:源站点服务器的静态网页资源首先被缓存到CDN的各个节点上。
  2. 用户请求:当用户请求访问某个资源时,其请求首先到达本地DNS服务器。
  3. DNS解析:本地DNS服务器将请求转发给CDN专用的DNS服务器,后者根据用户的IP地址和请求的URL,选择最靠近用户的CDN节点,并返回该节点的IP地址给用户。
  4. 资源分发:用户向所选的CDN节点发起请求,该节点检查自身缓存中是否有用户所需的资源。如果命中缓存,则直接将资源返回给用户;如果未命中缓存,则节点会向源站点服务器请求资源,获取后同步到自身缓存中,并返回给用户。

CDN内容的获取方式

  1. 用户访问触发:当用户直接访问资源时,CDN节点会检查缓存。如果命中缓存,则直接返回资源;如果未命中,则向源站点服务器请求资源并缓存
  2. 缓存预热:对于热点资源,可以在其上线前或上线时立即进行缓存预热。这通常是通过预设的脚本或工具来实现的,将热点资源主动推送到CDN的各个节点上,以确保用户访问时能够命中缓存

解决缓存集中过期的问题

缓存集中过期是指大量缓存内容在同一时间过期,导致CDN节点需要频繁地向源站点服务器请求资源并重新缓存。这会增加源站点服务器的负载压力,并可能导致用户访问延迟。

为了解决这个问题,可以采用二级缓存策略:

  1. 一级缓存:CDN节点上的缓存,通常具有较短的过期时间。
  2. 二级缓存:在CDN节点之后(如运营商网络或用户本地网络)增设一层缓存,具有较长的过期时间。当用户请求资源时,如果一级缓存未命中,则尝试从二级缓存中获取。如果二级缓存也未命中,则向源站点服务器请求资源并同步到一级和二级缓存中。

通过这种方式,可以分散缓存过期的压力,减少源站点服务器的负载,并提高用户访问资源的速度和体验。


http://www.ppmy.cn/server/140598.html

相关文章

leetcode hot100【LeetCode 22.括号生成】java实现

LeetCode 22.括号生成 题目描述 给定一个整数 n,生成所有由 n 对括号组成的有效括号组合。 有效括号组合需满足如下条件: 左括号的数量必须等于右括号的数量。在任何前缀中,左括号的数量不能小于右括号的数量。 示例: 输入&a…

selenium大量并发连接驱动超时

我的业务是根据数据生成一大片报表图,组成一个word文档,量大概10~100之间,挨个执行太慢了,15分钟左右,为了加快速度使用了多线程,而多线程又被机器速度限制,一旦跑的多了,就会有线程…

智能电网能源优化管理系统(Smart Grid Energy Optimization Management System, SGEOMS)

1.产品介绍 产品介绍方案 产品名称 智能电网能源优化管理系统(Smart Grid Energy Optimization Management System, SGEOMS) 主要功能 能源生产优化能源输送优化能源分配优化能源使用优化功能介绍 能源生产优化 具体作用:通过对现有能源生产过程的优化和建立新的能源生产…

sealos部署K8s,安装docker时master节点突然NotReady

1、集群正常运行中,在集群master-1上安装了dockerharbor,却发现master-1节点NotReady,使用的网络插件为 Cilium #安装docker和harbor(docker运行正常) rootmaster-1:/etc/apt# apt install docker-ce5:19.03.15~3-0~u…

PythonBase02

列表 list 定义 由一系列变量组成的可变序列容器。 列表内存 """ 列表内存图 15:40 练习:exercise04.py exercise05.py exercise06.py""" list01 ["张无忌&quo…

Github 2024-11-05 Python开源项目日报Top10

根据Github Trendings的统计,今日(2024-11-05统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量Python项目10HTML项目1TypeScript项目1系统设计指南 创建周期:2507 天开发语言:Python协议类型:OtherStar数量:241693 个Fork数量:42010 次…

【HarmonyOS】鸿蒙应用低功耗蓝牙BLE的使用心得 (二)

【HarmonyOS】鸿蒙应用低功耗蓝牙BLE的使用心得 (二) 一、前言 目前鸿蒙应用的实现逻辑,基本都是参考和移植Android端来实现。针对BLE低功耗蓝牙来说,在鸿蒙化的实现过程中。我们发现了,鸿蒙独有的优秀点&#xff0c…

Linux上的各种查询

在Linux中,有许多命令可以用于查询系统信息、文件和进程等。以下是一些常用的查询命令及其简要介绍: ls: 用途:列出目录中的文件和子目录。示例:ls -l(以详细格式显示)或 ls -a(包括隐藏文件&am…