基于 Nginx 的 CDN 基础实现

server/2025/2/13 1:51:17/

概览

本文是对基于Nginx的CDN网络的学习笔记，阅读的代码为：https://github.com/leandromoreira/cdn-up-and-running

其中，先确定CDN中的一些基础概念：

  • Balancer：负载均衡，即请求数据的流量最开始打到Balancer，由负载均衡算法确定流量导到后续Edge节点，即缓存边缘节点
  • Edge：边缘节点，即具有数据缓存，能够更快响应数据给回客户端的节点，在负载均衡和后端服务之间
  • Backend：后端节点，即实际存储数据的节点

本文阅读学习的仓库，通过Nginx构建所有节点，用到了以下属性

  • vhost_traffic_status：记录并存储每个节点的网络情况，包括处理状态码、处理时间
  • proxy_cache：缓存交互处理，包括缓存路径、过期时间、中断处理、缓存键值存储区域（共享内存）
  • nginx：使用nginx的基础功能，包括 server、location、proxy_pass、upstream 等
  • openresty：配合lua引擎使用的nginx扩展，包括脚本增强、set_by_lua、access_by_lua、balancer_by_lua、content_by_lua 等能力

另外，还是用到 prometheus 作为监控各节点的工具，使用 grafana 作为时间序列数据的可视化工具

实现

Balancer
# vi:syntax=nginx
events {worker_connections 1024;
}error_log stderr;http {resolver 127.0.0.11 ipv6=off;include generic_conf/setup_logging.conf;include generic_conf/lua_path_setup.conf;# 本节点的统计信息，请求时长、status状态等include generic_conf/basic_vts_setup.conf;# 缓存相关设置include generic_conf/setup_cache.conf;init_by_lua_block {loadbalancer = require "loadbalancer"loadbalancer.setup_server_list()}upstream backend {server 0.0.0.1;# 进行流量负载均衡，选定 edge 节点balancer_by_lua_block {loadbalancer.set_proper_server()}keepalive 60;}server {listen 8080;location / {# access 阶段解析dns，并获取 edge 列表，后续在本文件的 backend 进行负载均衡access_by_lua_block {loadbalancer.resolve_name_for_upstream()}# 代理到本文件的backend，进行负载均衡到 edge 节点proxy_pass http://backend;add_header X-Edge LoadBalancer;}# 可通过 /status 接口获取本节点的统计信息include generic_conf/basic_vts_location.conf;}
}

generic_conf/setup_cache.conf 缓存设置如下：

# /cache/ 指定缓存文件存储目录，levels定义缓存目录结构，key_zone 定义存储缓存的键的共享内存区域
# max_size 为缓存最大大小，inactive表示缓存被视为非活的时间，use_temp_path表示不使用临时路径，用缓存目录
# 最终实现：zone_1 共享内存中，存储缓存的键key与数据对应的路径(/cache/中)，数据则实际缓存到本机 /cache/ 中
proxy_cache_path /cache/ levels=2:2 keys_zone=zone_1:10m max_size=10m inactive=10m use_temp_path=off;
# 多个请求尝试缓存同一资源，在 lock_timeout 时间窗口内只请求backend一次，其余请求等待资源
proxy_cache_lock_timeout 2s;
# 缓存数据过期或backend失效，允许使用过期的缓存数据
proxy_cache_use_stale error timeout updating;
# 请求backend的超时时间，超过则关闭nginx连接
proxy_read_timeout 2s;
# nginx 向客户端发送数据的超时时间，超过则关闭连接
proxy_send_timeout 2s;
# 如果客户端中止连接，nginx 将继续与后端完成数据获取与缓存本地
proxy_ignore_client_abort on;
Edge实现
# vi:syntax=nginx
events {worker_connections 1024;
}error_log stderr;http {resolver 127.0.0.11 ipv6=off;include generic_conf/setup_logging.conf;include generic_conf/lua_path_setup.conf;# 本节点的统计信息，请求时长、status状态等include generic_conf/basic_vts_setup.conf;# 设置缓存交互策略include generic_conf/setup_cache.conf;# 数据后端，即从哪获取数据缓存到 edge 节点upstream backend {server backend:8080;server backend1:8080;keepalive 10;  # connection pool}server {listen 8080;location / {# 将参数 cache_key 设置为 uriset_by_lua_block $cache_key {return ngx.var.uri}# access 阶段模拟 edge 节点延时access_by_lua_block {local edge = require "edge"edge.simulate_load()}# 获取实际数据的后端 backend 服务器proxy_pass http://backend;# edge 节点缓存处理策略，根据 cache_key 参数获取缓存include generic_conf/define_cache.conf;add_header X-Edge Server;}# 获取当前节点统计信息的接口include generic_conf/basic_vts_location.conf;}
}

edge节点具体实现了缓存策略，根据请求uri作为缓存key，划定某个文件路径存储实际数据value，使用共享内存记录key和缓存路径的映射，利用nginx实现缓存功能

generic_conf/define_cache.conf 缓存处理策略实现：

# 启用名为 zone_1 的共享缓存区域，来存储和检索缓存键key和实际数据的路径映射
proxy_cache zone_1;
# 设置缓存的键为 cache_key 变量
proxy_cache_key $cache_key;
# 启用缓存锁定。当多个请求同时尝试获取同一资源时，只有一个请求会去后端服务器获取数据，其他请求将等待该请求完成
proxy_cache_lock on;
# 设置与后端服务器的 HTTP 协议版本为 1.1，这通常用于启用持久连接
proxy_http_version 1.1;
# 清空 Connection 头
proxy_set_header Connection "";
# 启用代理缓冲。这意味着 Nginx 会在发送响应给客户端之前，先将后端服务器的响应全部接收并缓冲
proxy_buffering on;
# 设置用于缓冲响应的缓冲区数量和大小
proxy_buffers 16 16k;
# 添加一个参数到Header，表示是否命中缓存、正在更新
add_header X-Cache-Status $upstream_cache_status;
Backend
# vi:syntax=nginx
events {worker_connections 1024;
}error_log stderr;http {include generic_conf/setup_logging.conf;include generic_conf/lua_path_setup.conf;# 本节点的统计信息，请求时长、status状态等include generic_conf/basic_vts_setup.conf;server {listen 8080;location / {# 获取数据，模拟延时并返回数据、过期时间、数据键keycontent_by_lua_block {local backend = require "backend"backend.generate_content()}}# 可通过 /status 接口获取本节点的统计信息include generic_conf/basic_vts_location.conf;}
}

backend.generate_content() 后端节点的具体实现：

local simulations = require "simulations"
local backend = {}backend.generate_content = function()-- 模拟 backend 节点延时simulations.for_work_longtail(simulations.profiles.backend)-- 返回数据头，根据 max_age 参数设置过期时间ngx.header['Content-Type'] = 'application/json'ngx.header['Cache-Control'] = 'public, max-age=' .. (ngx.var.arg_max_age or 10)-- 返回数据，记录了 key，即请求 uringx.say('{"service": "api", "value": 42, "request": "' .. ngx.var.uri .. '"}')
endreturn backend

总结

利用Nginx特性实现简易CDN模型，简明概要了CND各个重要模块的主要功能


http://www.ppmy.cn/server/167209.html

相关文章

QT修仙笔记 事件大圆满 闹钟大成

QT修仙笔记 事件大圆满 闹钟大成

学习笔记 牛客刷题 闹钟 时钟显示 通过 QTimer 每秒更新一次 QLCDNumber 显示的当前时间，格式为 hh:mm:ss，实现实时时钟显示。 闹钟设置 使用 QDateTimeEdit 让用户设置闹钟时间，可通过日历选择日期，设置范围为当前时间到未来 …
阅读更多...
C语言-结构体

C语言-结构体

1.共用体: union //联合--共用体 早期的时候，计算机的硬件资源有限， 能不能让多个成员变量 公用同一块空间 //使用方式 类似 结构体 --- 也是构造类型 struct 结构体名 { 成员变量名 }; union 共用体名 { 成员变量名 }; //表示构造了一个共用体…
阅读更多...
浏览器渲染方式及性能优化

浏览器渲染方式及性能优化

浏览器的渲染方式和性能优化主要涉及 HTML 解析、CSS 解析、JavaScript 执行、布局（Layout）、绘制（Painting） 和 合成（Compositing） 等关键环节。以下是详细解析及优化方案： 一、浏览器渲染流程…
阅读更多...
prim算法 kruskal算法

prim算法 kruskal算法

prim算法精讲 题目描述： 在世界的某个区域，有一些分散的神秘岛屿，每个岛屿上都有一种珍稀的资源或者宝藏。国王打算在这些岛屿上建公路，方便运输。 不同岛屿之间，路途距离不同，国王希望你可以规划建公路…
阅读更多...
C# 封送和远程编程介绍

C# 封送和远程编程介绍

.NET学习资料 .NET学习资料 .NET学习资料 在 C# 编程领域中，封送（Marshaling）和远程编程（Remote Programming）是两个极为重要的概念，它们为开发者提供了与不同环境、不同进程或不同机器上的代码进行交互的…
阅读更多...
NLP名词解释

NLP名词解释

序号 NLP层次 名词 解释 1 词法 分词/词性标注 一句话以词切分，NLP第一步，切分的词做词性标注，如动词、名词、谓词等。 实体识别 分词后的实体抽取识别，实体如地点、日期、人物等 实体链接 实体和实体组合链接的物理信…
阅读更多...
问卷数据分析|SPSS实操之独立样本T检验

问卷数据分析|SPSS实操之独立样本T检验

适用条件： 检验分类变量和定量变量之间的差异 分类变量只能为二分类变量，如性别 1.选择分析--比较平均值--独立样本检验 2. 在下方选择性别（分类变量） 3. 点击定义组，组1输入1，组2输入2 4.在上方填入定量…
阅读更多...
Hello Robot 推出Stretch 3移动操作机器人，赋能研究与商业应用

Hello Robot 推出Stretch 3移动操作机器人，赋能研究与商业应用

Hello Robot公司近日发布了其新一代开源移动操作机器人Stretch 3，这是一款高度灵活的机器人平台，专为机器人研究、教育实验和商业自动化设计。Stretch 3 结合了先进的移动机器人技术、灵巧操作能力和开源软件生态系统，为用户提供了一个功能强…
阅读更多...
最新文章

Copyright @ 2022~2023