关于AWS网络架构的思考

devtools/2025/1/18 20:13:00/

目录:
AWS概述
EMR Serverless
AWS VPC及其网络
关于AWS网络架构的思考

在AWS K8S中部署的业务,有不同的流量路径。

流量进入

客户端请求

普通的客户端流量流向从前到后是:

  1. 客户端
  2. 公司网关(endpoint)
  3. 业务的Endpoint Service
  4. Load Balancers(监听80和443)
  5. TargetGroupA(将LB的80端口请求转发到端口A),targetGroupB(将LB的443端口请求转发到端口B)。TargetGroup的实例是需要通过 Auto Scaling Group 来注册的。
  6. Ingress Nginx,该服务是Load Balancer类型,内部 endpoints 80,443,A 和 B 四个端口,外部 endpoints 是 80 和 443。
  7. Ingress 通过路由规则将流量转发给业务service,再经过4层的负载均衡将流量发给pod。

通过以上步骤客户端流量到达了服务端。其中1~6部都是公司通用平台负责完成,业务只需要定义好ingress路由规则即可。

网络请求

对于其他第三方从网络上进入的流量,需要通过 API Gateway 来转发到内部网络。其流量从前到后的路径是:

  1. API GW
  2. VPC Link (内含NLB)
  3. NLB(Network Load Balancer) 监听 80 端口
  4. TargetGroup(将LB的80端口请求转发到端口C),TargetGroup实例由Auto Scaling Group 注册。
  5. 业务Service改为NodePort类型,监听所有target group实例上C端口的请求。

通过以上步骤,网络流量就可以达到服务端。这部分全部都由业务方自己管理,其中第4步中 ASG 和 客户端请求的第5步的 ASG 是相同的,业务方只需要将其关联上就行:resource "aws_lb_target_group_attachment" "tg_http_attachment"

相同VPC内的其他服务

对于相同VPC内的其他服务,通过 Route53 将通过域名发出的请求转发到服务的 Endpoint,然后进入客户端请求的第3步。

流量到互联网

对于出去的流量,在 AWS 中有两种方式,一种是通过 NAT 出,一种是通过 Internet Gateway 直接出。

普通的 VPC 的子网是私有子网,不能直接与 Internet 通信,因此需要通过 NAT 转发到网络上。具体请参考博主另一篇文章 AWS VPC 网络。

由于流量从 NAT 出去的,所以网络的出口 ip 即 NAT 的 ip 地址。

如果 VPC 的子网是公有的,则可以直接与 Internet 通信,无需经过 NAT 转换。网络出口地址是 EC2 实例的 公有 ip 地址。

NAT 局限

正常服务到公网的流量走NAT就够了,但是如果服务需要大量建立与第三方某域名的连接,如代理服务,可能会出现 NAT 并发连接错误。举个例子来说,假设现在代理服务需要建立60万个连接来访问腾讯的某个域名,而该域名只能解析出5个ip地址。默认情况下,公有 NAT 网络只能关联2个弹性IP地址,每个弹性ip地址最多支持与唯一目标(由目标ip,端口和协议组合标识)建立55000个并发连接。因此两个弹性ip与5个目标ip最多同时建立 55000 * 2 * 5 = 550000 个连接。

在这种情况下,NAT 就会出现并发连接错误,即使只有55万个连接,这些连接也不是平均分配到不同目标的,显然也会出现并发连接错误。此时经 NAT 转发网络请求的方案是有问题的,可以考虑直接使用公有子网来访问网络。


http://www.ppmy.cn/devtools/151645.html

相关文章

浅谈云计算17 | 分布式存储

分布式存储 一、云存储系统结构模型1.1 存储层1.2 基础管理层1.3 应用接口层1.4 访问层 二、HDFS技术2.1 HDFS原理与架构2.1.1 架构组件2.1.2 数据存储与读取 2.2 HDFS特性分析2.2.1 容错性机制2.2.2 读写性能优化2.2.3 数据一致性保障 三、对等存储系统3.1 对等存储系统概述3.…

css 三角构建

使用 CSS 边框(Border)属性创建三角形 1. 原理 当一个元素的width和height都设为 0,并且将四个边框中的三个设置为透明(transparent),另一个边框设置为可见颜色时,就可以形成一个三角形。 2.…

Linux tomcat 日志压缩及定时删除

在目录/home/web/ 下新建packlog.sh #!/bin/bash#author:#date:#department:echo date %Y-%m-%d %H:%M:%S" 打包程序执行开始!";file_path/testeight_days_agodate -d 8 days ago %Y-%m-%dyesterdaydate -d yesterday %Y-%m-%decho $file_path,$eight_day…

Python与PyTorch的浅拷贝与深拷贝

1.Python赋值操作的原理 在python中,x something, 这样的赋值操作,准确的理解是:给存储something建立一个索引x (即存储地址), x通过访问something的存储内容,获得something的值。 在下面代码中&#xff…

加菲工具格式化XML:让数据呈现更清晰

加菲工具格式化XML:让数据呈现更清晰 在处理XML文件时,我们常常会遇到格式混乱、难以阅读的情况,这给数据的分析和处理带来了诸多不便。而加菲工具的XML格式化功能,就像是一位专业的数据整理师,能够迅速将杂乱无章的X…

长安“战疫”网络安全公益赛的一些随想

起因 今年刚进入大学,开始带校队,为了培养校队新成员,也就一直计划着和当地的一些高校合作交流,但是由于种种原因一直被搁置下来。正巧学校信息中心和四叶草有一个培训项目的合作,学校的网安协会也算是沾了光成为了培…

improve-gantt-elastic(vue2中甘特图实现与引入)

1.前言 项目开发中需要使用甘特图展示项目实施进度,左侧为表格计划,右侧为图表进度展示。wl-gantt-mater,dhtmlx尝试使用过可拓展性受到限制。gantt-elastic相对简单,可操作性强,基础版本免费。 甘特图(Gan…

【JVM-7】JVM 命令行工具 jstack 的使用和具体应用案例

在 Java 应用开发和运维中,排查线程问题(如死锁、线程阻塞、CPU 占用过高等)是确保应用性能和稳定性的关键。jstack 是 JDK 自带的一个命令行工具,用于生成 Java 虚拟机(JVM)的线程快照(Thread …