高可用系统建设指南

embedded/2024/11/26 2:41:51/

高可用系统建设指南

1. 容错设计

1.1 故障隔离

1.1.1 隔离层级与实战案例
a) 进程隔离
  • 独立部署的服务进程
  • 进程级别的资源限制
  • JVM参数优化示例：
# JVM内存与GC配置
JAVA_OPTS="-Xms4g -Xmx4g -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/opt/logs/heap-dump.hprof"
b) 容器隔离
  • Docker容器资源限制：
# docker-compose.yml
services:app:image: app:latestdeploy:resources:limits:cpus: '2'memory: 4Greservations:cpus: '1'memory: 2Gulimits:nofile:soft: 65536hard: 65536
c) 机房隔离
  • 跨机房部署架构：
# nginx负载均衡配置
upstream backend {# 主机房服务器server 10.0.1.1:8080 weight=10;server 10.0.1.2:8080 weight=10;# 备机房服务器server 10.0.2.1:8080 weight=5 backup;server 10.0.2.2:8080 weight=5 backup;# 健康检查check interval=3000 rise=2 fall=5 timeout=1000 type=http;check_http_send "HEAD / HTTP/1.0\r\n\r\n";check_http_expect_alive http_2xx http_3xx;
}
d) 地域隔离
  • 多地域部署策略：
    • 同城双活
    • 异地多活
    • 跨国部署
  • 进程隔离: 不同服务运行在独立的进程中
  • 机器隔离: 核心服务部署在不同的物理机或虚拟机上
  • 机房隔离: 跨机房部署，实现异地容灾
  • 地域隔离: 跨地域部署，实现更高级别的容灾
1.1.2 实现示例
@Service
public class IsolationService {@CircuitBreaker(name = "serviceA", fallbackMethod = "fallbackForServiceA")public Response callServiceA() {// 正常调用逻辑return serviceA.process();}public Response fallbackForServiceA(Exception e) {// 降级逻辑return Response.fallback("Service A is not available");}@Bulkhead(name = "resourcePool", maxConcurrent = 10)public void processWithResourceLimit() {// 限制并发访问的处理逻辑}
}

1.2 冗余备份

1.2.1 多副本策略
  • 主从复制: 实时同步数据到从节点
  • 双活部署: 多个活跃节点同时提供服务
  • 多活部署: 跨地域的多个活跃节点
1.2.2 实现方案
@Configuration
public class RedundancyConfig {@Beanpublic DataSource masterSlaveDataSource() {// 配置主从数据源return DataSourceBuilder.create().master("masterDB").slave("slaveDB1", "slaveDB2").readWriteSplitting(true).build();}@Beanpublic Cache distributedCache() {// 配置多副本缓存return CacheBuilder.newBuilder().replication(ReplicationStrategy.SYNC).copies(3).build();}
}

2. 限流降级

2.1 限流策略

2.1.1 限流方案实战
a) 接入层限流
  • Nginx限流配置：
# nginx.conf
# 定义限流区域
limit_req_zone $binary_remote_addr zone=one:10m rate=10r/s;server {location /api/ {# 突发流量缓冲配置limit_req zone=one burst=20 nodelay;# 并发连接数限制limit_conn perip 10;# 请求体大小限制client_max_body_size 2m;proxy_pass http://backend;}
}
b) 应用层限流
  • Spring Cloud Gateway限流：
spring:cloud:gateway:routes:- id: limit_routeuri: http://localhost:8080predicates:- Path=/api/**filters:- name: RequestRateLimiterargs:redis-rate-limiter.replenishRate: 10redis-rate-limiter.burstCapacity: 20redis-rate-limiter.requestedTokens: 1
c) 分布式限流
  • Redis实现分布式限流：
@Service
public class RedisRateLimiter {@Autowiredprivate StringRedisTemplate redisTemplate;public boolean isAllowed(String key, int permits, int timeWindow) {String script = "local current = redis.call('incr',KEYS[1]) " +"if tonumber(current) == 1 then " +"redis.call('expire',KEYS[1],ARGV[1]) " +"end " +"return current <= tonumber(ARGV[2])";return Boolean.TRUE.equals(redisTemplate.execute(new DefaultRedisScript<>(script, Boolean.class),Collections.singletonList(key),String.valueOf(timeWindow),String.valueOf(permits)));}
}
d) 实践经验
  • 限流阈值确定
@Component
public class DynamicRateLimiter {// 基于系统负载动态调整限流阈值@Scheduled(fixedRate = 5000)public void updateRateLimit() {double systemLoad = getSystemLoad();int connectionCount = getTomcatActiveConnections();// 动态计算限流阈值int threshold = calculateThreshold(systemLoad, connectionCount);updateLimitThreshold(threshold);}private int calculateThreshold(double systemLoad, int connections) {if (systemLoad > 0.8 || connections > 1000) {return 50;  // 高负载时降低阈值} else if (systemLoad > 0.6 || connections > 800) {return 100; // 中等负载}return 200;    // 正常负载}
}
  • 计数器法: 固定时间窗口内限制请求数量
  • 滑动窗口: 更平滑的请求控制
  • 漏桶算法: 固定速率处理请求
  • 令牌桶算法: 允许一定突发流量
2.1.2 实现示例
@Component
public class RateLimiterService {private final RateLimiter rateLimiter = RateLimiter.create(100.0); // 每秒100个请求public Response processRequest(Request request) {if (!rateLimiter.tryAcquire(100, TimeUnit.MILLISECONDS)) {return Response.reject("Rate limit exceeded");}return processNormally(request);}@SlidingWindowRateLimit(window = "1m", limit = 1000)public void slidingWindowExample() {// 使用注解方式实现滑动窗口限流}
}

2.2 降级策略

2.2.1 降级方案
  • 功能降级: 关闭非核心功能
  • 性能降级: 降低服务质量但保证可用
  • 数据降级: 返回缓存数据或默认值
2.2.2 实现方案
@Service
public class DegradationService {@HystrixCommand(fallbackMethod = "fallbackMethod",commandProperties = {@HystrixProperty(name = "execution.isolation.thread.timeoutInMilliseconds", value = "1000"),@HystrixProperty(name = "circuitBreaker.requestVolumeThreshold", value = "20"),@HystrixProperty(name = "circuitBreaker.errorThresholdPercentage", value = "50"),@HystrixProperty(name = "circuitBreaker.sleepWindowInMilliseconds", value = "5000")})public Result process() {// 正常业务逻辑return businessService.process();}public Result fallbackMethod() {// 降级逻辑return Result.degraded("Service degraded");}
}

3. 监控告警

3.1 监控指标体系

3.1.1 监控体系建设
a) 监控架构
                                    ┌─────────────┐│   Grafana   │└─────────────┘↑┌─────────────┐│ Prometheus  │└─────────────┘↑┌─────────────┬─────────────┬─────────────┐│   Node      │    JVM      │   Business  ││  Exporter   │  Exporter   │  Metrics    │└─────────────┴─────────────┴─────────────┘
b) 指标采集实现
  • Prometheus配置：
# prometheus.yml
global:scrape_interval: 15sevaluation_interval: 15sscrape_configs:- job_name: 'spring-boot-app'metrics_path: '/actuator/prometheus'static_configs:- targets: ['localhost:8080']- job_name: 'node-exporter'static_configs:- targets: ['localhost:9100']- job_name: 'jmx-exporter'static_configs:- targets: ['localhost:9404']# 告警规则配置
rule_files:- 'alert.rules'
c) 核心指标定义
  • 系统层指标：
# node_exporter指标
system_metrics:- name: node_cpu_seconds_totalhelp: CPU使用时间type: counter- name: node_memory_MemAvailable_byteshelp: 可用内存type: gauge- name: node_disk_io_time_seconds_totalhelp: 磁盘IO时间type: counter- name: node_network_transmit_bytes_totalhelp: 网络发送字节数type: counter
  • JVM层指标：
# JVM监控指标
jvm_metrics:- name: jvm_memory_used_byteshelp: JVM内存使用labels: [area]- name: jvm_gc_pause_seconds_counthelp: GC暂停次数labels: [action]- name: jvm_threads_stateshelp: 线程状态labels: [state]
  • 应用层指标：
@Configuration
public class MetricsConfig {@BeanMeterRegistry meterRegistry() {// 自定义业务指标return new CompositeMeterRegistry().add(new SimpleMeterRegistry()).add(new PrometheusMeterRegistry(PrometheusConfig.DEFAULT));}@Beanpublic Timer requestTimer(MeterRegistry registry) {return Timer.builder("http.server.requests").tags("uri", "/api/v1/users").register(registry);}@Beanpublic Counter errorCounter(MeterRegistry registry) {return Counter.builder("application.errors").tags("type", "business").register(registry);}
}
  • 基础指标: CPU、内存、磁盘、网络
  • JVM指标: 堆内存、GC、线程池
  • 应用指标: QPS、响应时间、错误率
  • 业务指标: 订单量、支付成功率、用户活跃度
3.1.2 监控配置
monitoring:metrics:- name: "application_qps"type: "counter"labels: ["service", "endpoint"]- name: "response_time"type: "histogram"buckets: [10, 50, 100, 200, 500]- name: "error_rate"type: "gauge"labels: ["service", "error_type"]health_check:endpoints:- name: "database"type: "tcp"address: "db:3306"interval: "30s"timeout: "5s"- name: "redis"type: "tcp"address: "redis:6379"interval: "30s"timeout: "5s"

3.2 告警系统

3.2.1 告警策略
  • 阈值告警: 指标超过阈值触发
  • 趋势告警: 指标异常变化趋势
  • 组合告警: 多个条件组合判断
3.2.2 告警配置
alert_rules:- name: "high_error_rate"condition: "error_rate > 0.01"duration: "5m"severity: "critical"channels:- "email"- "sms"- "webhook"- name: "service_unavailable"condition: "up == 0"duration: "1m"severity: "critical"channels:- "phone"- "sms"- name: "high_latency"condition: "response_time_p99 > 1000"duration: "10m"severity: "warning"channels:- "email"

3.3 应急响应

3.3.1 响应流程
  1. 问题发现: 监控告警触发
  2. 快速响应: 执行预案
  3. 问题诊断: 收集日志和现场信息
  4. 解决问题: 执行修复操作
  5. 复盘总结: 分析原因并改进
3.3.2 预案示例
emergency_plans:service_degradation:- step: "验证告警"action: "确认监控数据真实性"timeout: "5m"- step: "降级服务"action: "启用降级开关"timeout: "2m"- step: "扩容资源"action: "增加服务实例"timeout: "10m"- step: "观察恢复"action: "监控服务指标"timeout: "15m"data_inconsistency:- step: "停止写入"action: "开启只读模式"timeout: "1m"- step: "数据核对"action: "运行一致性检查"timeout: "30m"- step: "数据修复"action: "执行修复脚本"timeout: "60m"

4. 最佳实践

4.1 设计原则

  1. 故障无害化

    • 做好容错和降级
    • 保护核心功能
    • 避免连锁反应

  2. 可观测性

    • 全面的监控覆盖
    • 详细的日志记录
    • 分布式追踪

  3. 预案完备性

    • 制定完整预案
    • 定期演练
    • 持续优化改进

4.2 运维最佳实践

4.2.1 变更管理流程
通过
拒绝
成功
失败
成功
失败
变更申请
变更评审
预发布环境测试
测试通过
灰度发布
灰度验证
全量发布
回滚
变更确认
问题复盘
4.2.2 发布策略实践
  1. 蓝绿发布
# Kubernetes蓝绿部署配置
apiVersion: apps/v1
kind: Deployment
metadata:name: app-blue
spec:replicas: 3selector:matchLabels:app: myappversion: bluetemplate:metadata:labels:app: myappversion: bluespec:containers:- name: myappimage: myapp:1.0
---
apiVersion: apps/v1
kind: Deployment
metadata:name: app-green
spec:replicas: 3selector:matchLabels:app: myappversion: greentemplate:metadata:labels:app: myappversion: greenspec:containers:- name: myappimage: myapp:2.0
  1. 金丝雀发布
@Configuration
public class GrayReleaseConfig {@Beanpublic RouteLocator grayReleaseRoute(RouteLocatorBuilder builder) {return builder.routes().route("gray_release", r -> r.weight("group1", 90).uri("lb://service-old-version").weight("group2", 10).uri("lb://service-new-version")).build();}
}
4.2.3 容量规划方案
  1. 资源预估
public class CapacityPlanner {// 计算所需机器数量public int calculateRequiredServers(double peakQPS,           // 峰值QPSdouble avgResponseTime,    // 平均响应时间(ms)double maxCpuUsage,       // 最大CPU使用率double safetyBuffer       // 安全系数) {// 单机极限QPS = 1000(1秒) / 响应时间(ms) * CPU核心数 * CPU目标利用率double singleServerMaxQPS = (1000 / avgResponseTime) * Runtime.getRuntime().availableProcessors() * maxCpuUsage;// 考虑安全系数return (int) Math.ceil((peakQPS / singleServerMaxQPS) * (1 + safetyBuffer));}
}
  1. 自动扩缩容
# Kubernetes HPA配置
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:name: myapp-hpa
spec:scaleTargetRef:apiVersion: apps/v1kind: Deploymentname: myappminReplicas: 3maxReplicas: 10metrics:- type: Resourceresource:name: cputarget:type: UtilizationaverageUtilization: 70- type: Resourceresource:name: memorytarget:type: UtilizationaverageUtilization: 80behavior:scaleUp:stabilizationWindowSeconds: 180scaleDown:stabilizationWindowSeconds: 300
4.2.4 应急处理
# 应急预案执行清单
emergency_response:high_load:- step: "开启保护模式"actions:- "启用静态页面"- "开启结果缓存"- "限制非核心接口"- step: "扩容资源"actions:- "增加应用节点"- "扩展数据库连接池"- "提升缓存容量"- step: "问题定位"actions:- "分析监控指标"-- 分批发布- 灰度策略- 快速回滚机制2. **容量规划**- 资源预留- 弹性伸缩- 压力测试3. **团队协作**- 明确责任人- 建立值班制度- 知识沉淀## 5. 总结高可用系统建设是一个持续改进的过程，需要从以下几个方面持续投入：1. **架构设计**- 合理的容错方案- 有效的限流降级- 完善的监控告警2. **运维保障**- 规范的变更流程- 完备的预案机制- 及时的问题响应3. **持续优化**- 技术演进- 经验总结- 最佳实践沉淀---
如果你觉得这篇文章有帮助，欢迎点赞转发，也期待在评论区看到你的想法和建议！👇咱们下一期见！

http://www.ppmy.cn/embedded/140528.html

相关文章

修复HIve表乱码问题

修复HIve表乱码问题

修改数据库编码 # 修改已存在的hive元数据库&#xff0c;字符编码格式为utf8mb4 mysql> alter database hive character set utf8mb4; # 进入hive元数据库 mysql> use hive;# 查看元数据库字符编码格式 mysql> show variables like character_set_database; 修改…
阅读更多...
单片机电路基本知识

单片机电路基本知识

单片机电路基本知识 MCU(C51) 概念&#xff1a;应用实例家用电子&#xff0c;汽车电子&#xff0c;嵌入式系统&#xff0c;低成本&#xff0c;低功耗&#xff0c;小型化&#xff0c;通常使用c语言或者汇编语言&#xff0c;用于家用电器控制&#xff0c;智能家居&#xff0c;汽…
阅读更多...
Windows RDP连接Ubuntu桌面

Windows RDP连接Ubuntu桌面

Windows RDP连接Ubuntu桌面 文章目录 Windows RDP连接Ubuntu桌面1. 安装 RDP 服务器2. 配置 Xfce4 桌面3. 配置 xrdp4. 启动 xrdp 服务&#xff1a;5. 允许通过防火墙&#xff08;可选&#xff09;6. 连接到RDP服务器7. 参考博客 1. 安装 RDP 服务器 在Ubuntu系统上&#xff0…
阅读更多...
OpenAI震撼发布：桌面版ChatGPT，Windows macOS双平台AI编程体验！

OpenAI震撼发布：桌面版ChatGPT，Windows macOS双平台AI编程体验！

【雪球导读】 「OpenAI推出ChatGPT桌面端」 OpenAI重磅推出ChatGPT桌面端&#xff0c;全面支持Windows和macOS系统&#xff01;这款新工具为用户在日常生活和工作中提供了前所未有的无缝交互体验。对于那些依赖桌面端进行开发工作的专业人士来说&#xff0c;这一更新带来了令人…
阅读更多...
湖北某高校联合开源网安打造协同育人新范式，推动智能网联汽车行业可持续发展

湖北某高校联合开源网安打造协同育人新范式，推动智能网联汽车行业可持续发展

某高校是由武汉市人民政府主办的高等院校&#xff0c;课程涉足新一代信息技术&#xff08;光芯屏端网&#xff09;、高端装备、人工智能、网络安全等产业板块&#xff0c;构建以软件技术、工业机器人技术为引领的专业群建设格局。近年来&#xff0c;该高校将课程与智能网联汽车…
阅读更多...
应急响应靶机——linux1

应急响应靶机——linux1

载入虚拟机&#xff0c;打开虚拟机&#xff0c;上网获取到密码是defend&#xff1a; 登录进去后发现桌面有个“题解”文件夹&#xff0c;里面有两个文件&#xff1a; 需要收集以下信息&#xff1a; 1、攻击者IP地址 2、三个flag su登录root用户&#xff08;密码&#xff1a;d…
阅读更多...
【C++】static修饰的“静态成员函数“--静态成员在哪定义?静态成员函数的作用?

【C++】static修饰的“静态成员函数“--静态成员在哪定义?静态成员函数的作用?

声明为static的类成员称为类的静态成员&#xff0c;用static修饰的成员变量&#xff0c;称之为静态成员变量&#xff1b;用 static修饰的成员函数&#xff0c;称之为静态成员函数。静态成员变量一定要在类外进行初始化 一、静态成员变量 1)特性 所有静态成员为所有类对象所共…
阅读更多...
无插件直播流媒体音视频播放器EasyPlayer.js播放器的g711系列的音频，听起来为什么都是杂音

无插件直播流媒体音视频播放器EasyPlayer.js播放器的g711系列的音频，听起来为什么都是杂音

在数字化时代&#xff0c;流媒体播放器已成为信息传播和娱乐消遣的重要工具。随着技术的进步&#xff0c;流媒体播放器的核心技术和发展趋势不断演变&#xff0c;以满足用户对于无缝播放、低延迟和高画质的需求。 EasyPlayer播放器属于一款高效、精炼、稳定且免费的流媒体播放…
阅读更多...
最新文章

Copyright @ 2022~2023