现象
-
我们信控平台，需要实时展示信号灯灯态（红黄绿、倒计时等）
-
当灯态变化时，前端信号机设备会通过socket协议将消息推送给我们的通信服务，通信服务将消息解析处理后，关联路口信息，再把信息通过socket广播推送给浏览器
-
当用户访问平台时，打开首页，就一直会接收到灯态推送，再在界面上实时渲染，可以实时查看灯态
-
平台更新部署后，发现界面上的倒计时没有了，查看了下数据，发现数据库里的数据是对的
-
F12打开开发者模式，筛选“socket.io”，发现消息接收502了（很难复现，没有当时的截图，截了个正常的）
-
查看nginx日志，发现报错如下（部分）：
"GET /socket.io/ HTTP/1.1" 502 559 [error] 24#24: *1 connect() failed (111: Connection refused) while connecting to upstream
2023/06/26 13:50:12 [error] 24#24: *1839 connect() failed (111: Connection refused) while connecting to upstream, client: 172.16.1.96, server: 172.16.1.100, request: "GET /socket.io/?EIO=3&transport=polling&t=OZsGAi0 HTTP/1.1", upstream: "http://172.18.0.12:7754/socket.io/?EIO=3&transport=polling&t=OZsGAi0", host: "172.16.1.100", referrer: "http://172.16.1.100/main/live-view/map"
解决
- 我们的nginx是使用docker部署的，docker-compose里配置如下：
# nginx服务，静态文件访问和反向代理nginx:image: nginx:1.20.2container_name: nginxports:- 80:80 #信控前端depends_on:- gateway-app- data-center-appvolumes:- ./volumes/nginx-html:/usr/share/nginx/html- ./volumes/nginx-config:/etc/nginx/conf.d- /etc/localtime:/etc/localtimeenvironment:- TZ=Asia/Shanghairestart: always
- 百度了一堆，没发现问题
- 这个错误通常是因为Nginx无法连接到后端的upstream服务。可能的原因包括：
- upstream服务挂掉了或未启动
- 防火墙阻止了Nginx连接upstream服务
- upstream服务的IP地址或端口号配置错误
- upstream服务只监听了本地地址（如127.0.0.1），而Nginx尝试连接外部地址
- 解决方法也主要是针对以上排查，主要排查了下网络，没发现问题
- 确认upstream服务是否正常运行，尝试手动连接upstream服务；
- 检查防火墙设置，确保允许Nginx连接upstream服务；
- 检查Nginx配置文件中upstream服务的IP地址或端口号是否正确；
- 如果upstream服务只监听了本地地址，需要使用IP转发或者配置upstream服务监听所有地址。
- 试着把nginx 重启了一下，发现重启后恢复正常了
- 这个是偶发现象，部署更新平台时偶尔会出现，但不是必现，很难重现。后续也观察了下，没有重启部署操作时，一直没出过此问题
- 我发现偶尔出现的时候，是因为应该服务重新部署了，nginx没有重启，但是也有一起使用
docker-compose up重启的，怀疑和启动顺序有关系 - 后续改进了部署更新的脚本，部署其他服务结束时，重启一下nginx。然后部署完成后，再检查一下平台信号机状态是否已经上报，没有则重启一下服务器
- 正常推送，日志如下：
172.16.1.96 - - [26/Jun/2023:13:51:33 +0800] "GET /socket.io/?EIO=3&transport=polling&t=OZsGUNW&sid=a8726ad4-a4f8-420f-8ffe-e27ff82c6a69 HTTP/1.1" 200 42 "http://172.16.1.100/main/live-view/map" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36" "-"
