一、目的
如今2023了，大多数javaweb架构都是springboot微服务，一个前端功能请求后台可能是多个不同的服务共同协做完成的。例如用户下单功能，js转发到后台网关gateway服务，然后到鉴权spring-sercurity服务，然后到业务订单服务，然后到支付服务，后续还有发货、客户标签等等服务。
其中每个服务会启动多个实例做负载均衡，这样一来我们想看这个功能的完成流程日志，需要找到对应的服务器ip,日志文件在哪，其中又要确定具体负载转发到哪些台服务器上了。 如果是生产问题想要快速定位原因，需要一套解决方案！
二、涉及技术栈
- 基本架构：
spring cloud（springBoot+服务发现+网关+负载熔断等netflex）。本人目前使用的是springboot+eureka+gateway+springSercurity+openfeign+springConfig 配合业务功能涉及中间件redis、quartz、kafka、mysql、elasticsearch - 日志采集处理展现：ELK
- elasticsearch：海量json数据存储即席查询
- logstash： 源头采集数据（tcp、file、redis、mq）、格式化处理、推送es存储
- kibana： 官方es可视化交互curd工具
- 高效轻量数据采集工具： filebeat。 监控日志文件实时获取，可以推送到kafka
- kafka：接收filebeat数据，供logstash消费
- 多服务链路追踪：sleuth-zipkin。无代码侵入。简单来说就是打印的日志内容新增了tranceId、spanId。例如
三、流程
-
js发起ajax请求后台网关服务
-
网关服务集成了maven
<artifactId>spring-cloud-starter-zipkin</artifactId>依赖，会自动给当前的请求header中添加tranceId字段和spanId字段。这两个字段值随机生成。其中tranceId等于spanId在header中没有这两个字段的时候：例如tranceId=123a,spanId=123a 并添加到header中。并且打印日志的时候会把这个信息打印出来 -
之后网关根据请求路径转发到业务服务A，A服务的zipkin发现header中有tranceId信息，就只生成spanId,例如tranceId=123a,spanId=231b 并添加到header中。并且打印日志的时候会把这个信息打印出来。
-
A服务又rpc调用了B服务。B服务的zipkin发现header中有tranceId信息，就只生成spanId,例如tranceId=123a,spanId=342h 并添加到header中。并且打印日志的时候会把这个信息打印出来。
-
调用完结返回前端响应。
-
到此服务器的日志文件就会新增上述的日志。然后
filebeat工具监听到了各个服务的新日志，读取并推送到kafka -
消息队列的topic下生产新数据，
logstash工具提前配置并启动消费kafka, 处理并保存数据到elasticsearch。这里好奇为什么不直接通过filebeat直接推送es,或者springboot的log框架直接通过appender直接推送es呢？- 使用filebeat解耦，不影响springboot性能。并且轻量
- 使用kafka是应对大量并发数据，减少logstash压力
- 最终经过logstash推送es是为了加工格式化源数据，再保存到es,这样更加方便es查询日志
-
持久化es之后，通过
kibana查询日志，查询条件是tranceId=123a即可查询出完整的日志。
四、整合配置filebeat、kafka、logstash例子
我分了两部分，有些是部署在服务器上的jar,我就通过filebeat采集；有些是部署到本地笔记本上的服务，直接在logback.xml配置一个appender输出到kafka,不经过filebeat。
logstash.conf
input {kafka{bootstrap_servers => "node101:30701"client_id => "logstash_kafka_consumer_id"group_id => "logstash_kafka_consumer_group"auto_offset_reset => "latest" consumer_threads => 1decorate_events => true topics => ["logstash"]}}filter{
}output{elasticsearch{hosts => ["node101:30600"]index => "logstash-%{+YYYY.MM.dd}"}
}
