GORM数据库连接池对接Prometheus

news/2024/9/23 6:22:34/

一、背景与介绍

        Golang的database/sql包定了关于操作数据库的相关接口,但是没有去做对应数据库的实现。这些实现是预留给开发者或者对应厂商进行实现的。

        其中让我比较关注的是Golang的sql包有没有实现连接池pool的机制呢?  毕竟Golang是静态语言,类似Java我们看到很多连接池的实现例如阿里巴巴的Apache druid。给开发者提供了一个高效的数据库连接池,提高应用的性能,连接池保持与后端数据库的长连接,在需要的时候直接使用即可。使用完毕后,将连接归还到连接池中。  并且还提供可视化界面,查看连接池的运行情况、连接数情况、活跃数、空闲数等等。

        我们通过源码可以发现,Golang底层的sql包是实现了数据库连接池的逻辑。但是Golang的连接池,都是隐式/惰性使用,只有在执行到查询SQL或者执行SQL的时候,才从pool中拿到连接进行执行, 不会像Java一样显式使用,需要从pool中拿到连接对象,再通过这个连接对象执行SQL.

二、GORM配置prometheus

1、对接Prometheus的目的

        GORM支持配置Promtehues的export, 这样我们再结合Grafana面板就能很直观地对Go程序的SQL连接池进行监控。

        可以监控到当前连接池的连接数有没有超过最大连接数、空闲连接数等等,由此来保证我们程序的正常运行。

        一般我们的Go项目都使用到GROM, 既然GORM实现了Prometheus的export,那么就使用内置功能进行测试。 其实我们也可以自己实现这个exporter, 通过DB对象的Stats()方法,返回连接池统计数据,再封装为exporter接口暴露出来即可。     

2、开启Promtheus exporter

db.go测试代码:

package dbimport ("gorm.io/driver/mysql""gorm.io/gorm""gorm.io/gorm/logger""gorm.io/plugin/prometheus""log""os""sync""time"
)var db *gorm.DB
var once sync.Once
var getDbConnErr error
var dsn = "root:root@tcp(127.0.0.1:3307)/test?charset=utf8mb4&parseTime=True&loc=Local"// GetDbConn 获取mysql连接
func GetDbConn() *gorm.DB {once.Do(func() {logfile, _ := os.OpenFile("./sql.log", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)newLogger := logger.New(log.New(logfile, "\r\n", log.LstdFlags), logger.Config{SlowThreshold: time.Second,LogLevel:      logger.Info,})db, getDbConnErr = gorm.Open(mysql.Open(dsn), &gorm.Config{Logger: newLogger,})if getDbConnErr != nil {panic(getDbConnErr)}db.Use(prometheus.New(prometheus.Config{DBName:          "db1",                       // 使用 `DBName` 作为指标 labelRefreshInterval: 15,                          // 指标刷新频率(默认为 15 秒)PushAddr:        "prometheus pusher address", // 如果配置了 `PushAddr`,则推送指标StartServer:     true,                        // 启用一个 http 服务来暴露指标HTTPServerPort:  8080,                        // 配置 http 服务监听端口,默认端口为 8080 (如果您配置了多个,只有第一个 `HTTPServerPort` 会被使用)MetricsCollector: []prometheus.MetricsCollector{&prometheus.MySQL{Prefix:        "gorm_mysql_stats_",Interval:      15,VariableNames: []string{"Threads_running"},},}, // 用户自定义指标}))DB, _ := db.DB()// 最大连接数DB.SetMaxOpenConns(2)// 最大空闲连接数 <= 最大连接数DB.SetMaxIdleConns(1)// 连接数的生命周期, 从创建开始记时,到时间点会被销毁DB.SetConnMaxLifetime(time.Hour * 7)// 最大空闲时间, 这个链接距离上一次被使用的时间段,超过这个时间则认为该连接已过期DB.SetConnMaxIdleTime(time.Hour)})return db
}

 main.go测试代码:

package mainimport (db "awesomeProject1/db""fmt"_ "gorm.io/driver/mysql""gorm.io/gorm""math/rand""time"
)func main() {dbConn := db.GetDbConn()for i := 0; i < 10; i++ {go func(conn *gorm.DB) {for {time.Sleep(time.Second * time.Duration(rand.Intn(10)))rows := dbConn.Raw("select * from users")var res []map[string]interface{}fmt.Println(rows.Scan(&res))}}(dbConn)}for {time.Sleep(time.Second * 2)fmt.Println("running....")}
}

 访问http://localhost:8080/metrics 查看到指标数据:

3、采集metrics到Promtehus

promethues.yaml配置添加采集任务: 

4、Grafana配置监控面板

1、通过图表能看到,我们配置了连接池最大连接数是2个, 但是有10个协程去执行查询SQL,观察wait_count指标曲线在持续上涨, 此时有26个协程还在阻塞等待获取数据库连接,同时查看右边是等待获取数据库连接等待耗时曲线,也是一直在上涨,此时我们应该判定数据库连接池满了。那么例如生产环境,看到这种曲线要么我们设置的连接池最大连接数过小,要么mysql的连接数已经跑满了。 此时应该告警,查看异常的情况。

2、我们将最大连接数调整为20以后再观察监控面板:

   最大连接数已从2调整为20(2->20), 此时再看监控面板, 等待的协程数量wait_count:0、同时协程等待获取数据库连接的时间已经降为了0ns, 此时数据库连接池不再是爆满的状态。

三、总结

        无论Golang的什么ORM框架,GORM也好、XORM也罢, 底层还是去使用了database/sql这个包,这个包底层实现了连接池的抽象,同时提供了获取连接池相关统计信息的接口。 我们再结合Prometheus将这些指标暴露出来,结合Grafana这套告警体系,就可以实时监控和观察我们Go程序MySQL连接池的情况。


http://www.ppmy.cn/news/1458803.html

相关文章

多线程学习Day07

共享模型之不可变 从一个日期转换的问题开始 Slf4j(topic "c.Test1") public class Test1 {public static void main(String[] args) {SimpleDateFormat sdf new SimpleDateFormat("yyyy-MM-dd");for (int i 0; i < 10; i) {new Thread(() -> {…

Leetcode—1396. 设计地铁系统【中等】

2024每日刷题&#xff08;127&#xff09; Leetcode—1396. 设计地铁系统 实现代码 class UndergroundSystem { public:typedef struct Checkin {string startStation;int time;} Checkin;typedef struct Checkout{int tripNum;int totalTime;} Checkout;UndergroundSystem()…

新火种AI|AI让大家都变“土”了!

作者&#xff1a;一号 编辑&#xff1a;美美 AI不仅要把人变“土”&#xff0c;还要把人变多样。 这个世界&#xff0c;终究是变“土”了。 今年五一假期&#xff0c;一个名为“Remini”的AI修图APP火遍了全网。注意&#xff0c;是Remini&#xff0c;而不是Redmi&#xff0…

【GoLang基础】切片和数组有什么区别?

问题引出&#xff1a; Go语言中的切片和数组有什么区别&#xff1f; 解答&#xff1a; 在 Go 语言中&#xff0c;切片&#xff08;slice&#xff09;和数组&#xff08;array&#xff09;是两种不同的数据类型&#xff0c;它们在使用和特性上有着明显的区别。 数组&#xff0…

Windows平台通过MobaXterm远程登录安装在VMware上的Linux系统(CentOS)

MobaXterm是一个功能强大的远程计算工具&#xff0c;它提供了一个综合的远程终端和图形化的X11服务器。MobaXterm旨在简化远程计算任务&#xff0c;提供了许多有用的功能&#xff0c;使远程访问和管理远程服务器变得更加方便&#xff0c;它提供了一个强大的终端模拟器&#xff…

vue+ant-design+formBuiler表单构建器——技能提升——form design——亲测有效

最近看到后端同事在弄一个后台管理系统&#xff0c;额&#xff0c;前端真的是夹缝中生存啊&#xff0c;AI抢饭碗&#xff0c;后端也想干前端的活儿。。。 他用到了表单构建器&#xff0c;具体效果如下: 网上有很多适用于ElementUi和ant-design的form design插件&#xff0c;下…

[1726]java试飞任务规划管理系统Myeclipse开发mysql数据库web结构java编程计算机网页项目

一、源码特点 java试飞任务规划管理系统是一套完善的java web信息管理系统&#xff0c;对理解JSP java编程开发语言有帮助&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统主要采用B/S模式开发。开发环境为 TOMCAT7.0,Myeclipse8.5开发&#xff0c;数据库为Mysql…