一、MongoDB 的 Profiling 工具(一)
任务描述
本关任务:完成慢查询设置。
相关知识
为了完成本关任务,你需要掌握: 1.Profiling 是什么工具; 2.如何启用 Profiling 工具。
Profiling 工具
在很多情况下, DBA(数据库管理员)都要对数据库的性能进行分析处理,找出降低性能的根源。而 Profiling 就是 Mongo 自带的一种分析工具来检测并追踪影响性能的慢查询。
慢查询日志一般作为优化步骤里的第一步。通过慢查询日志,定位每一条语句的查询时间。比如超过了50ms,那么查询超过50ms 的语句需要优化。然后它通过 .explain() 解析影响行数是不是过多,所以导致查询语句超过50ms。
所以优化步骤一般就是:
用慢查询日志(system.profile)找到超过50ms 的语句;
然后再通过 .explain() 解析影响行数,分析为什么超过50ms;
决定是不是需要添加索引。
Profiling 级别说明:
0:关闭,不收集任何数据;
1:收集慢查询数据,默认是100毫秒;
2:收集所有数据。
启用 Profiling 工具
Profiling 有两种开启方式,一种是启动服务时配置启动,一种是 mongoshell 中进行实时配置。
mongo shell 中启动配置
查看状态,如图1所示:级别和时间;
图 1查看级别,如图2所示:
图 2设置级别,如图3所示:
图 3设置级别和时间,如图4所示:
图 4注意:
以上要操作要是在 test 集合下面的话,只对该集合里的操作有效,要是需要对整个实例有效,则需要在所有的集合下设置或则在开启的时候开启参数;
每次设置之后返回给你的结果是修改之前的状态(包括级别、时间参数)。
全局开启 Profiling
- 可以在 mongod 启动时加上以下参数
mongod --profile=1 --slowms=50
- 或在配置文件里添加两行,如下所示:
profile = 1 slowms = 50
关闭 Profiling 工具
只需要将收集慢查询数据的时间设置为0就可以关闭,如图5所示:
图 5编程要求
根据提示,在右命令行进行操作,在 mydb 数据库中开启 Profiling,设置级别为1,时间为50ms。
> use mydb
switched to db mydb> db.setProfilingLevel(1,50)
{ "was" : 0, "slowms" : 50, "sampleRate" : 1, "ok" : 1 }
二、MongoDB 的 Profiling 工具(二)
任务描述
本关任务:完成慢查询设置并自行分析慢查询结果。
相关知识
为了完成本关任务,你需要掌握: 1.如何进行慢查询分析; 2.如何进行性能分析; 3.常用的慢日志查询命令。
慢查询分析
要进行慢查询分析,首先,要如第二关一样启用 Profiling 工具,以下例子 Profiling 级别设置为1,时间设置为50ms。其次,要进行过超过 50ms 的操作才会记录到慢查询日志中,存在记录结果。
首先,我们在 test 数据库启用 Profiling 工具:
use test db.setProfilingLevel(1,50) # 设置级别为1,时间为50ms,意味着只有超过50ms的操作才会记录到慢查询日志中
- 然后在 test 数据库的 items 集合中循环插入100万条数据:
for(var i=0;i<1000000;i++)db.items.insert({_id:i,text:"Hello MongoDB"+i})
返回所有结果:
db.system.profile.find().pretty()
{"op" : "insert", #操作类型,有insert、query、update、remove、getmore、command"ns" : "test.items", #操作的集合"command" : {"insert" : "items","ordered" : true,"$db" : "test"},"ninserted" : 1,"keysInserted" : 1,"numYield": 0, #该操作为了使其他操作完成而放弃的次数。通常来说,当他们需要访问还没有完全读入内存中的数据时,操作将放弃。这使得在MongoDB为了放弃操作进行数据读取的同时,还有数据在内存中的其他操作可以完成"locks": { #锁信息,R:全局读锁;W:全局写锁;r:特定数据库的读锁;w:特定数据库的写锁"Global" : {"acquireCount" : {"r" : NumberLong(1),"w" : NumberLong(1)}},"Database" : {"acquireCount" : {"w" : NumberLong(1)}},"Collection" : {"acquireCount" : {"w" : NumberLong(1)}}},"responseLength" : 45, #返回字节长度,如果这个数字很大,考虑值返回所需字段"protocol" : "op_msg","millis" : 60, #消耗的时间(毫秒)"ts" : ISODate("2018-12-07T08:19:11.997Z"), #该命令在何时执行"client" : "127.0.0.1", #链接ip或则主机"appName" : "MongoDB Shell","allUsers" : [ ],"user" : "" }
profile 部分字段解释:
op :操作类型;
ns :被查的集合;
commond :命令的内容;
docsExamined :扫描文档数;
nreturned :返回记录数;
millis :耗时时间,单位毫秒;
ts :命令执行时间;
responseLength :返回内容长度。
常用的慢日志查询命令
自己在命令行尝试输入以下命令,分析查看返回结果:
返回最近的10条记录:
db.system.profile.find().limit(10).sort({ ts : -1 }).pretty()
返回所有的操作,除 command 类型的:
db.system.profile.find( { op: { $ne : 'command'} }).pretty()
返回特定集合:
db.system.profile.find( { ns : 'test.items' } ).pretty()
返回大于5毫秒慢的操作:
db.system.profile.find({ millis : { $gt : 5 } } ).pretty()
从一个特定的时间范围内返回信息:
db.system.profile.find( { ts : { $gt : new ISODate("2018-12-09T08:00:00Z"), $lt : new ISODate("2018-12-10T03:40:00Z") } } ).pretty()
特定时间,限制用户,按照消耗时间排序:
db.system.profile.find( { ts : { $gt : new ISODate("2018-12-09T08:00:00Z") , $lt : new ISODate("2018-12-10T03:40:00Z") } }, { user : 0 } ).sort( { millis : -1 } ).pretty()
查看最新的 Profile 记录:
db.system.profile.find().sort({$natural:-1}).limit(1).pretty()
显示5个最近的事件:
show profile
编程要求
在右侧命令行中,进行以下操作:
使用 MongoDB 的 mydb3 数据库;
开启并设置其慢查询日志功能,设置为模式1,时间限制为 5ms;
循环插入10万条数据到集合 items1 中,格式如下:
{_id:i,text:"Hello MongoDB"+i}
(插入方法不记得的同学,可参考 游标 这一节内容)
- 循环插入10万条数据到集合 items2 中,格式如下:
{_id:i,text:"Hello MongoDB"+i}
以上操作计入测评,请同学们进行完以上操作后对以下几条命令进行练习(不计入测评):
查看最新的 Profile 记录;
显示最近的慢查询事件;
特定时间(你自己操作时间段内),按照消耗时间排序的慢查询;
返回大于7毫秒慢的操作;
返回 items1 集合的慢查询。
> use mydb3
switched to db mydb3> db.setProfilingLevel(1,5)
{ "was" : 0, "slowms" : 100, "sampleRate" : 1, "ok" : 1 }> for(var i=0;i<100000;i++)db.items1.insert({_id:i,text:"Hello MongoDB"+i})
WriteResult({ "nInserted" : 1 })> for(var i=0;i<100000;i++)db.items2.insert({_id:i,text:"Hello MongoDB"+i})
WriteResult({ "nInserted" : 1 })