怎么分析mongodb的日志

小半 • 2024年2月19日下午3:26 • 数据库 • 阅读 257

mtools工具分析

安装mtools
慢查询筛选

Profiling
jq分析

在遇到数据库性能问题或异常时，我们会第一时间大概用简单linux 命令筛选发生异常时间段内的日志

sudo less replsvr.log |awk '(($1> "2022-07-14T03:36:20.498+0000")&&($1<"2022-07-14T03:40:31.498+0000"))'

不过也可以用一些开源的工具分析，比如下面介绍的mtools

mtools工具分析

排查mongodb性能的python工具包

安装mtools

sudo pip3 install mtools

sudo pip3 install python-dateutil

慢查询筛选

筛选指定时间后八小时内超过一分钟的查询

sudo mlogfilter replsvr.log --from Jun 14 06:30 2022 --to "+8h" --slow 60000 | tail -n3

sudo mlogfilter replsvr.log --from Jun 14 00:00 2022 --to "+8h" --slow 60000>./slow.log

按照namespace生成查询图，更加直观

sudo mplotqueries replsvr.log --group namespace --output-file namespace_nscan.png

或者直接加queries参数，按照查询总数排名，包含平均值，最大最小值，已经95%分位数值

sudo mloginfo replsvr.log --queries --sort count > res.log

更多其他用法可以参考 https://github.com/rueckstiess/mtools

或者直接通过数据库的慢查询集合查询

Profiling

查看慢查询是否打开

db.getProfilingStatus()

打开慢查询

db.setProfilingLevel(1,1000)

# { "was" : 1, "slowms" : 10, "sampleRate" : 1, "ok" : 1 }

会在当前集合下面生成表system.profile，记录超过时间的查询

此时可以直接用pt工具中的 pt-mongodb-query-digest 连接至数据库进行分析

在高版本中日子会用json格式存储，mtools目前不支持，可以用jq工具分析，或者直接采集到 ES里面进行分析

jq分析

./jq '. | select(.attr.durationMillis>=6000)' replsvr.log
./jq '. | select(.t["$date"] >= "2022-11-15T09:00:00.000" and .t["$date"] <= "2022-11-15T09:20:59.999")' replsvr.log

具体细节可以从官方文档学习jq Manual