收藏 !!! 10年大神总结的Nginx运维脚本

在网站运维和性能优化的日常工作中，Nginx日志分析扮演着至关重要的角色。本文精选了10个常用的Nginx日志分析脚本，旨在帮助运维人员快速掌握日志分析技巧，从而更有效地监控和优化网站性能。

统计访问最多的前10个IP地址

#!/bin/bash
LOG_FILE=$1
echo "统计访问最多的10个IP"
awk '{a[$1]++}END{print "UV:",length(a);for(v in a)print v,a[v]}' $LOG_FILE | sort -k2 -nr | head -10

这个脚本通过AWK统计日志文件中每个IP的访问次数，并输出访问次数最多的前10个IP地址。

统计指定时间段内访问最多的IP地址

#!/bin/bash
LOG_FILE=$1
START_TIME="[01/Jan/2024:00:00:00"
END_TIME="[31/Dec/2024:23:59:59"
echo"统计时间段 $START_TIME 至 $END_TIME 内访问最多的IP"
awk -v start="$START_TIME"-v end="$END_TIME"'$4 >= start && $4 <= end {a[$1]++}END{for(v in a)print v,a[v]}'$LOG_FILE|sort-k2 -nr |head-10

通过指定开始和结束时间，这个脚本可以统计在特定时间段内访问次数最多的IP地址。

统计访问最多的前10个页面

#!/bin/bash
LOG_FILE=$1
echo "统计访问最多的前10个页面"
awk '{a[$7]++}END{print "PV:",length(a);for(v in a)print v,a[v]}' $LOG_FILE | sort -k2 -nr | head -10

这个脚本统计访问量最多的前10个页面，帮助了解网站热点内容。

统计不同页面状态码的数量

#!/bin/bash
LOG_FILE=$1
echo "统计不同页面状态码的数量"
awk '{a[$9]++}END{for(v in a)print v,a[v]}' $LOG_FILE | sort -k2 -nr

通过统计状态码，可以了解网站的响应情况和潜在问题。

统计每秒的请求数（TOP 100）

#!/bin/bash
LOG_FILE=$1
echo"统计每秒的请求数（TOP 100）"
awk '{print substr($4, 15, 2)}'$LOG_FILE|sort|uniq-c |sort-nr |head-100

这个脚本统计每秒的请求次数，并输出请求数最多的前100秒。

列出传输时间超过3秒的页面（前20条）

#!/bin/bash
LOG_FILE=$1
echo"列出传输时间超过3秒的页面（前20条）"
awk '$NF > 3 {print $7}'$LOG_FILE|sort|uniq-c |sort-nr |head-20

通过这个脚本可以找出响应时间较长的页面，有助于性能优化。

统计蜘蛛抓取次数及404次数

#!/bin/bash
LOG_FILE=$1
SPIDER="Baiduspider"
echo"统计蜘蛛 $SPIDER 抓取次数"
grep "$SPIDER"$LOG_FILE|wc-l
echo"统计蜘蛛 $SPIDER 抓取404的次数"
grep "$SPIDER"$LOG_FILE| grep "404"|wc-l

这个脚本统计特定蜘蛛的抓取次数以及产生的404错误次数。

分析并生成deny.conf以阻止高频访问IP
```
#!/bin/bash
LOG_PATH=/var/log/nginx
NGINX_HOME=/etc/nginx
SPIDERFILE=/data/operations/op_script/spider.txt
```
这个脚本分析日志并生成deny.conf配置，以阻止高频访问的IP地址。
综合性能分析脚本（包含多个性能指标）
```
#!/bin/bash
LOG_FILE=$1
```
这个脚本综合多个性能指标进行分析，提供全面的性能分析报告。

按时间段和状态码统计访问量

#!/bin/bash
LOG_FILE=$1
START_TIME="[01/Oct/2023:00:00:00"
END_TIME="[31/Oct/2023:23:59:59"
STATUS_CODE="200"
echo "统计 $START_TIME 至 $END_TIME 内状态码为 $STATUS_CODE 的访问量"
awk -v start="$START_TIME" -v end="$END_TIME" -v code="$STATUS_CODE" '$4 >= start && $4 <= end && $9 == code {count++} END {print "Total accesses with status code", code, "during the specified time range:", count}' $LOG_FILE