Nginx作为现代Web架构中最流行的反向代理和Web服务器之一，其作为网站流量入口, 日志文件包含了大量有价值的信息。我们可以通过分析这些日志，了解网站的实际运行状况、用户行为模式，并及时发现潜在问题。本文将详细介绍如何使用命令行工具和脚本对Nginx日志进行深入分析，涵盖从基础统计到高级异常检测的各种常用命令。
一、 Nginx日志格式解析
在开始分析之前，我们需要了解Nginx的日志格式。典型的Nginx访问日志格式如下（可以在nginx.conf中通过log_format指令自定义）：
log_format timed_combined '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" ' '$request_time $upstream_response_time';这个 Nginx 日志格式 timed_combined 定义了多个字段，每个字段记录了 HTTP 请求的不同信息。
$remote_addr: 客户端的 IP 地址（直接访问服务器的 IP）
$remote_user: HTTP 基本认证中的用户名（如果启用认证）
$time_local: 服务器本地时间的访问时间戳，格式通常为 [日/月/年:时:分:秒 时区]
$request: 客户端请求的原始 HTTP 方法、路径和协议版本。
$status: 服务器返回的 HTTP 状态码。
$body_bytes_sent: 发送给客户端的响应体字节数（不含响应头）
$http_referer: 请求的来源页面 URL（即用户从哪个链接跳转过来）
$http_user_agent: 客户端的用户代理（浏览器、设备等信息）
$http_x_forwarded_for: 此字段记录客户端 IP
$request_time: 服务器处理请求的总时间（从接收到客户端第一个字节到发送完响应，单位：秒）。
$upstream_response_time: 如果请求被代理到上游服务器（如 PHP-FPM、后端服务），此字段记录上游服务器的响应时间（单位：秒）
一条实际的日志记录可能如下所示：
79.95.86.141 - - [28/Apr/2025:01:29:06 +0000] "POST /keepalive HTTP/2.0" 200 60 "https://www.google.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36" "79.95.86.141" 0.024 0.023二、 常用日志分析
1. 统计今日请求最多的URL
grep $(date +%d/%b/%Y) /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -nr | head -n 20命令解析：
grep $(date +%d/%b/%Y): 筛选出今天的日志（格式如28/Apr/2025）
awk '{print $7}': 提取URL（第7个字段）
sort: 排序URL以便统计
uniq -c: 统计每个URL出现的次数
sort -nr: 按出现次数降序排序
head -n 20: 只显示前20条结果
2. 统计某个时间段请求最多的URL
awk '$4 >= "[28/Apr/2025:01:00:00" && $4 < "[28/Apr/2025:02:00:00"' /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -nr | head -n 203. 找出访问次数最多的10个IP
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -n 104. 找出某个时间段访问最多的IP
awk '$4 >= "[28/Apr/2025:01:00:00" && $4 < "[28/Apr/2025:02:00:00"' /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -n 105. 找出响应超过n秒的URL
当我们想找出响应时间超过5秒的请求（需要日志中包含响应时间字段，需要在log_format中添加$request_time）：
awk '$NF > 5 {print $7}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -56. 实时筛选Nginx日志
tail -f /var/log/nginx/access.log结合grep进行实时筛选，例如只显示404错误：
tail -f /var/log/nginx/access.log | grep '" 404 '更高级的实时监控可以使用ngxtop工具或者goaccess, 本文不做介绍!可自行查询!
7. 统计每秒的QPS
计算每秒的请求量可以帮助我们了解流量情况：
awk '{print $4}' /var/log/nginx/access.log | cut -d: -f2-3 | uniq -c更精确的每秒QPS统计：
awk '{split($4, a, ":"); print a[2]":"a[3]":"a[4]}' /var/log/nginx/access.log | sort | uniq -c要统计特定时间段的QPS变化：
awk '$4 >= "[28/Apr/2025:01:00:00" && $4 < "[28/Apr/2025:02:00:00"' /var/log/nginx/access.log | awk '{split($4, a, ":"); print a[2]":"a[3]":"a[4]}' | sort | uniq -c8. 实时统计QPS:
tail -f /var/log/nginx/access.log | awk '{ split($4, time, ":"); key = time[2] ":" time[3] ":" time[4]; count[key]++; print key, count[key];}'三、 自动化日志监控方案
异常请求报警脚本
#!/bin/bash# 监控最近5分钟内404错误率ERROR_COUNT=$(awk -v d1="$(date --date="-5 min" "+[%d/%b/%Y:%H:%M")" -v d2="$(date "+[%d/%b/%Y:%H:%M")" '$4 >= d1 && $4 <= d2 && $9 == 404' /var/log/nginx/access.log | wc -l) TOTAL_COUNT=$(awk -v d1="$(date --date="-5 min" "+[%d/%b/%Y:%H:%M")" -v d2="$(date "+[%d/%b/%Y:%H:%M")" '$4 >= d1 && $4 <= d2' /var/log/nginx/access.log | wc -l) ERROR_RATE=$(echo "scale=2; $ERROR_COUNT*100/$TOTAL_COUNT" | bc) if (( $(echo "$ERROR_RATE > 5" | bc -l) )); then echo "High error rate detected: $ERROR_RATE%" | mail -s "Nginx Error Alert" admin@example.comfi自动封禁恶意IP
使用fail2ban可以实现自动封禁频繁尝试攻击的IP, 本文不做详细介绍!