Nginx日志分析深度解析：从命令行到可视化监控

情境(Situation)

Nginx是现代Web架构中最常用的反向代理和Web服务器之一，它的日志记录了大量的客户端访问信息，包括IP地址、请求路径、状态码、响应时间等。这些日志数据是SRE工程师了解服务运行状态、识别异常访问、优化性能和排查故障的重要依据。

作为SRE工程师，我们需要掌握Nginx日志分析的方法和工具，从海量日志中提取有价值的信息，及时发现和解决问题，确保服务的稳定运行。

冲突(Conflict)

在实际应用中，SRE工程师经常面临以下挑战：

日志量巨大：生产环境的Nginx日志量非常大，手动分析几乎不可能
格式多样：不同的Nginx配置可能使用不同的日志格式
实时性要求：需要实时监控日志，及时发现异常
分析复杂度：需要从多个维度分析日志，如IP、路径、状态码等
工具选择：选择合适的日志分析工具，平衡性能和功能

问题(Question)

如何高效地分析Nginx日志，提取有价值的信息，及时发现和解决问题？

答案(Answer)

本文将从SRE视角出发，详细介绍Nginx日志分析的方法和工具，包括基础命令行工具、高级分析技巧、可视化监控工具，以及在安全和性能优化方面的应用，帮助SRE工程师快速掌握Nginx日志分析的核心技能。核心方法论基于 SRE面试题解析：nginx日志里看到ip地址，统计一下客户端访问服务器次数的前三名的ip地址？。

一、Nginx日志格式

1.1 标准日志格式

Nginx默认日志格式：

log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';

字段说明：

字段	描述
`$remote_addr`	客户端IP地址
`$remote_user`	客户端用户名（基本认证）
`$time_local`	本地时间
`$request`	请求行（方法、路径、协议）
`$status`	HTTP状态码
`$body_bytes_sent`	发送给客户端的字节数
`$http_referer`	引用页面
`$http_user_agent`	客户端用户代理
`$http_x_forwarded_for`	代理链中的客户端IP

1.2 自定义日志格式

自定义日志格式示例：

log_format extended '$remote_addr - $remote_user [$time_local] "$request" '
                    '$status $body_bytes_sent "$http_referer" '
                    '"$http_user_agent" "$http_x_forwarded_for" '
                    '$request_time $upstream_response_time $upstream_connect_time';

新增字段：

字段	描述
`$request_time`	整个请求的处理时间
`$upstream_response_time`	上游服务器的响应时间
`$upstream_connect_time`	与上游服务器的连接时间

二、基础日志分析

2.1 统计访问次数最多的IP地址

基础命令：

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -3

命令解析：

命令	作用
`awk '{print $1}'`	提取日志中第一个字段（IP地址）
`sort`	对IP地址进行排序
`uniq -c`	去重并统计每个IP的出现次数
`sort -nr`	按次数从大到小排序
`head -3`	显示前3个结果

2.2 统计访问次数最多的URL

命令：

awk '{print $7}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -10

2.3 统计HTTP状态码分布

命令：

awk '{print $9}' /var/log/nginx/access.log | sort | uniq -c | sort -nr

2.4 统计响应时间分布

命令：

awk '{print $NF}' /var/log/nginx/access.log | sort -n | uniq -c | sort -nr | head -10

三、高级日志分析

3.1 不同日志格式处理

标准Combined格式：

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -3

自定义日志格式：

awk '{print $3}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -3

使用正则表达式：

grep -oE '([0-9]{1,3}\.){3}[0-9]{1,3}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -3

3.2 时间范围过滤

特定日期：

grep '2026-04-25' /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -3

最近N小时：

find /var/log/nginx -name 'access.log*' -mtime -1 | xargs cat | awk '{print $1}' | sort | uniq -c | sort -nr | head -3

3.3 处理压缩日志

gzip压缩：

zcat /var/log/nginx/access.log.*.gz | awk '{print $1}' | sort | uniq -c | sort -nr | head -3

混合处理：

(cat /var/log/nginx/access.log; zcat /var/log/nginx/access.log.*.gz) | awk '{print $1}' | sort | uniq -c | sort -nr | head -3

3.4 高级过滤

按状态码过滤：

awk '$9 ~ /^200$/ {print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -3

按请求路径过滤：

awk '$7 ~ /\.php$/ {print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -3

按响应时间过滤：

awk '$NF > 1 {print $1, $7, $NF}' /var/log/nginx/access.log | sort -k3 -nr | head -10

四、性能优化

4.1 大日志文件处理

分割文件：

split -l 100000 /var/log/nginx/access.log log_part_
for file in log_part_*; do awk '{print $1}' $file >> ips.txt; done
sort ips.txt | uniq -c | sort -nr | head -3

并行处理：

find /var/log/nginx -name 'access.log*' | xargs -P 4 -I {} bash -c "awk '{print \$1}' {} | sort | uniq -c" | awk '{a[$2]+=$1} END {for (i in a) print a[i], i}' | sort -nr | head -3

4.2 日志轮转优化

配置日志轮转：

# /etc/logrotate.d/nginx
/var/log/nginx/*.log {
    daily
    rotate 14
    compress
    delaycompress
    missingok
    notifempty
    create 0640 nginx nginx
    postrotate
        invoke-rc.d nginx rotate >/dev/null 2>&1
    endscript
}

日志轮转参数：

参数	描述
`daily`	每天轮转
`rotate 14`	保留14天的日志
`compress`	压缩日志
`delaycompress`	延迟压缩
`missingok`	忽略缺失的日志文件
`notifempty`	空文件不轮转
`create 0640 nginx nginx`	创建新文件的权限和所有者

五、安全应用

5.1 识别异常访问

查找访问频率过高的IP：

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | awk '$1 > 1000 {print $0}'

配合防火墙：

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | awk '$1 > 1000 {print "iptables -A INPUT -s " $2 " -j DROP"}' > block_ips.sh
chmod +x block_ips.sh && ./block_ips.sh

5.2 检测DDoS攻击

检测异常流量：

# 统计每分钟的请求数
awk '{print substr($4, 2, 11)}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -10

# 统计每秒钟的请求数
awk '{print substr($4, 2, 19)}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -10

实时监控：

watch -n 1 "awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -10"

5.3 检测恶意扫描

检测目录遍历：

grep '\.\./' /var/log/nginx/access.log | awk '{print $1, $7}' | sort | uniq -c | sort -nr

检测SQL注入：

grep -i 'union.*select\|select.*from\|insert.*into\|update.*set\|delete.*from' /var/log/nginx/access.log | awk '{print $1, $7}' | sort | uniq -c | sort -nr

检测XSS攻击：

grep -i '<script\|javascript:\|onerror\|onload\|onclick' /var/log/nginx/access.log | awk '{print $1, $7}' | sort | uniq -c | sort -nr

六、工具推荐

6.1 GoAccess

GoAccess：实时日志分析工具，提供Web界面

特点：

实时分析日志
提供Web可视化界面
支持多种日志格式
轻量级，性能好

安装：

# Ubuntu/Debian
apt-get install goaccess

# CentOS/RHEL
yum install goaccess

使用：

# 生成HTML报告
goaccess /var/log/nginx/access.log -o report.html --log-format=COMBINED

# 实时监控
goaccess /var/log/nginx/access.log -o /var/www/html/report.html --log-format=COMBINED --real-time-html

6.2 ELK Stack

ELK Stack：Elasticsearch、Logstash、Kibana的组合，用于大规模日志分析

特点：

强大的搜索和分析能力
可扩展性强
支持实时监控
丰富的可视化选项

部署：

# 使用Docker Compose部署
version: '3'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.14.0
    environment:
      - discovery.type=single-node
    ports:
      - "9200:9200"
  logstash:
    image: docker.elastic.co/logstash/logstash:7.14.0
    volumes:
      - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf
    ports:
      - "5044:5044"
  kibana:
    image: docker.elastic.co/kibana/kibana:7.14.0
    ports:
      - "5601:5601"

Logstash配置：

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}
filter {
  grok {
    match => {
      "message" => "%{IP:client_ip} - %{DATA:user} \[%{HTTPDATE:timestamp}\] \"%{DATA:method} %{DATA:path} %{DATA:protocol}\" %{NUMBER:status} %{NUMBER:body_bytes_sent} \"%{DATA:referer}\" \"%{DATA:user_agent}\""
    }
  }
  date {
    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
    target => "@timestamp"
  }
}
output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "nginx-access-%{+YYYY.MM.dd}"
  }
}

6.3 Graylog

Graylog：集中式日志管理平台

特点：

集中管理多服务器日志
支持实时搜索和分析
可配置告警
易于集成

部署：

# 使用Docker Compose部署
version: '3'
services:
  mongodb:
    image: mongo:4.4
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    environment:
      - discovery.type=single-node
  graylog:
    image: graylog/graylog:4.2
    environment:
      - GRAYLOG_PASSWORD_SECRET=yourpasswordsecret
      - GRAYLOG_ROOT_PASSWORD_SHA2=sha256hashofyourpassword
      - GRAYLOG_HTTP_EXTERNAL_URI=http://localhost:9000/
    ports:
      - "9000:9000"
      - "12201:12201/udp"
      - "514:514/udp"

配置Nginx发送日志到Graylog：

access_log syslog:server=localhost:514,tag=nginx_access combined;
error_log syslog:server=localhost:514,tag=nginx_error;

七、监控与告警

7.1 监控指标

关键监控指标：

访问量：QPS、PV、UV
错误率：4xx、5xx状态码占比
响应时间：平均响应时间、P95、P99
流量：入站流量、出站流量
异常访问：高频IP、异常请求路径

7.2 告警规则

告警规则示例：

访问量突增：5分钟内访问量增长超过50%
错误率过高：5xx错误率超过5%
响应时间过长：平均响应时间超过1秒
异常IP：单个IP每分钟访问超过1000次

7.3 监控Dashboard

Grafana Dashboard：

访问量面板：显示QPS、PV、UV趋势
错误率面板：显示4xx、5xx错误率
响应时间面板：显示平均响应时间、P95、P99
流量面板：显示入站和出站流量
异常访问面板：显示高频IP和异常请求

Dashboard配置：

数据源：Elasticsearch或Prometheus
时间范围：过去24小时
自动刷新：30秒
告警通知：Slack、Email

八、案例分析

8.1 案例一：识别DDoS攻击

问题：网站流量突然增加，服务器负载升高

排查过程：

分析访问日志，统计IP访问次数：

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -10

发现多个IP访问频率异常高

查看请求路径，确认是否为恶意请求：

awk '{print $7}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -10

确认是DDoS攻击

解决方案：

使用iptables阻止异常IP：

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | awk '$1 > 1000 {print "iptables -A INPUT -s " $2 " -j DROP"}' > block_ips.sh
chmod +x block_ips.sh && ./block_ips.sh

启用Nginx限流：

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;
server {
  location / {
    limit_req zone=mylimit burst=20 nodelay;
  }
}

配置CDN防护

效果：攻击流量被有效阻止，服务恢复正常

8.2 案例二：性能优化

问题：网站响应时间过长

排查过程：

分析响应时间分布：

awk '{print $NF}' /var/log/nginx/access.log | sort -n | uniq -c | sort -nr | head -10

找出响应时间长的请求路径：

awk '$NF > 1 {print $7, $NF}' /var/log/nginx/access.log | sort -k2 -nr | head -10

分析这些路径的访问情况：

grep '/api/slow-endpoint' /var/log/nginx/access.log | awk '{print $1, $NF}' | sort -k2 -nr | head -10

解决方案：

优化后端API性能

配置Nginx缓存：

proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=mycache:10m max_size=10g inactive=60m use_temp_path=off;
server {
  location /api/slow-endpoint {
    proxy_cache mycache;
    proxy_cache_valid 200 302 10m;
    proxy_cache_valid 404 1m;
    proxy_pass http://backend;
  }
}

启用Gzip压缩：

gzip on;
gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;

效果：响应时间显著降低，用户体验改善

8.3 案例三：安全漏洞检测

问题：网站可能存在安全漏洞

排查过程：

检测SQL注入尝试：

grep -i 'union.*select\|select.*from\|insert.*into\|update.*set\|delete.*from' /var/log/nginx/access.log | awk '{print $1, $7}' | sort | uniq -c | sort -nr

检测XSS攻击尝试：

grep -i '<script\|javascript:\|onerror\|onload\|onclick' /var/log/nginx/access.log | awk '{print $1, $7}' | sort | uniq -c | sort -nr

检测目录遍历尝试：

grep '\.\./' /var/log/nginx/access.log | awk '{print $1, $7}' | sort | uniq -c | sort -nr

解决方案：

阻止恶意IP：

grep -i 'union.*select' /var/log/nginx/access.log | awk '{print $1}' | sort | uniq | xargs -I {} iptables -A INPUT -s {} -j DROP

配置Nginx防护：

# 防止SQL注入
if ($request_uri ~* "('|\"|\;|\+|--|\/\*|\*\/)") {
  return 403;
}
   
# 防止XSS
if ($request_uri ~* "(<script|javascript:|onerror|onload|onclick)") {
  return 403;
}
   
# 防止目录遍历
if ($request_uri ~* "\.\./") {
  return 403;
}

修复后端漏洞

效果：安全漏洞被有效防护，网站安全性提高

九、最佳实践总结

9.1 日志配置最佳实践

日志配置最佳实践：

使用合适的日志格式：
- 标准Combined格式适合大多数场景
- 自定义格式添加响应时间等字段
- 确保日志包含足够的信息用于分析
配置日志轮转：
- 定期轮转日志，避免日志文件过大
- 压缩旧日志，节省存储空间
- 保留适当的日志历史
集中日志管理：
- 使用ELK Stack或Graylog集中管理日志
- 实现日志的实时分析和监控
- 配置告警机制

9.2 分析工具选择

分析工具选择指南：

场景	推荐工具	理由
快速分析	命令行工具（awk、sort、uniq）	简单高效，适合临时分析
实时监控	GoAccess	轻量级，提供Web界面
大规模日志	ELK Stack	强大的搜索和分析能力
多服务器日志	Graylog	集中管理，易于集成

9.3 安全最佳实践

安全最佳实践：

定期分析日志：
- 检测异常访问和攻击尝试
- 及时发现和处理安全漏洞
- 建立安全事件响应机制
配置防护措施：
- 使用iptables阻止恶意IP
- 配置Nginx限流
- 启用WAF（Web应用防火墙）
监控告警：
- 设置异常访问告警
- 配置错误率告警
- 实时监控流量变化

9.4 性能优化最佳实践

性能优化最佳实践：

分析响应时间：
- 找出响应时间长的请求路径
- 优化后端服务性能
- 配置缓存减少重复请求
优化Nginx配置：
- 启用Gzip压缩
- 配置适当的缓存策略
- 调整连接参数
负载均衡：
- 使用Nginx作为负载均衡器
- 合理分配后端服务器负载
- 实现健康检查

总结

Nginx日志分析是SRE工程师的核心技能之一，通过有效的日志分析，我们可以了解服务运行状态、识别异常访问、优化性能和排查故障。本文介绍了Nginx日志分析的方法和工具，包括基础命令行工具、高级分析技巧、可视化监控工具，以及在安全和性能优化方面的应用。

核心要点：

基础分析：使用awk、sort、uniq等命令行工具进行基础日志分析
高级分析：处理不同日志格式、时间范围过滤、压缩日志等
性能优化：分割大日志文件、并行处理、配置日志轮转
安全应用：识别异常访问、检测DDoS攻击、防护安全漏洞
工具选择：根据场景选择合适的分析工具，如GoAccess、ELK Stack、Graylog
监控告警：设置关键指标监控和告警规则
最佳实践：配置合适的日志格式、定期分析日志、实施安全防护措施

通过掌握这些技能和最佳实践，SRE工程师可以更有效地分析Nginx日志，及时发现和解决问题，确保服务的稳定运行和安全性。

延伸学习：更多面试相关的Nginx日志分析知识，请参考 SRE面试题解析：nginx日志里看到ip地址，统计一下客户端访问服务器次数的前三名的ip地址？。

参考资料

«Kubernetes ExternalTrafficPolicy深度解析：Cluster vs Local

Kubernetes会话保持深度解析：从原理到实现»

文档信息

本文作者：soveran zhong
本文链接：https://blog.clockwingsoar.cn/2026/05/23/nginx-log-analysis/
版权声明：自由转载-非商用-非衍生-保持署名（创意共享3.0许可证）

Nginx日志分析深度解析：从命令行到可视化监控

Nginx日志分析深度解析：从命令行到可视化监控

情境(Situation)

冲突(Conflict)

问题(Question)

答案(Answer)

一、Nginx日志格式

1.1 标准日志格式

1.2 自定义日志格式

二、基础日志分析

2.1 统计访问次数最多的IP地址

2.2 统计访问次数最多的URL

2.3 统计HTTP状态码分布

2.4 统计响应时间分布

三、高级日志分析

3.1 不同日志格式处理

3.2 时间范围过滤

3.3 处理压缩日志

3.4 高级过滤

四、性能优化

4.1 大日志文件处理

4.2 日志轮转优化

五、安全应用

5.1 识别异常访问

5.2 检测DDoS攻击

5.3 检测恶意扫描

六、工具推荐

6.1 GoAccess

6.2 ELK Stack

6.3 Graylog

七、监控与告警

7.1 监控指标

7.2 告警规则

7.3 监控Dashboard

八、案例分析

8.1 案例一：识别DDoS攻击

8.2 案例二：性能优化

8.3 案例三：安全漏洞检测

九、最佳实践总结

9.1 日志配置最佳实践

9.2 分析工具选择

9.3 安全最佳实践

9.4 性能优化最佳实践

总结

参考资料

文档信息

Search

Table of Contents