Nginx 状态监控及日志分析

> 本文由 [简悦 SimpRead](http://ksria.com/simpread/) 转码， 原文地址 [www.tuicool.com](https://www.tuicool.com/articles/A36rQfi)

### 1、Nginx 状态监控

Nginx 提供了一个内置的状态信息监控页面可用于监控 Nginx 的整体访问情况，这个功能由 `ngx_http_stub_status_module` 模块进行实现。

使用 `nginx -V 2>&1 | grep -o with-http_stub_status_module` 命令检测当前 Nginx 是否有 status 功能，如果输出 `ngx_http_stub_status_module` 则说明是有的，如果没有可以在编译时加上此模块。

默认情况下，status 是关闭的，我们需要开启，并指定 uri 来访问数据。

```
server {
    listen 80;
    server_name default_server;
    location /status {
       stub_status on; 
       allow 114.247.125.227;
    }
}
```

allow 配置只允许指定的 Ip 才能访问 nginx status 功能，去掉就是不限制。

重启 Nginx 之后，浏览器访问 `http://{IP}/status` 查看状态监控信息

![](https://img2.tuicool.com/B3EnAzz.png!web)

*   **Active connections** ：当前的客户端活动连接数 (包含正在等待的客户端连接), 相当于 TCP 连接状态处于 Established 和 SYN_ACK
*   **accepts** : 已接受的客户端连接总数，即已被 worker 进程接收的连接
*   **handled** : 已被处理的连接总数
*   **requests** : 客户端的 http 请求总数
*   **Reading** : 当前正在读取的 http 请求数（读取到 http 请求首部）
*   **Writing** : 当前准备响应的连接数（写入到 http 响应首部）
*   **Waiting** : 当前处于等待的空闲客户端请求数, 等待的时间为 Reading 和 Writing 之间的间隔

采集到 Nginx 数据之后就可以用监控工具给监控起来了。

### 2、日志分析

Nginx 默认的日志格式配置可以在 `/etc/nginx/nginx.conf` 中找到

```
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for" $request_time $upstream_response_time';
```

打印的日志实例

```
39.105.66.117 - mp [11/Sep/2019:19:03:01 +0800] "POST /salesplatform-gateway/users HTTP/1.1" 200 575 "-" "Apache-HttpClient/4.5.5 (Java/1.8.0_161)" "-" 0.040 0.040
39.105.66.117 - mp [11/Sep/2019:19:03:08 +0800] "POST /salesplatform-gateway/users HTTP/1.1" 200 575 "-" "Apache-HttpClient/4.5.5 (Java/1.8.0_161)" "-" 0.008 0.008
```

*   **&dollar;remote_addr** : 客户端的 ip 地址
*   **&dollar;remote_user** : 用于记录远程客户端的用户名称
*   **&dollar;time_local** : 用于记录访问时间和时区
*   **&dollar;request** : 用于记录请求的 url 以及请求方法
*   **&dollar;status** : 响应状态码
*   **&dollar;body_bytes_sent** : 给客户端发送的文件主体内容字节数
*   **&dollar;http_referer** : 可以记录用户是从哪个链接访问过来的
*   **&dollar;http_user_agent** : 用户所使用的浏览器信息
*   **&dollar;http_x_forwarded_for** : 可以记录客户端 IP，通过代理服务器来记录客户端的 ip 地址
*   **&dollar;request_time** : 指的是从接受用户请求的第一个字节到发送完响应数据的时间，即 & dollar;request_time 包括接收客户端请求数据的时间、后端程序响应的时间、发送响应数据给客户端的时间
*   **&dollar;upstream_response_time** : 用于接收来自上游服务器的响应的时间

#### 常用分析命令

1、根据访问 IP 统计 UV

```
awk '{print $1}' paycenteraccess.log | sort -n | uniq | wc -l
```

2、查询访问最频繁的 IP(前 10)

```
awk '{print $1}' /var/log/nginx/access.log | sort -n |uniq -c | sort -rn | head -n 10
```

3、查看某一时间段的 IP 访问量 (1-8 点)

```
awk '$4 >="[25/Mar/2020:01:00:00" && $4 <="[25/Mar/2020:08:00:00"' /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c| sort -nr |wc -l
```

4、查看访问 100 次以上的 IP

```
awk '{print $1}' /var/log/nginx/access.log | sort -n |uniq -c |awk '{if($1 >100) print $0}'|sort -rn
```

5、查看指定 ip 访问过的 url 和访问次数

```
grep "39.105.67.140" /var/log/nginx/access.log|awk '{print $7}' |sort |uniq -c |sort -n -k 1 -r
```

6、根据访问 URL 统计 PV

```
cat /var/log/nginx/access.log |awk '{print $7}' |wc -l
```

7、查询访问最频繁的 URL(前 10)

```
awk '{print $7}' /var/log/nginx/access.log | sort |uniq -c | sort -rn | head -n 10
```

8、查看访问最频的 URL([排除 / api/appid])(前 10)

```
grep -v '/api/appid' /var/log/nginx/access.log|awk '{print $7}' | sort |uniq -c | sort -rn | head -n 10
```

9、查看页面访问次数超过 100 次的页面

```
cat /var/log/nginx/access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less
```

10、查看最近 1000 条记录，访问量最高的页面

```
tail -1000 /var/log/nginx/access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less
```

11、统计每小时的请求数, top10 的时间点 (精确到小时)

```
awk '{print $4}' /var/log/nginx/access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 10
```

12、统计每分钟的请求数, top10 的时间点 (精确到分钟)

```
awk '{print $4}' /var/log/nginx/access.log |cut -c 14-18|sort|uniq -c|sort -nr|head -n 10
```

13、统计每秒的请求数, top10 的时间点 (精确到秒)

```
awk '{print $4}' /var/log/nginx/access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 10
```

14、查找指定时间段的日志

```
awk '$4 >="[25/Mar/2020:01:00:00" && $4 <="[25/Mar/2020:08:00:00"' /var/log/nginx/access.log
```

15、列出传输时间超过 0.6 秒的 url，显示前 10 条

```
cat /var/log/nginx/access.log |awk '(substr($NF,2,5) > 0.6){print $4,$7,substr($NF,2,5)}' | awk -F '"' '{print $1,$2,$3}' |sort -k3 -rn | head -10
```

16、列出 / api/appid 请求时间超过 0.6 秒的时间点

```
cat /var/log/nginx/access.log |awk '(substr($NF,2,5) > 0.6 && $7~/\/api\/appid/){print $4,$7,substr($NF,2,5)}' | awk -F '"' '{print $1,$2,$3}' |sort -k3 -rn | head -10
```

17、获取前 10 条最耗时的请求时间、url、耗时

```
cat /var/log/nginx/access.log |awk '{print $4,$7,substr($NF,2,5)}' | awk -F '"' '{print $1,$2,$3}' | sort -k3 -rn | head -10
```