首页 > IT知识 > nginx >

Nginx后端web健康状态检查的3种方法

作者: 初见博客 分类: nginx 发布时间: 2021-06-18 16:17

前言

nginx请求流程图

8693233-ee39f3324354ba30

所以需要一种方法 检查后端的web服务是否正常,在后端web异常的时候,能自动将异常的web服务踢出服务队列,目前常见的方法有3种:

方法1:通常我们会使用Nginx的ngx_http_upstream_module模块来配置服务器组

ngx_http_healthcheck_module 模块仅仅支持nginx的1.0.0版本,1.1.0版本以后都不支持了

示例如下

upstream springboot {
server 10.3.73.223:8080 max_fails=2 fail_timeout=30s;
server 10.3.73.223:8090 max_fails=2 fail_timeout=30s;
}

server {
listen 80;
server_name localhost;

location /test {
proxy_pass http://springboot;
}
}

在30s内(fail_timeout,默认值为10s),与服务端通讯失败2次(max_fails,默认值为1,设置为0则认为服务端一直可用),则认为服务器不可用

不可用服务器在30s内与服务端通讯成功2次,则认为服务器恢复

特别需要注意的是,何为与服务端通讯失败是由upstream的使用方定义的(ngx_http_proxy_module、proxy_next_upstream、fastcgi_next_upstream和memcached_next_upstream)

以proxy_next_upstream为例:

与服务端建立连接、向服务端发送请求或者解析服务端响应头时,发生异常或超时将被认为是通讯失败

服务端返回的响应为空或不合法将被认为是通讯失败

如果配置了http_500,http_502,http_503,http_504和http_429,服务端返回这些状态码将被认为是通讯失败

服务端返回http_403和http_404永远不会被认为通讯失败

当upstream中的一台服务器响应失败时, Nginx会将请求转发给下一台服务器,直到所有的服务器都发送过该请求,如果此时依然无法获得成功的响应,客户端将收到最后一台服务器返回的响应结果

使用上面的配置进行测试:

package com.sean.test;

import org.springframework.http.HttpStatus;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.ResponseBody;
import org.springframework.web.bind.annotation.ResponseStatus;

/**
* Created by seanzou on 2018/8/20.
*/
@org.springframework.stereotype.Controller
public class Controller {
@RequestMapping("/test")
@ResponseBody
// @ResponseStatus(code= HttpStatus.NOT_FOUND)
@ResponseStatus(code= HttpStatus.INTERNAL_SERVER_ERROR)
public String test(){
System.out.println("test");
// throw new RuntimeException();
return "test";
}
}

即便服务端响应404、500状态码,Nginx依然认为通讯成功,除非停掉当前服务

upstream存在如下一些问题:

1 无法主动感知服务器状态

2 配置不灵活,无法自定义通讯失败判断条件(仅提供少数定义好的状态码可供使用)

 

方法2:功能十分强大,遗憾的是只有Nginx商业版才包含该模块ngx_http_upstream_hc_module

ngx_http_upstream_hc_module允许周期性的对服务器组中的服务器进行健康检查,前提条件是服务器组中的服务器必须使用共享内存模式

(共享内存用来保存服务器组的配置信息以及运行时状态,Nginx的woker进程将共享该配置和状态),

示例如下:

upstream dynamic {
# 共享内存
zone upstream_dynamic 64k;

server backend1.example.com;
server backend2.example.com;
}

http {
server {
...
# Nginx每5s(默认值)就会向dynamic中的每一个服务器发送“/”请求
# location / {
# proxy_pass http://dynamic;
# health_check;
# }

# hc可以通过自定义的校验规则判断服务器状态
location / {
proxy_pass http://dynamic;
health_check match=welcome;
}
}
# 如果配置了多个条件,所有条件均满足服务器状态才被认为是正常的
# 响应状态码为200,且响应body中包含"Welcome to nginx!"服务器状态才被认为是正常的
# Nginx仅检查响应body中的前256k数据
match welcome {
status 200;
header Content-Type = text/html;
body ~ "Welcome to nginx!";
}
}

方法3:nginx_upstream_check_module 这个模块是由淘宝团队开发的,并且是完全开源的

淘宝Tengine自带该模块,如果我们没有使用Tengine,可以通过打补丁的方式把该模块加到我们自己的Nginx中

开源项目地址:https://github.com/yaoweibin/nginx_upstream_check_module

下面是部署流程!

1、下载nginx_upstream_check_module模块

[root@localhost ~]# cd /usr/local/src
wget https://codeload.github.com/yaoweibin/nginx_upstream_check_module/zip/master
unzip master
[root@localhost /usr/local/src]# ll -d nginx_upstream_check_module-master
drwxr-xr-x. 6 root root 4096 Dec  1 02:28 nginx_upstream_check_module-master

2、为nginx打补丁

[root@localhost /usr/local/src]# cd nginx-1.6.0 # 进入nginx的源码目录
[root@localhost nginx-1.6.0]# patch -p1 < ../nginx_upstream_check_module-master/check_1.5.12+.patch
[root@localhost nginx-1.6.0]# ./configure --user=nginx --group=nginx --prefix=/usr/local/nginx-1.6.0 --with-http_ssl_module --with-openssl=/usr/local/src/openssl-0.9.8q --with-pcre=/usr/local/src/pcre-8.32 --add-module=/usr/local/src/nginx_concat_module/ --add-module=../nginx_upstream_check_module-master/
make (注意:此处只make,编译参数需要和之前的一样)
[root@localhost nginx-1.6.0]# mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx-1.6.0.bak
[root@localhost nginx-1.6.0]# cp ./objs/nginx /usr/local/nginx/sbin/
[root@localhost nginx-1.6.0]# /usr/local/nginx/sbin/nginx -t  # 检查下是否有问题
[root@localhost nginx-1.6.0]# kill -USR2 `cat /usr/local/nginx/logs/nginx.pid`

3、在nginx.conf配置文件里面的upstream加入健康检查,如下:

upstream name {
       server 192.168.0.21:80;
       server 192.168.0.22:80;
       check interval=3000 rise=2 fall=5 timeout=1000 type=http;
       
}

上面配置的意思是,对name这个负载均衡条目中的所有节点,每个3秒检测一次,请求2次正常则标记 realserver状态为up,如果检测 5 次都失败,则标记 realserver的状态为down,超时时间为1秒。

这里列出nginx_upstream_check_module模块所支持的指令意思:

Syntax: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]
Default: 如果没有配置参数,默认值是:interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp
Context: upstream

该指令可以打开后端服务器的健康检查功能。

指令后面的参数意义是:

    - interval:向后端发送的健康检查包的间隔。
    - fall(fall_count): 如果连续失败次数达到fall_count,服务器就被认为是down。
    - rise(rise_count): 如果连续成功次数达到rise_count,服务器就被认为是up。
    - timeout: 后端健康请求的超时时间。
    - default_down: 设定初始时服务器的状态,如果是true,就说明默认是down的,如果是false,就是up的。默认值是true,也就是一开始服务器认为是不可用,要等健康检查包达到一定成功次数以后才会被认为是健康的。
    - type:健康检查包的类型,现在支持以下多种类型
        - tcp:简单的tcp连接,如果连接成功,就说明后端正常。
        - ssl_hello:发送一个初始的SSL hello包并接受服务器的SSL hello包。
        - http:发送HTTP请求,通过后端的回复包的状态来判断后端是否存活。
        - mysql: 向mysql服务器连接,通过接收服务器的greeting包来判断后端是否存活。
        - ajp:向后端发送AJP协议的Cping包,通过接收Cpong包来判断后端是否存活。
    - port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口,比如后端提供的是443端口的应用,你可以去检查80端口的状态来判断后端健康状况。默认是0,表示跟后端server提供真实服务的端口一样。该选项出现于Tengine-1.4.0。
Syntax: check_keepalive_requests request_num
Default: 1
Context: upstream

该指令可以配置一个连接发送的请求数,其默认值为1,表示Tengine完成1次请求后即关闭连接。

Syntax: check_http_send http_packet
Default: "GET / HTTP/1.0\r\n\r\n"
Context: upstream

该指令可以配置http健康检查包发送的请求内容。为了减少传输数据量,推荐采用”HEAD”方法。

当采用长连接进行健康检查时,需在该指令中添加keep-alive请求头,如:”HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n”。 同时,在采用”GET”方法的情况下,请求uri的size不宜过大,确保可以在1个interval内传输完成,否则会被健康检查模块视为后端服务器或网络异常。

Syntax: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ]
Default: http_2xx | http_3xx
Context: upstream

该指令指定HTTP回复的成功状态,默认认为2XX和3XX的状态是健康的。

Syntax: check_shm_size size
Default: 1M
Context: http

所有的后端服务器健康检查状态都存于共享内存中,该指令可以设置共享内存的大小。默认是1M,如果你有1千台以上的服务器并在配置的时候出现了错误,就可能需要扩大该内存的大小。

Syntax: check_status [html|csv|json]
Default: check_status html
Context: location

显示服务器的健康状态页面。该指令需要在http块中配置。

在Tengine-1.4.0以后,你可以配置显示页面的格式。支持的格式有: html、csv、 json。默认类型是html。

你也可以通过请求的参数来指定格式,假设‘/status’是你状态页面的URL, format参数改变页面的格式,比如:

/status?format=html
/status?format=csv
/status?format=json

同时你也可以通过status参数来获取相同服务器状态的列表,比如:

/status?format=html&status=down
/status?format=csv&status=up

下面是一个状态也配置的范例:

http {
      server {
            location /nstatus {
                   check_status;
                   access_log off;
                   #allow IP;
                   #deny all;
            }
      }
}

配置完毕后,重启nginx。此时通过访问定义好的路径,就可以看到当前 realserver 实时的健康状态啦。

效果如下图:realserver 都正常的状态:

wKiom1SZZXKQcPJTAAFnMqUEfBo238

一台 realserver 故障的状态:

wKioL1SZZivDAzdWAAGTyIK9cS8558

OK,以上nginx_upstream_check_module模块的相关信息,更多的信息大家可以去该模块的淘宝tengine页面和github上该项目页面去查看,下面是访问地址:

http://tengine.taobao.org/document_cn/http_upstream_check_cn.html

https://github.com/yaoweibin/nginx_upstream_check_module

在生产环境的实施应用中,需要注意的有 2 点:

1、主要定义好type。由于默认的type是tcp类型,因此假设你服务启动,不管是否初始化完毕,它的端口都会起来,所以此时前段负载均衡器为认为该服务已经可用,其实是不可用状态。

2、注意check_http_send值的设定。由于它的默认值是”GET / HTTP/1.0\r\n\r\n”。假设你的应用是通过http://ip/name访问的,那么这里你的check_http_send值就需要更改为”GET /name HTTP/1.0\r\n\r\n”才可以。针对采用长连接进行检查的,这里增加keep-alive请求头,即”HEAD /name HTTP/1.1\r\nConnection: keep-alive\r\n\r\n”。如果你后端的tomcat是基于域名的多虚拟机,此时你需要通过check_http_send定义host,不然每次访问都是失败,范例:check_http_send “GET /mobileapi HTTP/1.0\r\n HOST www.redhat.sx\r\n\r\n”;

线上环境检测的worker机使用tomcat作为容器,check_http_send需要配置Host(仅需配置即可,值是否正确不重要),否则会一直发送心跳检测,但是一直判定检测失败,示例如下:

upstream bj{
server 1.2.3.4:80;
server 5.6.7.8:80;
check interval=5000 rise=2 fall=2 timeout=1000 type=http;
check_http_send "GET /admin/health_check.htm HTTP/1.0\r\nHost: 127.0.0.1\r\n\r\n";
check_http_expect_alive http_2xx;
}

 

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注