30.企业级反向代理haproxy（4）：haproxy基础配置详解

3.4 基础配置详解

配置文件官方帮助文档

官方文档：

http://cbonte.github.io/haproxy-dconv/
http://cbonte.github.io/haproxy-dconv/2.1/configuration.html

HAProxy 的配置文件 haproxy.cfg 由两大部分组成，分别是global和proxies部分

• global：全局配置段

  进程及安全配置相关的参数
  性能调整相关参数
  Debug参数

• proxies：代理配置段

  defaults: 为frontend，backend，listen提供默认配置
  frontend: 前端，相当于nginx中的server {}
  backend: 后端，相当于nginx中的upstream {}
  listen: 同时拥有前端和后端配置,配置简单,生产推荐使用

3.4.1 global配置

3.4.1.1 global配置参数说明

官方文档：http://cbonte.github.io/haproxy-dconv/2.1/configuration.html#3

chroot  # 锁定运行目录
deamon  # 以守护进程运行
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin process 1   # socket文件
user, group, uid, gid   # 运行haproxy的用户身份
nbproc n    # 开启的haproxy work进程数，默认进程数是一个
#nbthread 1 # 和多进程nbproc配置互斥（版本有关, centos8的haproxy1.8无此问题）,指定每个haproxy进程开启的线程数，默认为每个进程一个线程
# 如果同时启用nbproc和nbthread 会出现以下日志的错误，无法启动服务
Apr 7 14:46:23 haproxy haproxy: [ALERT]097/144623 (1454) : config : cannotenable multiple processes if multiple threads are configured. Please use eithernbproc or nbthread but not both.

cpu-map 1 0     # 绑定haproxy worker进程至指定CPU，将第1个work进程绑定至0号CPU
cpu-map 2 1     # 绑定haproxy worker进程至指定CPU，将第2个work进程绑定至1号CPU

maxconn n       # 每个haproxy进程的最大并发连接数
maxsslconn n    # 每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下
maxconnrate n   # 每个进程每秒创建的最大连接数量
spread-checks n # 后端server状态check随机提前或延迟百分比时间，建议2-5(20%-50%)之间，默认值0
pidfile         # 指定pid文件路径
log 127.0.0.1 local2 info   # 定义全局的syslog服务器;日志服务器需要开启UDP协议，最多可以定义两个

3.4.1.2 多进程和线程

例：多进程和socket文件

[root@centos7 ~]# vim /etc/haproxy/haproxy.cfg
global
    maxconn     100000
    chroot      /apps/haproxy
    stats socket /var/lib/haproxy/haproxy.sock1 mode 600 level admin process 1
    stats socket /var/lib/haproxy/haproxy.sock2 mode 600 level admin process 2
    #uid         200
    #gid         200
    user        haproxy
    group       haproxy
        nbproc          2
    #cpu-map 1 0
    #cpu-map 2 1
    #cpu-map 3 2
    #cpu-mao 4 3
    daemon
    pidfile     /var/lib/haproxy/haproxy.pid
    log         127.0.0.1 local2 info

[root@centos7 ~]# systemctl restart haproxy.service
[root@centos7 ~]# pstree -p |grep haproxy
           |-haproxy(1862)-+-haproxy(1864)
           |               `-haproxy(1865)
[root@centos7 ~]# ll /var/lib/haproxy/
total 4
-rw-r--r-- 1 root root 5 Aug 24 20:30 haproxy.pid
srw------- 1 root root 0 Aug 24 13:54 haproxy.sock  # 原先的socket文件，可以删去
srw------- 1 root root 0 Aug 24 20:30 haproxy.sock1
srw------- 1 root root 0 Aug 24 20:30 haproxy.sock2

3.4.1.3 HAProxy日志配置

HAproxy 本身不记录客户端的访问日志，此外为减少服务器负载，一般生产中HAProxy不记录日志

也可以配置HAProxy利用rsyslog服务记录日志到指定日志文件中

3.4.1.3.1 HAProxy配置

# 在global配置项定义:
log 127.0.0.1 local{1-7} info   # 基于syslog记录日志到指定设备，级别有(err、warning、info、debug)

listen web_port
    bind 127.0.0.1:80
    mode http
    log global  # 开启当前web_port的日志功能，默认不记录日志
    server web1 127.0.0.1:8080 check inter 3000 fall 2 rise 5

# systemctl restart haproxy

3.4.1.3.2 Rsyslog配置

vim /etc/rsyslog.conf
$ModLoad imudp      # 取消注释
$UDPserverRun 514   # 取消注释
......
local2.*    /var/log/haproxy.log    # 注意跟haproxy.cfg文件里的localn一致
......

# systemctl restart rsyslog

3.4.1.3.3 验证HAProxy日志

重启syslog服务并访问app页面，然后验证是否生成日志

[root@centos7 ~]# tail -f /var/log/haproxy.log
Aug 24 21:52:07 localhost haproxy[2941]: Connect from 10.0.0.1:14040 to 10.0.0.7:9999 (stats/HTTP)
Aug 24 22:00:53 localhost haproxy[2940]: Connect from 10.0.0.1:3554 to 10.0.0.7:9999 (stats/HTTP)
Aug 24 22:00:54 localhost haproxy[2940]: Connect from 10.0.0.1:3554 to 10.0.0.7:9999 (stats/HTTP)

3.4.1.3.4 实战案例：启动本地和远程日志

[root@centos7 ~]# vim /etc/haproxy/haproxy.cfg
    log         127.0.0.1 local2 info
    log         10.0.0.8  local2 info

[root@centos7 ~]# systemctl restart haproxy.service

# 开启本地日志
[root@centos7 ~]# vim /etc/rsyslog.conf
$ModLoad imudp
$UDPServerRun 514
......
local2.*                                                /var/log/haproxy.log

[root@centos7 ~]# systemctl restart rsyslog.service

# 开启远程主机日志
[root@centos8 ~]# vim /etc/rsyslog.conf
module(load="imudp") # needs to be done just once
input(type="imudp" port="514")
......
local2.*                                                /var/log/haproxy.log

[root@centos8 ~]# systemctl restart haproxy.service

# 用浏览器访问：http://10.0.0.7:9999/haproxy-status,观察本机和远程主机生成的日志
[root@centos7 ~]# tail -f -n0 /var/log/haproxy.log 
Aug 24 22:24:44 localhost haproxy[3327]: Connect from 10.0.0.1:3253 to 10.0.0.7:9999 (stats/HTTP)
Aug 24 22:24:45 localhost haproxy[3327]: Connect from 10.0.0.1:3253 to 10.0.0.7:9999 (stats/HTTP)
Aug 24 22:24:46 localhost haproxy[3327]: Connect from 10.0.0.1:3253 to 10.0.0.7:9999 (stats/HTTP)

[root@centos8 ~]# tail -f -n0 /var/log/haproxy.log
Aug 24 22:24:44 10.0.0.7 haproxy[3327]: Connect from 10.0.0.1:3253 to 10.0.0.7:9999 (stats/HTTP)
Aug 24 22:24:45 10.0.0.7 haproxy[3327]: Connect from 10.0.0.1:3253 to 10.0.0.7:9999 (stats/HTTP)
Aug 24 22:24:46 10.0.0.7 haproxy[3327]: Connect from 10.0.0.1:3253 to 10.0.0.7:9999 (stats/HTTP)

3.4.2 Proxies配置

官方文档：http://cbonte.github.io/haproxy-dconv/2.1/configuration.html#4

defaults [<name>] # 默认配置项，针对以下的frontend、backend和listen生效，可以多个name也可以没有name
frontend <name>       # 前端servername，类似于Nginx的一个虚拟主机server和LVS服务集群。
backend <name>        # 后端服务器组，等于nginx的upstream和LVS中的RS服务器
listen <name>     # 将frontend和backend合并在一起配置，相对于frontend和backend配置更简洁，生产常用

注意：name字段只能使用大小写字母，数字，'-'(dash), '_'(underscore), '.'(dot)和 ':'(colon)，并且严格区分大小写

3.4.2.1 Proxies配置-defaults

defaults 配置参数：

option redispatch       # 当server Id对应的服务器挂掉后，强制定向到其他健康的服务器，重新派发
option abortonclose     # 当服务器负载很高时，自动结束掉当前队列处理比较久的连接，针对业务情况选择开启
option http-keep-alive  # 开启与客户端的会话保持
option forwardfor       # 透传客户端真实IP至后端web服务器
mode http|tcp           # 设置默认工作类型,使用TCP服务器性能更好，减少压力
timeout http-keep-alive 120s    # session会话保持超时时间，此时间段内会转发到相同的后端服务器
timeout connect 120s    # 客户端请求从haproxy到后端server最长连接等待时间(TCP连接之前)，默认单位ms
timeout server 600s     # 客户端请求从haproxy到后端服务端的请求处理超时时长(TCP连接之后)，默认单位ms，如果超时，会出现502错误，此值建议设置较大些，防止502错误
timeout client 600s     # 设置haproxy与客户端的最长非活动时间，默认单位ms，建议和timeout server相同
timeout check 5s        # 对后端服务器的默认检测超时时间
default-server inter 1000 weight 3  # 指定后端服务器的默认设置

3.4.2.2 Proxies配置-listen简化配置

使用listen替换 frontend和backend的配置方式，可以简化设置，通常只用于TCP协议的应用

# 官网业务访问入口
[root@centos7 ~]# vim /etc/haproxy/haproxy.cfg
listen web_port_80
    bind 10.0.0.7:80
    mode http
    option forwardfor
    server web1 10.0.0.17:8080 check inter 3000 fall 3 rise 5
    server web2 10.0.0.27:8080 check inter 3000 fall 3 rise 5

3.4.2.3 Proxies配置-frontend

frontend 配置参数：

bind:   # 指定HAProxy的监听地址，可以是IPV4或IPV6，可以同时监听多个IP或端口，可同时用于listen字段中

# 格式:
bind [<address>]:<port_range> [, ...] [param*]

# 注意: 如果需要绑定在非本机的IP，需要开启内核参数: net.ipv4.ip_nonlocal_bind=1

backlog <backlog> # 针对所有server配置,当前端服务器的连接数达到上限后的后援队列长度，注意:不支持backend

例：

listen http_proxy   # 监听http的多个IP的多个端口和sock文件
    bind :80,:443,:8801-8810
    bind 10.0.0.1:10080,10.0.0.1:10443
    bind /var/run/ssl-frontend.sock user root mode 600 accept-proxy

listen http_https_proxy     # https监听
    bind :80
    bind :443 ssl crt /etc/haproxy/site.pem # 公钥和私钥公共文件

listen http_https_proxy_explicit    # 监听ipv6、ipv4和unix sock文件
    bind ipv6@:80
    bind ipv4@public_ssl:443 ssl crt /etc/haproxy/site.pem
    bind unix@ssl-frontend.sock user root mode 600 accept-proxy

listen external_bind_app1   # 监听file descriptor
    bind "fd@${FD_APP1}"

生产示例：

frontend waluna_web_port    # 可以采用后面形式命名:业务-服务-端口号
    bind :80,:8080
    bind 10.0.0.7:10080,:8801-8810,10.0.0.17:9001-9010
    mode http|tcp   # 指定负载协议类型
    use_backend <backend_name>    # 调用的后端服务器组名称

3.4.2.4 Proxies配置-backend

定义—组后端服务器，backend服务器将被frontend进行调用

注意：backend 的名称必须唯一，并且必须在listen或frontend中事先定义才可以使用，否则服务无法启动

mode http|tcp   # 指定负载协议类型,和对应的frontend必须一致
option          # 配置选项
server          # 定义后端real server,必须指定IP和端口

注意：option后面加httpchk, smtpchk, mysql-check, pgsql-check, ssl-hello-chk方法，可用于实现更多应用层检测功能。

server配置

# 针对一个server配置
check   # 对指定real进行健康状态检查，如果不加此设置，默认不开启检查,只有check后面没有其它配置也可以启用检查功能
        # 默认对相应的后端服务器IP和端口,利用TCP连接进行周期性健康性检查,注意必须指定端口才能实现健康性检查
    addr <IP> # 可指定的健康状态监测IP，可以是专门的数据网段，减少业务网络的流量
    port <num>    # 指定的健康状态监测端口
    inter <num>   # 健康状态检查间隔时间，默认2000 ms
    fall <num>    # 后端服务器从线上转为线下的检查的连续失效次数，默认为3
    rise <num>    # 后端服务器从下线恢复上线的检查的连续有效次数，默认为2

weight <weight>   # 默认为1，最大值为256，0(状态为蓝色)表示不参与负载均衡，但仍接受持久连接
backup          # 将后端服务器标记为备份状态,只在所有非备份主机down机时提供服务，类似Sorry Server
disabled        # 将后端服务器标记为不可用状态，即维护状态，除了持久模式，将不再接受连接，状态为深黄色
redirect prefix http://www.baidu.com/   # 将请求临时(302)重定向至其它URL，只适用于http模式
redir http://www.baidu.com  # 将请求临时(302)重定向至其它URL，只适用于http模式
maxconn <maxconn> # 当前后端server的最大并发连接数

3.4.2.5 frontend+backend配置实例

例1：

frontend waluna-test-http
    bind :80,:8080
    mode tcp
    use_backend waluna-test-http-nodes

backend waluna-test-http-nodes
    mode tcp
    default-server inter 1000 weight 6
    server web1 10.0.0.17:80 weight 2 check addr 10.0.0.117 port 8080
    server web1 10.0.0.27:80 check

例2：

# 官网业务访问入口
frontend WEB_PORT_80
    bind 10.0.0.7:80
    mode http
    use_backend web_prot_http_nodes

backend web_port_http_nodes
    mode http
    option forwardfor
    server 10.0.0.17 10.0.0.17:8080 check inter 3000 fall 3 rise 5
    server 10.0.0.27 10.0.0.27:8080 check inter 3000 fall 3 rise 5

3.4.3 使用子配置文件保存配置

当业务众多时，将所有配置都放在一个配置文件中，会造成维护困难。可以考虑按业务分类，将配置信息拆分，放在不同的子配置文件中，从而达到方便维护的目的。

# 创建子配置目录
[root@centos7 ~]# mkdir /etc/haproxy/conf.d

# 创建子配置文件，注意：必须为cfg后缀，并且为非.开头的配置文件（即不能为隐藏文件）
[root@centos7 ~]# vim /etc/haproxy/conf.d/test.cfg
[root@centos7 ~]# cat /etc/haproxy/conf.d/test.cfg
listen WEB_PORT_80
    bind 10.0.0.7:80
    mode http
    balance roundrobin
    server 10.0.0.17:80 check inter 3000 fall 3 rise 5
    server 10.0.0.27:80 check inter 3000 fall 3 rise 5

# 添加子配置目录到unit文件中
[root@centos7 ~]# vim /lib/systemd/system/haproxy.service
[root@centos7 ~]# cat /lib/systemd/system/haproxy.service
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.service

[Service]
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d/ -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d/ -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -user2 $MAINPID

[Install]
WantedBy=multi-user.target
[root@centos7 ~]# systemctl daemon-reload
[root@centos7 ~]# systemctl restart haproxy.service