原创

Heartbeat + haproxy + MySQL双主复制 实现读写负载均衡及高可用

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://wxy0327.blog.csdn.net/article/details/81218318

目录

一、中间件简述

1. Heartbeat简介

2. haproxy简介

二、安装配置

1. 基本环境

2. 配置MySQL双主复制

3. 安装配置haproxy

4. 安装配置Heartbeat

5. 创建MySQL服务检测脚本

三、功能测试

1. 验证haproxy的负载均衡轮询策略

2. 验证MySQL的高可用性

3. 验证宕机重新上线后自动添加到haproxy中

4. 验证haproxy的高可用性

四、总结

参考:


        上一篇我们使用Heartbeat的HA功能,实现MySQL主从复制的自动故障切换。它的工作原理是:当Heartbeat启动时,会将VIP绑定到haresources文件中指定的主机上。自定义mysql_check检查脚本,定期(例子中为三秒钟)检查本机MySQL的服务器状态,如果MySQL不可用,则停止本机的Heartbeat服务。Heartbeat每秒钟(由keepalive参数指定)会检查一次本机心跳,如果不存在,则将VIP绑定到另一台机器上,同时调用remove_slave脚本执行从库切换为主库的操作。

        本篇我们将做另一个实验,利用haproxy实现MySQL双主复制的读写负载均衡与MySQL的高可用,同时用Heartbeat保证两台负载均衡器的高可用性。

一、中间件简述

1. Heartbeat简介

        参见https://blog.csdn.net/wzy0623/article/details/81188814#一、Heartbeat简介

2. haproxy简介

        haproxy是一个开源的高性能的反向代理或者说是负载均衡服务软件之一,它支持双机热备、虚拟主机、基于TCP和HTTP应用代理等功能。其配置简单,而且拥有很好的对服务器节点的健康检查功能(相当于keepalived健康检查),当其代理的后端服务器出现故障时,haproxy会自动的将该故障服务器摘除,当服务器的故障恢复后haproxy还会自动重新添加回服务器主机。

        haproxy实现了一种事件驱动、单一进程模型,此模型支持非常大的并发连接数。多进程或多线程模型受内存限制、系统调度器限制以及无处不在的锁限制,很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space)实现所有这些任务,所以没有这些问题。此模型的弊端是,在多核系统上,这些程序通常扩展性较差。这就是为什么必须对其进行优化以使每个CPU时间片(Cycle)做更多的工作。

        haproxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。haproxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进当前架构中,同时可以保护web服务器不被暴露到网络上。

        haproxy软件引入了frontend,backend的功能,frontend(acl规则匹配)可以根据任意HTTP请求头做规则匹配,然后把请求定向到相关的backend(server pools等待前端把请求转过来的服务器组)。通过frontend和backend,我们可以很容易的实现haproxy的7层代理功能。

二、安装配置

1. 基本环境

        OS:CentOS Linux release 7.2.1511 (Core)
        172.16.1.126:Heartbeat + haproxy + MySQL Replication Master 
        172.16.1.127:Heartbeat + haproxy + MySQL Replication Master
        172.16.1.100:VIP

        整体架构图如图1所示。

图1

 

2. 配置MySQL双主复制

        所谓MySQL双主复制,就是两个MySQL服务器都能读能写,数据记录通过二进制传达给对方从而保持数据的一致性。就本例简而言之,172.16.1.126到172.16.1.127的主从复制 + 172.16.1.127到172.16.1.126的主从复制 = 172.16.1.126、172.16.1.127的双主复制。双主复制的详细配置步骤可以参考这篇文章:http://www.cnblogs.com/phpstudy2015-6/p/6485819.html#_label7,这里从略。

        与主从复制相比,双主复制需要注意以下三个参数的设置:

  • log_slave_updates:要设置为true,将复制事件写入本机binlog。一台服务器既做主库又做从库时此选项必须要开启。
  • auto_increment_offset和auto_increment_increment:为避免自增列冲突,需要设置这两个参数,例如在双主复制中,可以配置如下:
    # masterA自增长ID
    auto_increment_offset = 1
    auto_increment_increment = 2   #奇数ID
    # masterB自增加ID
    auto_increment_offset = 2
    auto_increment_increment = 2   #偶数ID

     

3. 安装配置haproxy

        以下步骤用root用户在172.16.1.126、172.16.1.127两个主机上执行。

(1)从以下地址下载haproxy源码
https://www.haproxy.org/download/1.8/src/haproxy-1.8.12.tar.gz

(2)创建HAProxy运行账户和组

groupadd haproxy #添加haproxy组
useradd -g haproxy haproxy -s /bin/false #创建账户haproxy并加入到haproxy组

(3)解压

tar zxvf haproxy-1.8.12.tar.gz
cd haproxy-1.8.12

(4)查看操作系统版本信息

[root@hdp3~/haproxy-1.8.12]#uname -r
3.10.0-327.el7.x86_64
[root@hdp3~/haproxy-1.8.12]#

(5)编译与安装

make TARGET=linux3100 CPU=x86_64 PREFIX=/usr/local/haprpxy
make install PREFIX=/usr/local/haproxy

        参数说明:

  • TARGET:使用uname -r查看内核,如:2.6.18-371.el5,此时该参数就为linux26。kernel 等于2.6.28的用:TARGET=linux2628,等等。
  • CPU:使用uname -r查看系统信息,如x86_64 GNU/Linux,此时该参数就为x86_64。
  • PREFIX:指定haprpxy安装路径。

(6)设置HAProxy

mkdir -p /usr/local/haproxy/conf #创建配置文件目录
mkdir -p /etc/haproxy #创建配置文件目录
touch /usr/local/haproxy/conf/haproxy.cfg #创建配置文件
ln -s /usr/local/haproxy/conf/haproxy.cfg /etc/haproxy/haproxy.cfg #添加配置文件软连接
cp -r /root/haproxy-1.8.12/examples/errorfiles /usr/local/haproxy/errorfiles #拷贝错误页面
ln -s /usr/local/haproxy/errorfiles /etc/haproxy/errorfiles #添加软连接
mkdir -p /usr/local/haproxy/log #创建日志文件目录
touch /usr/local/haproxy/log/haproxy.log #创建日志文件
ln -s /usr/local/haproxy/log/haproxy.log /var/log/haproxy.log #添加软连接
cp /root/haproxy-1.8.12/examples/haproxy.init /etc/rc.d/init.d/haproxy #拷贝开机启动文件
chmod +x /etc/rc.d/init.d/haproxy #添加脚本执行权限
chkconfig haproxy on #设置开机启动
ln -s /usr/local/haproxy/sbin/haproxy /usr/sbin #添加软连接

(7)配置haproxy.cfg参数
        编辑/usr/local/haproxy/conf/haproxy.cfg,内容如下: 

global
    log         127.0.0.1 local2           # 日志定义级别(err | warning | info | debug)
    chroot      /usr/local/haproxy         # 当前工作目录
    pidfile     /var/run/haproxy.pid       # 进程id
    maxconn     4000                       # 最大连接数
    user        haproxy                    # 运行改程序的用户
    group       haproxy
    daemon                                 # 后台形式运行
    stats socket /usr/local/haproxy/stats

defaults
    mode                    tcp            # haproxy运行模式(http | tcp | health)
    log                     global         # 采用全局定义的日志
    option                  dontlognull    # 不记录健康检查的日志信息
    option                  redispatch     # serverId对应的服务器挂掉后,强制定向到其他健康的服务器
    retries                 3              # 三次连接失败则服务器不用
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s            # 连接超时
    timeout client          1m             # 客户端超时
    timeout server          1m             # 服务器超时
    timeout http-keep-alive 10s
    timeout check           10s            # 心跳检测
    maxconn                 600            # 最大连接数

listen stats                               # 配置haproxy状态页(用来查看的页面)
    mode http
    bind :8888
    stats enable
    stats hide-version                     # 隐藏haproxy版本号
    stats uri     /haproxyadmin?stats      # 一会用于打开状态页的uri
    stats realm   Haproxy\ Statistics      # 输入账户密码时的提示文字
    stats auth    admin:admin              # 用户名:密码

frontend  main 
    bind 0.0.0.0:6603
    # 使用6603端口。监听前端端口(表示任何ip访问6603端口都会将数据轮番转发到mysql服务器群组中)
    default_backend             mysql      # 后端服务器组名

backend mysql
    balance     roundrobin                 # 使用轮询方式调度
    server mysql1 172.16.1.126:3306 check port 3306 maxconn 300
    server mysql2 172.16.1.127:3306 check port 3306 maxconn 300

(8)启动日志
        编辑/etc/rsyslog.conf文件,去掉以下两行的注释,并在其后添加一行:

# Provides TCP syslog reception
$ModLoad imtcp                   # 去掉注释
$InputTCPServerRun 514           # 去掉注释
local2.*   /var/log/haproxy.log  # 添加此行

(9)启动haproxy

systemctl start haproxy
systemctl status haproxy -l
systemctl stop haproxy
systemctl restart haproxy

        此时打开浏览器输入172.16.1.126:8888/haproxyadmin?stats,用admin/admin登陆后如图2所示,表明安装haproxy成功。

图2

 

4. 安装配置Heartbeat

        Heartbeat的源码编译安装需要依次安装Cluster Glue、Resource Agents和Heartbeat 三个软件,并且三个软件要安装在相同目录下。详细安装配置步骤参考:https://blog.csdn.net/wzy0623/article/details/81188814#二、安装Heartbeat

        这里需要注意的是haresources的设置。在上一篇中,我们建立了一个名为mysql的脚本,它调用remove_slave.sh。当Heartbeat主机获得资源时,将自动把MySQL主从复制中的slave置为master。这次我们用/usr/local/heartbeat/etc/ha.d/haresources来启动haproxy,文件内容只有如下一行:

hdp3 172.16.1.100 haproxy

        而/usr/local/heartbeat/etc/ha.d/resource.d/haproxy文件中也只有如下一行:

/etc/init.d/haproxy restart

        资源只有VIP,我们用这种配置保证haproxy的高可用性。当初始启动Heartbeat后,VIP绑定在172.16.1.126上。

5. 创建MySQL服务检测脚本

        与上一篇的实验类似,这里保留自定义mysql_check脚本用于检查本机MySQL的服务器状态。脚本内容与部署参见https://blog.csdn.net/wzy0623/article/details/81188814#4.%20创建MySQL服务检测脚本

三、功能测试

1. 验证haproxy的负载均衡轮询策略

        用客户端连接VIP,并多次执行MySQL查询,可以看到查询请求依次被发送到在两个主机上执行。

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:\WINDOWS\system32>

2. 验证MySQL的高可用性

        在172.16.1.126上杀掉MySQL:

pkill -9 mysqld

        用客户端连接VIP,并多次执行MySQL查询,可以看到查询请求都被发送到172.16.1.127。一台MySQL宕机不影响应用的正常使用,保证了MySQL服务的高可用性。

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"\
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:\WINDOWS\system32>

3. 验证宕机重新上线后自动添加到haproxy中

        在172.16.1.126再次启动MySQL,并重启haproxy服务:

service mysql start
systemctl restart haproxy

        用客户端连接VIP,并多次执行MySQL查询,可以看到查询请求依次被发送到在两个主机上执行。

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"\
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"\
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"\
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"\
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:\WINDOWS\system32>

4. 验证haproxy的高可用性

        初始VIP在126,126的haproxy启动,127的haproxy停止。客户端访问:

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"\
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"\
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"\
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"\
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:\WINDOWS\system32>

        停止172.16.1.126上的MySQL服务:

pkill -9 mysqld

        mysql_check会检测到本机MySQL服务宕机,触发停止heartbeat服务。VIP漂移到172.16.1.127,同时172.16.1.127上的haproxy被拉起:

[root@hdp4~]#ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
    link/ether 00:50:56:a5:49:7f brd ff:ff:ff:ff:ff:ff
    inet 172.16.1.127/24 brd 172.16.1.255 scope global ens160
       valid_lft forever preferred_lft forever
    inet 172.16.1.100/24 brd 172.16.1.255 scope global secondary ens160:0
       valid_lft forever preferred_lft forever
    inet6 fe80::250:56ff:fea5:497f/64 scope link 
       valid_lft forever preferred_lft forever
[root@hdp4~]#
[root@hdp4~]#
[root@hdp4~]#/etc/init.d/haproxy status
● haproxy.service - SYSV: HA-Proxy is a TCP/HTTP reverse proxy which is particularly suited for high availability environments.
   Loaded: loaded (/etc/rc.d/init.d/haproxy)
   Active: active (running) since Thu 2018-07-26 11:25:47 CST; 26s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 532199 ExecStop=/etc/rc.d/init.d/haproxy stop (code=exited, status=0/SUCCESS)
  Process: 532205 ExecStart=/etc/rc.d/init.d/haproxy start (code=exited, status=0/SUCCESS)
 Main PID: 532210 (haproxy)
   CGroup: /system.slice/haproxy.service
           └─532210 /usr/sbin/haproxy -D -f /etc/haproxy/haproxy.cfg -p /var/run/haproxy.pid

Jul 26 11:25:47 hdp4 systemd[1]: Starting SYSV: HA-Proxy is a TCP/HTTP reverse proxy which is particularly suite...ts....
Jul 26 11:25:47 hdp4 haproxy[532205]: Starting haproxy: [  OK  ]
Jul 26 11:25:47 hdp4 systemd[1]: Started SYSV: HA-Proxy is a TCP/HTTP reverse proxy which is particularly suited...ents..
Hint: Some lines were ellipsized, use -l to show in full.
[root@hdp4~]#

        客户端访问不受影响:

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"\
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"\
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"\
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 126   |
+---------------+-------+

C:\WINDOWS\system32>mysql -utest -p123456 -P6603 -h172.16.1.100 -e "show variables like 'server_id'"\
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 127   |
+---------------+-------+

C:\WINDOWS\system32>

        在172.16.1.126上再次启动heartbeat,VIP并不发生漂移,仍然停留在172.16.1.127上。

[root@hdp3~]#systemctl start heartbeat
[root@hdp3~]#
[root@hdp3~]#
[root@hdp3~]#ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:50:56:a5:0f:77 brd ff:ff:ff:ff:ff:ff
    inet 172.16.1.126/24 brd 172.16.1.255 scope global ens32
       valid_lft forever preferred_lft forever
    inet6 fe80::250:56ff:fea5:f77/64 scope link 
       valid_lft forever preferred_lft forever
[root@hdp3~]#

四、总结

  1. 之所以要使用MySQL双主复制而不是主从复制,是因为本方案中并没有涉及读写分离,而是在两个等价的MySQL服务器之间做读写负载均衡。
  2. Heartbeat利用实现了haproxy的HA,避免了haproxy的单点故障,出现故障时可以自动切换到正常的节点。
  3. haproxy服务器提供了负载均衡的作用,将用户请求分发到多个backend。同时,一台MySQL故障并不会影响整个集群,因为haproxy会检测backend的状态,并据此自动添加或删除集群中的MySQL服务。
  4. 如本例的配置,需要考虑单台MySQL服务器的负载最好不要超过50%,否则一旦某台MySQL服务器故障,可能出现另一台正常MySQL不堪重负的情况。
  5. 只采用本例的配置无法处理“脑裂”问题。例如,当心跳线闪断,slave获得VIP,而此时master除了与slave失去联系,本身并无任何问题,也绑定同一VIP。当心跳恢复正常时,就会出现VIP的冲突等问题。脑裂是一个比较复杂的话题,通常需要引入其它插件,并且“多管齐下”才能彻底解决。

参考:

文章最后发布于: 2018-07-26 13:47:10
展开阅读全文
0 个人打赏
私信求帮助

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览