MySQL高可用方案MHA的部署和原理

Wed Jul 20 15:49:58 2016 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Wed Jul 20 15:49:58 2016 - [info] Reading application default configuration from /etc/masterha/app1.cnf..
Wed Jul 20 15:49:58 2016 - [info] Reading server configuration from /etc/masterha/app1.cnf..
Wed Jul 20 15:49:58 2016 - [info] MHA::MasterMonitor version 0.56.
Wed Jul 20 15:49:59 2016 - [info] GTID failover mode = 0Wed Jul 20 15:49:59 2016 - [info] Dead Servers:
Wed Jul 20 15:49:59 2016 - [info] Alive Servers:
Wed Jul 20 15:49:59 2016 - [info]   192.168.244.10(192.168.244.10:3306)
Wed Jul 20 15:49:59 2016 - [info]   192.168.244.20(192.168.244.20:3306)
Wed Jul 20 15:49:59 2016 - [info]   192.168.244.30(192.168.244.30:3306)
Wed Jul 20 15:49:59 2016 - [info] Alive Slaves:
Wed Jul 20 15:49:59 2016 - [info]   192.168.244.20(192.168.244.20:3306)  Version=5.6.31-log (oldest major version between slaves) log-bin:enabled
Wed Jul 20 15:49:59 2016 - [info]     Replicating from 192.168.244.10(192.168.244.10:3306)
Wed Jul 20 15:49:59 2016 - [info]     Primary candidate for the new Master (candidate_master is set)
Wed Jul 20 15:49:59 2016 - [info]   192.168.244.30(192.168.244.30:3306)  Version=5.6.31-log (oldest major version between slaves) log-bin:enabled
Wed Jul 20 15:49:59 2016 - [info]     Replicating from 192.168.244.10(192.168.244.10:3306)
Wed Jul 20 15:49:59 2016 - [info] Current Alive Master: 192.168.244.10(192.168.244.10:3306)
Wed Jul 20 15:49:59 2016 - [info] Checking slave configurations..
Wed Jul 20 15:49:59 2016 - [info] Checking replication filtering settings..
Wed Jul 20 15:49:59 2016 - [info]  binlog_do_db= , binlog_ignore_db= Wed Jul 20 15:49:59 2016 - [info]  Replication filtering check ok.
Wed Jul 20 15:49:59 2016 - [info] GTID (with auto-pos) is not supported
Wed Jul 20 15:49:59 2016 - [info] Starting SSH connection tests..
Wed Jul 20 15:50:17 2016 - [info] All SSH connection tests passed successfully.
Wed Jul 20 15:50:17 2016 - [info] Checking MHA Node version..
Wed Jul 20 15:50:18 2016 - [info]  Version check ok.
Wed Jul 20 15:50:18 2016 - [info] Checking SSH publickey authentication settings on the current master..
Wed Jul 20 15:50:20 2016 - [info] HealthCheck: SSH to 192.168.244.10 is reachable.
Wed Jul 20 15:50:21 2016 - [info] Master MHA Node version is 0.56.
Wed Jul 20 15:50:21 2016 - [info] Checking recovery script configurations on 192.168.244.10(192.168.244.10:3306)..
Wed Jul 20 15:50:21 2016 - [info]   Executing command: save_binary_logs --command=test --start_pos=4 --binlog_dir=/var/lib/mysql --output_file=/tmp/save_binary_logs_test --manager_version=0.56 --start_file=mysqld-bin.000002 Wed Jul 20 15:50:21 2016 - [info]   Connecting to root@192.168.244.10(192.168.244.10:22).. 
  Creating /tmp if not exists..    ok.
  Checking output directory is accessible or not..
   ok.
  Binlog found at /var/lib/mysql, up to mysqld-bin.000002Wed Jul 20 15:50:23 2016 - [info] Binlog setting check done.
Wed Jul 20 15:50:23 2016 - [info] Checking SSH publickey authentication and checking recovery script configurations on all alive slave servers..
Wed Jul 20 15:50:23 2016 - [info]   Executing command : apply_diff_relay_logs --command=test --slave_user='monitor' --slave_host=192.168.244.20 --slave_ip=192.168.244.20 --slave_port=3306 --workdir=/tmp --target_version=5.6.31-log --manager_version=0.56 --relay_log_info=/var/lib/mysql/relay-log.info  --relay_dir=/var/lib/mysql/  --slave_pass=xxx
Wed Jul 20 15:50:23 2016 - [info]   Connecting to root@192.168.244.20(192.168.244.20:22).. 
  Checking slave recovery environment settings..
    Opening /var/lib/mysql/relay-log.info ... ok.
    Relay log found at /var/lib/mysql, up to mysqld-relay-bin.000004
    Temporary relay log file is /var/lib/mysql/mysqld-relay-bin.000004
    Testing mysql connection and privileges..Warning: Using a password on the command line interface can be insecure. done.
    Testing mysqlbinlog output.. done.
    Cleaning up test file(s).. done.
Wed Jul 20 15:50:28 2016 - [info]   Executing command : apply_diff_relay_logs --command=test --slave_user='monitor' --slave_host=192.168.244.30 --slave_ip=192.168.244.30 --slave_port=3306 --workdir=/tmp --target_version=5.6.31-log --manager_version=0.56 --relay_log_info=/var/lib/mysql/relay-log.info  --relay_dir=/var/lib/mysql/  --slave_pass=xxx
Wed Jul 20 15:50:28 2016 - [info]   Connecting to root@192.168.244.30(192.168.244.30:22).. 
  Checking slave recovery environment settings..
    Opening /var/lib/mysql/relay-log.info ... ok.
    Relay log found at /var/lib/mysql, up to mysqld-relay-bin.000008
    Temporary relay log file is /var/lib/mysql/mysqld-relay-bin.000008
    Testing mysql connection and privileges..Warning: Using a password on the command line interface can be insecure. done.
    Testing mysqlbinlog output.. done.
    Cleaning up test file(s).. done.
Wed Jul 20 15:50:32 2016 - [info] Slaves settings check done.
Wed Jul 20 15:50:32 2016 - [info] 
192.168.244.10(192.168.244.10:3306) (current master) +--192.168.244.20(192.168.244.20:3306) +--192.168.244.30(192.168.244.30:3306)
Wed Jul 20 15:50:32 2016 - [info] Checking replication health on 192.168.244.20..
Wed Jul 20 15:50:32 2016 - [info]  ok.
Wed Jul 20 15:50:32 2016 - [info] Checking replication health on 192.168.244.30..
Wed Jul 20 15:50:32 2016 - [info]  ok.
Wed Jul 20 15:50:32 2016 - [info] Checking master_ip_failover_script status:
Wed Jul 20 15:50:32 2016 - [info]   /usr/local/bin/master_ip_failover --command=status --ssh_user=root --orig_master_host=192.168.244.10 --orig_master_ip=192.168.244.10 --orig_master_port=3306 Wed Jul 20 15:50:32 2016 - [info]  OK.
Wed Jul 20 15:50:32 2016 - [warning] shutdown_script is not defined.
Wed Jul 20 15:50:32 2016 - [info] Got exit code 0 (Not master dead).
MySQL Replication Health is OK.

    检查通过~   八、 检查MHA Manager的状态

# masterha_check_status --conf=/etc/masterha/app1.cnf 
app1 is stopped(2:NOT_RUNNING).

        如果正常，会显示“PING_OK”，否则会显示“NOT_RUNNING”，代表MHA监控还没有开启。   九、开启MHA Manager监控       # nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /masterha/app1/manager.log 2>&1 &       其中，       remove_dead_master_conf：该参数代表当发生主从切换后，老的主库的IP将会从配置文件中移除。       ignore_last_failover：在默认情况下，MHA发生切换后将会在/masterha/app1下产生app1.failover.complete文件，下次再次切换的时候如果发现该目录下存在该文件且两次切换的时间间隔不足8小时的话，将不允许触发切换。除非在第一次切换后手动rm -rf /masterha/app1/app1.failover.complete。该参数代表忽略上次MHA触发切换产生的文件。      查看MHA Manager监控是否正常

# masterha_check_status --conf=/etc/masterha/app1.cnf 
app1 (pid:1873) is running(0:PING_OK), master:192.168.244.10

  十、 关闭MHA Manager监控

# masterha_stop --conf=/etc/masterha/app1.cnf 
Stopped app1 successfully.
[1]+  Exit 1                  nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /masterha/app1/manager.log 2>&1

至此，MHA部分配置完毕，下面，来配置VIP。   十一、VIP配置 VIP配置可以采用两种方式，一是通过引入Keepalived来管理VIP，另一种是在脚本中手动管理。 对于keepalived管理VIP，存在脑裂情况，即当主从网络出现问题时，slave会抢占VIP，这样会导致主从数据库都持有VIP，造成IP冲突，所以在网络不是很好的情况下，不建议采用keepalived服务。 在实际生产中使用较多的也是第二种，即在脚本中手动管理VIP，所以，对keepalived不感兴趣的童鞋可直接跳过第一种方式。 1. keepalived管理VIP 1> 安装keepalived     因为我这里设置了Candicate master，故只在Master和Candicate master上安装。     如果没有Candicate master，两个Slave的地位平等，则两个Slave上都需安装keepalived。     # wget http://www.keepalived.org/software/keepalived-1.2.24.tar.gz     # tar xvf keepalived-1.2.24.tar.gz     # cd keepalived-1.2.24     # ./configure --prefix=/usr/local/keepalived     # make     # make install     # cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/     # cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/     # mkdir /etc/keepalived     # cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/     # cp /usr/local/keepalived/sbin/keepalived /usr/sbin/ 2> 为keepalived设置单独的日志文件（非必需）      keepalived的日志默认是输出到/var/log/message中      # vim /etc/sysconfig/keepalived

KEEPALIVED_OPTIONS="-D -d -S 0"

     设置syslog      # vim /etc/rsyslog.conf      添加如下内容：

local0.*           /var/log/keepalived.log

    # service rsyslog restart  2> 配置keepalived      在Master上修改      # vim /etc/keepalived/keepalived.conf

global_defs {
   notification_email {
     slowtech@qq.com 
   }
   notification_email_from root@localhost.localdomain 
   smtp_server 127.0.0.1 
   smtp_connect_timeout 30
   router_id MySQL-HA
}
vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 150
    advert_int 1
    nopreempt
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {        192.168.244.188/24
    }
}

View Code

    关于keepalived的参数的详细介绍，可参考：     LVS+Keepalived搭建MyCAT高可用负载均衡集群     keepalived工作原理和配置说明     将配置文件scp到Candicate master上     # scp /etc/keepalived/keepalived.conf 192.168.244.20:/etc/keepalived/     只需将配置文件中的priority设置为90     注意：我们为什么在这里设置keepalived为backup模式呢？     在master-backup模式下，如果主库宕掉，VIP会自动漂移到Slave上，当主库修复，keepalived启动后，还会将VIP抢过来，即使设置了nopreempt（不抢占）的方     式，该动作仍会发生。但在backup-backup模式下，当主库修改，并启动keepalived后，并不会抢占新主的VIP，即便原主的priority高于新主的。 3> 启动keepalived      先在Master上启动      # service keepalived start

env: /etc/init.d/keepalived: Permission denied

     # chmod +x /etc/init.d/keepalived      # service keepalived start      查看绑定情况      # ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:c6:47:04 brd ff:ff:ff:ff:ff:ff
    inet 192.168.244.10/24 brd 192.168.244.255 scope global eth0
    inet 192.168.244.188/24 scope global secondary eth0
    inet6 fe80::20c:29ff:fec6:4704/64 scope link 
       valid_lft forever preferred_lft forever

View Code

     可见，VIP（192168.244.188）已经绑定到Master的eth0网卡上了。      启动Candicate master的keepalived      # service keepalived start 4> MHA中引入keepalived      编辑/usr/local/bin/master_ip_failover      相对于原文件，修改地方为93-95行

  1 #!/usr/bin/env perl  2   3 #  Copyright (C) 2011 DeNA Co.,Ltd.  4 #  5 #  This program is free software; you can redistribute it and/or modify  6 #  it under the terms of the GNU General Public License as published by  7 #  the Free Software Foundation; either version 2 of the License, or  8 #  (at your option) any later version.  9 # 10 #  This program is distributed in the hope that it will be useful, 11 #  but WITHOUT ANY WARRANTY; without even the implied warranty of 12 #  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the 13 #  GNU General Public License for more details. 14 # 15 #  You should have received a copy of the GNU General Public License 16 #   along with this program; if not, write to the Free Software 17 #  Foundation, Inc., 18 #  51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA 19  20 ## Note: This is a sample script and is not complete. Modify the script based on your environment. 21  22 use strict; 23 use warnings FATAL => 'all'; 24  25 use Getopt::Long; 26 use MHA::DBHelper; 27 my ( 28   $command,        $ssh_user,         $orig_master_host, 29   $orig_master_ip, $orig_master_port, $new_master_host, 30   $new_master_ip,  $new_master_port,  $new_master_user, 31   $new_master_password 32 ); 33  34 GetOptions( 35   'command=s'             => \$command, 36   'ssh_user=s'            => \$ssh_user, 37   'orig_master_host=s'    => \$orig_master_host, 38   'orig_master_ip=s'      => \$orig_master_ip, 39   'orig_master_port=i'    => \$orig_master_port, 40   'new_master_host=s'     => \$new_master_host, 41   'new_master_ip=s'       => \$new_master_ip, 42   'new_master_port=i'     => \$new_master_port, 43   'new_master_user=s'     => \$new_master_user, 44   'new_master_password=s' => \$new_master_password, 45 ); 46  47 exit &main(); 48  49 sub main { 50   if ( $command eq "stop" || $command eq "stopssh" ) { 51  52     # $orig_master_host, $orig_master_ip, $orig_master_port are passed. 53     # If you manage master ip address at global catalog database, 54     # invalidate orig_master_ip here. 55     my $exit_code = 1; 56     eval { 57  58       # updating global catalog, etc 59       $exit_code = 0; 60     }; 61     if ($@) { 62       warn "Got Error: $@\n"; 63       exit $exit_code; 64     } 65     exit $exit_code; 66   } 67   elsif ( $command eq "start" ) { 68  69     # all arguments are passed. 70     # If you manage master ip address at global catalog database, 71     # activate new_master_ip here. 72     # You can also grant write access (create user, set read_only=0, etc) here. 73     my $exit_code = 10; 74     eval { 75       my $new_master_handler = new MHA::DBHelper(); 76  77       # args: hostname, port, user, password, raise_error_or_not 78       $new_master_handler->connect( $new_master_ip, $new_master_port, 79         $new_master_user, $new_master_password, 1 ); 80  81       ## Set read_only=0 on the new master 82       $new_master_handler->disable_log_bin_local(); 83       print "Set read_only=0 on the new master.\n"; 84       $new_master_handler->disable_read_only(); 85  86       ## Creating an app user on the new master 87       #print "Creating app user on the new master..\n"; 88       #FIXME_xxx_create_user( $new_master_handler->{dbh} ); 89       $new_master_handler->enable_log_bin_local(); 90       $new_master_handler->disconnect(); 91  92       ## Update master ip on the catalog database, etc 93       my $cmd; 94       $cmd = 'ssh '.$ssh_user.'@'.$orig_master_ip.' service keepalived stop'; 95       system($cmd); 96       $exit_code = 0; 97     }; 98     if ($@) { 99       warn $@;100 101       # If you want to continue failover, exit 10.102       exit $exit_code;103     }104     exit $exit_code;105   }106   elsif ( $command eq "status" ) {107 108     # do nothing109     exit 0;110   }111   else {112     &usage();113     exit 1;114   }115 }116 117 sub usage {118   print119 "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";120 }

View Code

  2. 通过脚本的方式管理VIP    编辑/usr/local/bin/master_ip_failover

#!/usr/bin/  software; you can redistribute it and/  not,  Franklin Street, Fifth Floor, Boston, MA  -=> = = = = =              =>            =>    =>      =>    =>     =>       =>     =>     => =>& ( $command eq  || $command eq = &=  access (create user, set read_only== =->=->->->->->&= & $ssh_user\@$new_master_host \
    ` $ssh_user\@$new_master_host \ $ssh_user\@$orig_master_host \

  实际生产环境中，推荐这种方式来管理VIP，可有效防止脑裂情况的发生。   至此，MHA高可用环境基本搭建完毕。   关于MHA的常见操作，包括自动Failover，手动Failover，在线切换，可参考另一篇博客： MHA在线切换的步骤和原理 MHA自动Failover与手动Failover的实践及原理   总结： 1. 可单独调试master_ip_failover，master_ip_online_change，send_report等脚本

 /usr/local/bin/master_ip_online_change --command=stop --orig_master_ip=192.168.244.10 --orig_master_host=192.168.244.10 --orig_master_port=3306 --orig_master_user=monitor --orig_master_password=monitor123 --orig_master_ssh_user=root --new_master_host=192.168.244.20 --new_master_ip=192.168.244.20 --new_master_port=3306 --new_master_user=monitor --new_master_password=monitor123 --new_master_ssh_user=root

 

/usr/local/bin/master_ip_failover --command=start --ssh_user=root --orig_master_host=192.168.244.10 --orig_master_ip=192.168.244.10 --orig_master_port=3306 --new_master_host=192.168.244.20 --new_master_ip=192.168.244.20 --new_master_port=3306 --new_master_user='monitor' --new_master_password='monitor123'

   2. 官方对于master_ip_failover，master_ip_online_change，send_report脚本，给出的只是sample，切换的逻辑需要自己定义。      很多童鞋对perl并不熟悉，觉得无从下手，其实，完全可以调用其它脚本，譬如python，shell等。      如：

[root@node4 ~]# cat test.pl
#!/usr/bin/perluse strict;
my $cmd='python /root/test.py';
system($cmd);
[root@node4 ~]# cat test.py
#!/usr/bin/python
print "hello,python"[root@node4 ~]# perl test.pl
hello,python

转自： http://www.cnblogs.com/ivictor/p/5686275.html