登录  
 加关注
查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

SeaRiver Blog

实力才是你一生最好的依靠!

 
 
 

日志

 
 

LVS+Heartbeat实施案例及经验分享  

2009-09-01 16:02:19|  分类: load balancer |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

 


一.基本介绍

背景描述
某大型商业网站由于业务量的发展非常迅速,目前的网站架构根本无法缓解用户访问压力及单点故障。急需一套高可用的负载均衡集群解决方案,http://www.linuxTone.org(IT运维专家网)根据这家商业网站在的状况,部署了一套负载均衡及高可用的集群方案及相关优化,项目实施以后该商业网站得WEB压力得到了很好的解决,访问速度大幅度提升.以下是相关配置文档,拿出来与朋友们分享希望对更多想了解LVS/HA的朋友有帮助。

本文特色
1.介绍LVS+Heartbeat两种案装方法
2.采用heartbeat 2.x style的配置(使用cib.xml)
3.测试日志分析及相关技巧
4.两个在真实案例中的经验分享

二.网络拓朴图及相关描述
[attach]387[/attach]

1.主机名:(/etc/hosts)
  1. 192.168.1.102primarylb.linuxtone.org
  2. 192.168.1.103backuplb.linuxtone.org
复制代码
2.
   VIP[eth0:0] 192.168.1.106
   Realserver1 192.168.1.104
   Realserver2 192.168.1.105
3.Heartbeat心跳线
a)使用一根串口直连线缆(serial null modem cableHeartbeat
b)eth1:10.0.0.110.0.0.2 (交叉线直连Heartbeat)

三.安装Heartbeat[yum安装,编译安装]
1.通过Yum安装Heartbeat
  1. #yuminstall heartbeat-*
  2. //安装HA
  3. #yuminstall heartbeat-ldirectord
  4. //安装ldirectord实现LVS的高可用性
  5. # rpm-qa|grep heartbeat
复制代码
//查看安装相关的包
  1. heartbeat-stonith-2.1.3-3.el5.centos
  2. heartbeat-devel-2.1.3-3.el5.centos
  3. heartbeat-pils-2.1.3-3.el5.centos
  4. heartbeat-2.1.3-3.el5.centos
  5. heartbeat-ldirectord-2.1.3-3.el5.centos
  6. heartbeat-gui-2.1.3-3.el5.centos
复制代码
#rpm -q heartbeat –d
//查看Heartbeat相关doc目录
将相关配置文件拷贝到/etc/ha.d目录下
  1. # cp /usr/share/doc/heartbeat-2.1.3/ha.cf/etc/ha.d/
  2. # cp /usr/share/doc/heartbeat-2.1.3/authkeys/etc/ha.d/
  3. # cp /usr/share/doc/heartbeat-2.1.3/haresources/etc/ha.d
复制代码
2. 编译安装Heartbeat
下载相关软件包:
http://linux-ha.org/DownloadSoftware
http://www.packetfactory.net/libnet/dist/libnet.tar.gz
编译安装
  1. #tar-xvzf libnet.tar.gz
  2. #cdlibnet
  3. #./configure
  4. #make;makeinstall

  5. #groupadd-g 694 haclient
  6. #useradd-u 694 -g haclient hacluster

  7. # tar-xvzf heartbeat-2.1.3.tar.gz
  8. # cdheartbeat-2.1.3
  9. #./ConfigureMe configure
  10. #make;make install

  11. #cpdoc/ha.cf doc/haresources doc/authkeys /etc/ha.d/
  12. #cpldirectord/ldirectord.cf /etc/ha.d/
复制代码
【注意】
heartbeat软件包在RHEL或者CentOS安装盘中都能找到。所需软件包:heartbeatlibnetnet-snmpnet-snmp-libsperl-Compress-Zlibperl- HTML-Parserperl-HTML-Tagsetperl-libwww-perlperl-Mailinuxtoneoolsperl- TimeDateperl-URIipvsadm.以上软件包,有的在rhel5光盘中,有的要在网上搜索的。


. 配置Heartbeat实现服务高可用性.
1.分别配置两台HA的主机名.
#vi /etc/hosts
  1. 192.168.1.102primarylb.linuxtone.org
  2. 192.168.1.103backuplb.linuxtone.org
复制代码
2.
/etc/ha.d/ha.cf 配置介绍
#cd /etc/ha.d
#cat ha.cf|grep -v ^#
  1. logfile/var/log/ha-log
  2. logfacility
  3. local0
  4. keepalive2
  5. deadtime30
  6. warntime10
  7. initdead120
  8. udpport694
  9. baud
  10. 19200
  11. serial
  12. /dev/ttyS0
  13. # Linux
  14. #ucasteth2 10.0.0.3
  15. ucasteth0 192.168.1.103
  16. auto_failbackon
  17. watchdog/dev/watchdog
  18. crm on
  19. nodeprimarylb.linuxtone.org
  20. nodebackuplb.linuxtone.org
  21. ping192.168.1.103
  22. ping_grouplbgroup 10.0.0.1 10.0.0.2
  23. ping_grouplbgroup 192.168.1.102 192.168.1.103
  24. respawnhacluster /usr/lib/heartbeat/ipfail
  25. apiauthipfail gid=haclient uid=hacluster
复制代码
3./etc/ha.d/authkeys
#vi authkeys
  1. auth 1
  2. 1 sha1Hey!
复制代码
#chmod 600 authkeys

4./etc/ha.d/haresources
# cat haresources |grep -v"#"
  1. primarylb.linuxtone.org lvsldirectord
复制代码
5.建立软连接让HA自动接管lvs-dr.sh,ldirectord等资源.
  1. #ln -s /etc/init.d/lvs  /etc/ha.d/resource.d/  //etc/init.d/lvs 存放LVS启动相关脚本
  2. #ln -s /usr/sbin/ldirectord  /etc/ha.d/resource.d
复制代码
6.采用Heartbeat2.x style,利用crm 来管理资源.
  1. #/usr/lib/heartbeat/haresources2cib.py  -stout -c /etc/ha.d/ha.cf/etc/ha.d/haresources
复制代码
将生成的cib.xml文件在/var/lib/heartbeat/crm目录
【注意】
关于crmClusterResource Manager):crm资源配置方法是在新的版本中引入的,如果想使用该格式来配置资源(ip,服务,共享磁盘等),可以参看配置示例:http://www.linux-ha.org/v2/Examples/Simple
/var/lib/heartbeat/crm/cib.xml 文件的作用与/etc/ha.d/haresources相同,是二者择一的关系
# cat/dev/null > haresources
//haresources清空,采用crm来管理资源

7. /etc/ha.d/ldirectord.cf 配置
  1. # GlobalDirectives
  2. checktimeout=3
  3. checkinterval=1
  4. fallback=127.0.0.1:80
  5. autoreload=yes
  6. logfile="/var/log/ldirectord.log"
  7. #logfile="local0"
  8. emailalert="cnseek@gmail.com"
  9. emailalertfreq=3600
  10. emailalertstatus=all
  11. quiescent=no

  12. # Samplefor an http virtual service
  13. virtual=192.168.1.106:80

  14. real=192.168.1.104:80 gate

  15. real=192.168.1.105:80 gate


  16. #fallback=127.0.0.1:80gate

  17. #service=http

  18. #request="index.html"

  19. #receive="Test Page"

  20. #virtualhost=some.domain.com.au

  21. scheduler=wrr

  22. persistent=5

  23. #netmask=255.255.255.255

  24. protocol=tcp


  25. checktype=connect


  26. checkport=80


  27. #request="index.html"


  28. #receive="TestPage"


  29. #virtualhost=www.x.y.z
复制代码
【注意】
Ldirectord的作用是监测Real Server,当RealServer失效时,把它从Load Balancer列表中删除,恢复时重新添加,在安装heartbeat时已经安装了Ldirectord.配置中quiescent=no设置
实现如果Realserver机器down掉以后,立即从IPVS列表中删除,恢复时重新添加.

8.启动Heartbeat服务
# /etc/init.d/heartbeat start

五.测试Heartbeat及日志分析
1.
测试串口线配置是否正常
串行连接通过两个节点的串口,使用一根直连线缆将它们连接起来。现在测试串行连接,如下所示:在 primarylb(接收者)上输入以下内容:
cat < /dev/ttyS0
backuplb(发送者)上输入以下内容:
echo "Serial Connection test!Welcome http://www.linuxtone.org !"> /dev/ttyS0

2. 如果主节点需要维护时,可先将其转移到备份服务器上
/usr/lib/heartbeat/hb_standby(hb_standby命令把资源强迫到迁移到备份服务器)
如果主节点要切回来掌管服务:
/usr/lib/heartbeat/hb_takeover

3. 拔掉网线,测试在primary节点的网络断开后的切换情况
4. 停掉primaryheartbeat(/etc/init.d/heartbeat stop) 查看backup是否能正常接管资源
5. shutdown primary主机,测试是否能够正常切换,基本上和上面测试2差不多。
【注意】

# tail -f /var/log/messages
//在两台负载均衡服务器上注意查看日志变化来排错。

. 相关注意事项及参考


1.项目实施过程遇到的问题及总结.经验分享
以下是项目中遇到的两个问题,提出方便对你有帮助

a)
假如两台VS之间使用的互备关系,那么当一台VS接管LVS服务时,可能会网络不通,这时因为路由器的MAC缓存表里无法及时刷新MAC.关于vip这个地址的MAC地址还是替换的VSMAC,有两种解决方法,一种是修改新VSMAC地址,另一种是使用send_arp /arpiing命令.
arping命令为例.
  1. /sbin/arping -I eth0 -c 3 -s ${vip}${gateway_ip} > /dev/null 2>&1
  2. 例如:
复制代码
  1. /sbin/arping -I eth0 -c 3 -s 192.168.1.6192.168.1.1
复制代码
b)某台Realserver服务down掉以后如何从IPVS列表自动中删除恢复时如何自动添加?配置ldirectord.conf
quiescent=no echo 1 >/proc/sys/net/ipv4/vs/expire_nodest_conn

2ha.cf相关注释
auto_failback设置为on时,一旦主节点重新恢复联机,将从从节点取回所有资源。
Stonith设备是一种能够自动关闭电源来响应软件命令的设备
Watchdog在实现上可以是硬件电路也可以是软件定时器,能够在系统出现故障时自动重新启动系统。

3lvs状态查看
操作步骤详细到命令行级别
查看LVS的连接情况:ipvsadm -L -n
查看LVS的吞吐量情况: ipvsadm -L -n --rate
查看LVS的统计信息:ipvsadm -L -n --stats
实时查看LVS连接状态变化: watch ipvsadm –ln


4. 附上LVSDR)脚本
  1. #!/bin/bash
  2. #description: start LVS of DirectorServer
  3. #Writtenby :NetSeek http://www.linuxtone.org
  4. GW=192.168.1.1


  5. # websitedirector vip.
  6. WEB_VIP=192.168.1.106

  7. WEB_RIP1=192.168.1.104
  8. WEB_RIP2=192.168.1.105



  9. ./etc/rc.d/init.d/functions


  10. logger $0called with $1


  11. case"$1" in


  12. start)

  13. # Clear all iptables rules.


  14. /sbin/iptables-F

  15. # Reset iptables counters.



  16. /sbin/iptables -Z


  17. #Clear all ipvsadm rules/services.


  18. /sbin/ipvsadm-C



  19. #set lvs vip for dr

  20. /sbin/ipvsadm --set 30 5 60

  21. /sbin/ifconfig eth0:0 $WEB_VIP broadcast $WEB_VIP netmask 255.255.255.255 up


  22. /sbin/route add -host $WEB_VIP dev eth0:0

  23. /sbin/ipvsadm -A -t $WEB_VIP:80 -s wrr-p 3

  24. /sbin/ipvsadm -a -t $WEB_VIP:80 -r$WEB_RIP1:80 -g -w 1

  25. /sbin/ipvsadm -a -t $WEB_VIP:80 -r$WEB_RIP2:80 -g -w 1

  26. touch /var/lock/subsys/ipvsadm>/dev/null 2>&1



  27. # set Arp

  28. /sbin/arping -I eth0 -c 5 -s $WEB_VIP$GW >/dev/null 2>&1

  29. ;;
  30. stop)

  31. /sbin/ipvsadm -C

  32. /sbin/ipvsadm -Z

  33. ifconfig eth0:0 down

  34. route del $WEB_VIP
  35. >/dev/null 2>&1

  36. rm -rf /var/lock/subsys/ipvsadm>/dev/null 2>&1

  37. /sbin/arping -I eth0 -c 5 -s $WEB_VIP$GW

  38. echo "ipvsadm stoped"

  39. ;;


  40. status)



  41. if [ ! -e /var/lock/subsys/ipvsadm];then

  42. echo "ipvsadm isstoped"


  43. exit 1

  44. else

  45. ipvsadm -ln

  46. echo "..........ipvsadm isOK."

  47. fi

  48. ;;


  49. *)

  50. echo "Usage: $0{start|stop|status}"

  51. exit 1
  52. esac


  53. exit 0
复制代码

5. 关于ldirectord.cf文件详解:http://bbs.linuxtone.org/thread-1388-1-1.html

LVS高可用性方案汇总: http://bbs.linuxtone.org/thread-1402-1-1.html[推荐]

LVS负载均衡资料汇总: http://bbs.linuxtone.org/thread-1191-1-1.html[推荐]

更多的资料请参考: http://bbs.linuxtone.org/forum-26-1.html

6. 联系我们[如果你遇到问题欢迎联系我们]

IT运维专家网 http://www.linuxtone.orgMail: cnseek@gmail.com


本文PDF下载: [attach]388[/attach]
本文相关脚本下载:  [attach]389[/attach]

 

  评论这张
 
阅读(2489)| 评论(0)

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018