LINUX集群部署LVS
百万用户同时在线游戏服务器架构实现
百万用户在线网络游戏服务器架构实现一、前言事实上100万游戏服务器，在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：使用高性能的服务器、高效率的编程语言、高性能的数据库、还有高性能的架构模型。
但是除了这几个方面，还没法根本解决面临的高负载和高并发问题。
当然用户不断地追求更高的机器性能，而升级单一的服务器系统，往往造成过高的投入和维护成本，性价比大大低于预期。
同时全天候的可用性的要求也不能满足要求，如果服务器出现故障则该项服务肯定会终止。
所以单独追求高性能的服务器不能满足要求，目前基本的解决方案是使用集群技术做负载均衡，可以把整体性能不高的服务器做成高可扩展性，高可用性，高性能的，满足目前的要求。
目前解决客户端和服务器进行底层通讯的交互的双向I/O模型的服务器的成熟方案。
1.windows下，比较成熟的技术是采用IOCP,完成端口的服务器模型。
2.Linux下，比较成熟的技术是采用Epoll服务器模型, Linux 2.6内核中提供的System Epoll为我们提供了一套完美的解决方案。
目前如上服务器模型是完全可以达到5K到20K的同时在线量的。
但5K这样的数值离百万这样的数值实在相差太大了，所以，百万人的同时在线是单台服务器肯定无法实现的。
而且目前几个比较成熟的开发框架，比如ICE,ACE等。
这样，当采用一种新的通信技术来实现通信底层时，框架本身就不用做任何修改了（或修改很少）,而功能很容易实现，性能达到最优。
目前采用的ace框架个不错的选择方案,可以不受操作系统的影响，移植比较方便。
对于数据库选择可有许多成熟的方案，目前大多数选择的mysql Master/slave模式，以及oracle RAC方案。
基本可以满足目前的要求，但具体的瓶颈不是在数据库本身，应该还是硬件磁盘I/O的影响更大些。
建议使用盘阵。
这有其他成熟的方案，比如采用NAS解决分布数据存储。
其实最为关键的是服务器的架构和实现，数据流量的负载均衡，体系的安全性，关键影响度，共享数据的处理等等多个方面对100万用户的数据处理有影响，所以都要全面的考虑。
LVS keepalived负载均衡高可用 配置安装大全
LVS+Keepalived实现高可用集群一、基础介绍 (2)二、搭建配置LVS-NA T模式 (2)三、搭建配置LVS-DR模式 (4)四、另外一种脚本方式实现上面LVS-DR模式 (6)五、keepalived + LVS(DR模式) 高可用 (8)六、Keepalived 配置文件详细介绍 (11)一、基础介绍(一)根据业务目标分成三类：High Availability 高可用Load Balancing 负载均衡High Performance 高性能(二)实现集群产品：HA类：rhcs、heartbeat、keepalivedLB类：haproxy、lvs、nginx、f5、piranhaHPC类：/index/downfile/infor_id/42(三)LVS 负载均衡有三种模式：LVS-DR模式（direct router）直接路由模式进必须经过分发器，出就直接出LVS-NAT模式（network address translation）进出必须都经过分发器LVS-TUN模式（ip tunneling）IP隧道模式服务器可以放到全国各地二、搭建配置LVS-NAT模式1 、服务器IP规划：DR服务器添加一张网卡eth1，一个网卡做DIP，一个网口做VIP。
设置DIP、VIP IP地址:DIP的eth1和所有RIP相连同一个网段CIP和DIP的eth0(Vip)相连同一个网段Vip eth0 192.168.50.200Dip eth1 192.168.58.4客户机IP：Cip 192.168.50.32台真实服务器IP：Rip1 192.168.58.2Rip2 192.168.58.32 、R ealServer1配置：mount /dev/xvdd /media/vi /var/www/html/index.html写入：this is realserver1启动httpdvi /etc/sysconfig/network-scripts/ifcfg-eth0设置RIP,子网掩码必须设置成DIPIPADDR=192.168.58.2NETMASK=255.255.255.0GA TEWAY=192.168.58.43 、R ealServer2 配置：vi /var/www/html/index.html写入：this is realserver2启动httpdvi /etc/sysconfig/network-scripts/ifcfg-eth0设置RIP，子网掩码必须设置成DIPIPADDR=192.168.58.3NETMASK=255.255.255.0GA TEWAY=192.168.58.44 、在DR服务器上做以下设置：开启IP数据包转发vi /etc/sysctl.confnet.ipv4.ip_forward = 0 ##0改成1 ,此步很重要查看是否开启：sysctl -p5 、安装LVS服务：ipvsadmyum -y install ipvsadmlsmod |grep ip_vsTurbolinux系统没有带rpm包，必须下载源码安装：#ln -s /usr/src/kernels/2.6.18-164.el5-x86_64/ /usr/src/linux##如果不做连接，编译时会包错#tar zxvf ipvsadm-1.24.tar.gz#cd ipvsadm-1.24#make && make install运行下ipvsadm ，就加到ip_vs模块到内核了lsmod | grep ip 可以看到有ip_vs模块了6 、配置DR服务器,添加虚拟服务ipvsadm -L -n 查询信息ipvsadm -A -t 192.168.50.200:80 -s rr #添加集群服务、调度算法，rr为调度算法ipvsadm -a -t 192.168.50.200:80 -r 192.168.58.2 -m -w 1 # -m代表net模式，-w代表权重ipvsadm -a -t 192.168.50.200:80 -r 192.168.58.3 -m -w 2ipvsadm -L -n 再次查看是就有了realserverservice ipvsadm save 保存配置iptables -L 关闭或者清空防火墙watch -n 1 'ipvsadm -L -n' 查看访问记录的数显示如下：-> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 192.168.50.200:80 rr-> 192.168.58.2:80 Masq 1 0 13-> 192.168.58.3:80 Masq 2 0 12ActiveConn是活动连接数,也就是tcp连接状态的ESTABLISHED;InActConn是指除了ESTABLISHED以外的,所有的其它状态的tcp连接.7 、测试：http://192.168.58.200配完后若想修改算法：ipvsadm -E -t 192.168.58.200:80 -s wlc修改Rip的权重：ipvsadm -e -t 192.168.58.200:80 -r 192.168.58.2 -m -w 1ipvsadm -e -t 192.168.58.200:80 -r 192.168.58.3 -m -w 5三、搭建配置LVS-DR模式lo:1 回应客户端，lo:1上的IP跟机器有关，跟网卡没有关系arp_announce 对网络接口上本地IP地址发出的ARP回应作出相应级别的限制arp_ignore 定义对目标地址为本地IP的ARP询问不同的请求一、3台服务器IP配置规划：DIP：eth0:1 192.168.58.200/32 (VIP)eth0 192.168.58.3/24 (DIP)RIP1 lo:1 192.168.58.200/32 (VIP)eth0 192.168.58.4/24RIP2 lo:1 192.168.58.200/32 (VIP)eth0 192.168.58.5/24 .................................................................RIP n lo:1 192.168.58.200/32 (VIP)eth0 192.168.58.N/24二、每台realserver都加上下面四个步骤配置：1 、配置每台rip的IP、http,web页面2 、关闭每台rip服务器的ARP广播：echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignoreecho 2 > /proc/sys/net/ipv4/conf/lo/arp_announceecho 1 > /proc/sys/net/ipv4/conf/all/arp_ignoreecho 2 > /proc/sys/net/ipv4/conf/all/arp_announce3 、配置VIPifconfig lo:1 192.168.58.200 netmask 255.255.255.255 broadcast 192.168.58.200 up4 、配置网关route add -host 192.168.58.200 dev lo:1三、DR上的配置（DR模式下Dip不用开启转发）：1 、配置DIP，在eth0上添加一个子VIP接口：添加VIP：ifconfig eth0:1 192.168.58.200 broadcast 192.168.58.200 netmask 255.255.255.255 up2 、配置网关：route add -host 192.168.58.200 dev eth0:1route -n3 、安装ipvsadm(方法见文档上面）yum -y install ipvsadmlsmod |grep ip_vs4 、配置LVS集群：ipvsadm -A -t 192.168.58.200:80 -s rr #添加集群服务、调度算法，rr为调度算法ipvsadm -a -t 192.168.58.200:80 -r 192.168.58.3 -g -w 1 # -g代表DR模式，-w代表权重ipvsadm -a -t 192.168.58.200:80 -r 192.168.58.2 -g -w 2service ipvsadm saveipvsadm -L -n 查看信息四、测试：http://192.168.58.200四、另外一种脚本方式实现上面LVS-DR模式IP规划：Dip eth0 192.168.58.139VIP：192.168.58.200RIP1：192.168.58.2RIP2：192.168.58.31 、D R服务器上安装ipvsadm#yum -y install ipvsadm#lsmod | grep ip_vs 查看没有输出#modprobe ip_vs 安装即可2 、配置DIP服务器、LVS这里也是个写脚本为了方便vim /etc/init.d/lvsdr#!/bin/bash#lvs of DRVIP=192.168.58.200RIP1=192.168.58.2RIP2=192.168.58.3case "$1" instart)echo "start lvs of DR"/sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.0 up echo "1" > /proc/sys/net/ipv4/ip_forward/sbin/iptables -C/sbin/ipvsadm -A -t $VIP:80 -s rr/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g/sbin/ipvsadm;;stop)echo "stop lvs of DR"echo "0" > /proc/sys/net/ipv4/ip_forward/sbin/ipvsadm -C/sbin/ifconfig eth0:0 down;;*)echo "Usage :$0 {start|stop}"exit1esacexit 0#chmod o+x /etc/init.d/lvsdr启动脚本：#service lvsdr start3 、2台RIP服务器都配置这里我们也都可以写成脚本开启2台RIP的httpd服务。
Linux 实战工程师系列 - Linux集群DR模式实
LINUX集群-DR直接路由VS/DR通过改写请求报文的MAC地址，将请求发送到真实服务器上。
而真实服务器将响应直接返回给客户。
VS/DR技术可极大地提高集群系统的伸缩性。
这种方法没有IP隧道的开销，对集群中的真实服务器也没有必须支持的IP隧道协议的要求，但是要去调度器与真实服务器都有一块网卡连在同一物理网段上。
VS/DR，直接路由模式如上图，客户向VIP发送请求，LVS通过改写mac地址，将请求提交到web server（真实的），然后web server将用户的请求直接返回给客户（中间不在经过LVS，这样减少LVS的负担，而VS/NAT模式web server返回给客户的请求也要经过LVS）设置VIP脚本（LVS服务器）Directorserver 222.90.88.30VIP=222.90.88.88Realserver 222.90.88.10Realserver 222.90.88.20gw 222.90.88.1### Directorserver Configure VIP######ifconfig eth0:0 222.90.88.88 broadcast 222.90.88.88 netmask 255.255.255.255 uproute add -host 222.90.88.88 dev eth0:0######setup ipvs######ipvsadm -A -t 222.90.88.88:80 -s rr （rr：轮叫模式）ipvsadm -a -t 222.90.88.88:80 -r 222.90.88.10 -g （-g：dr模式）ipvsadm -a -t 222.90.88.88:80 -r 222.90.88.20 -gipvsadmWeb Server1和2配置脚本######realserver######ifconfig lo:0 222.90.88.88 broadcast 222.90.88.88 netmask 255.255.255.255 uproute add -host 222.90.88.88 dev lo:0 （这边是通过改写MAC地址）echo “1” > /proc/sys/net/ipv4/conf/lo/arp_ignore （关闭arp的发包和广播）echo “2” > /proc/sys/net/ipv4/conf/lo/arp_announceecho “1” > /proc/sys/net/ipv4/conf/all/arp_ignoreecho “2” > /proc/sys/net/ipv4/conf/all/arp_announcesysctl -p操作：设置VIP脚本（LVS服务器）#vim /etc/init.d/vip.shifconfig eth0:0 222.90.88.88 broadcast 222.90.88.88 netmask 255.255.255.255 up（设置虚拟IP）route add -host 222.90.88.88 dev eth0:0 （给IP加上路由）ipvsadm -Cipvsadm -A -t 222.90.88.88:80 -s rripvsadm -a -t 222.90.88.88:80 -r 222.90.88.10 -gipvsadm -a -t 222.90.88.88:80 -r 222.90.88.20 -gipvsadm#chmod 777 /etc/init.d/vip.shWeb Server1和2配置脚本#vim /etc/init.d/lvs.shifconfig lo:0 222.90.88.88 broadcast 222.90.88.88 netmask 255.255.255.255 uproute add -host 222.90.88.88 dev lo:0echo “1” > /proc/sys/net/ipv4/conf/lo/arp_ignoreecho “2” > /proc/sys/net/ipv4/conf/lo/arp_announceecho “1” > /proc/sys/net/ipv4/conf/all/arp_ignoreecho “2” > /proc/sys/net/ipv4/conf/all/arp_announcesysctl -p（注：eth0，eth1，eth2……代表网卡一，网卡二，网卡三……lo代表127.0.0.1，即localhost）#chmod 777 lvs.sh#vim /var/www/html/index.html（Web Server 1）this is sev1#service httpd start#vim /var/www/html/index.html（Web Server 2）this is sev2#service httpd start客户端用http://222.90.88.88访问web服务，间隔产生this is sev1和this is sev2LVS--ipvsadm命令参数ipvsadm的用法和格式如下：ipvsadm -A|E -t|u|f virtual-service-address:port[-s scheduler] [-p timeout] [-M netmask]ipvsadm -D -t|u|f virtual-service-addressipvsadm -Cipvsadm -Ripvsadm -S [-n]ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight]ipvsadm -d -t|u|f service-address -r server-addressipvsadm -L|I [options]ipvsadm -Z [-t|u|f service-address]ipvsadm --set tcp tcpfin udpipvsadm --start -deamon state [--mcast -interface interface] ipvsadm --stop-deamonipvsadm -h。
LVS+NGINX+TOMCAT 集群实施操作记录
IP：Eth0:192.168.100.115Eth1:192.168.100.215Vi /etc/init.d./lvs#!/bin/sh## lvs Start lvs## chkconfig: 2345 08 92# description: Starts, stops and saves lvs#SNS_VIP=192.168.100.215SNS_RIP1=192.168.100.114SNS_RIP2=192.168.100.113. /etc/rc.d/init.d/functions#logger $0 called with $1retval=0start(){#set squid vip/sbin/ipvsadm --set 30 5 60#/sbin/ifconfig eth0:0 $SNS_VIP broadcast $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP up#/sbin/route add -host $SNS_VIP dev eth0:0/sbin/ipvsadm -A -t $SNS_VIP:80 -s rr/sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP1 -g/sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP2 -gtouch /var/lock/subsys/ipvsadm > /dev/null 2 >&1echo "ipvsadm started"}stop(){/sbin/ipvsadm -C/sbin/ipvsadm -Z#ifconfig eth0:0 down#route del $SNS_VIPrm -rf /var/lock/subsys/ipvsadm > /dev/null 2 >&1echo "ipvsadm stoped"}status(){if [ ! -e /var/lock/subsys/ipvsadm ];thenecho "ipvsadm stoped"exit 1elseecho "ipvsadm OK"fi}case "$1" instart)start;;stop)stop;;status)status;;restart)stopstart;;*)echo $"Usage: $0 {start|stop|status}"retval=1esacexit $retvalkeepalvivedtar xf keepalived-1.2.7.tar.gzcd keepalived-1.2.7./configure --prefix=/ --mandir=/usr/local/share/man/ --with-kernel-dir=/usr/src/kernels/2.6.32-279.el6.x86_64Makemake installcd /etc/keepalived/mv keepalived.conf keepalived.conf.default chkconfig --add keepalivedchkconfig keepalived onvim /etc/keepalived/keepalived.conf! Configuration File for keepalivedglobal_defs {notification_email {root@localhost}notification_email_from root@localhost smtp_server 127.0.0.1smtp_connect_timeout 30router_id Director1}#VRRP（虚拟路由冗余协议）实例配置vrrp_instance VI_1 {state MASTERinterface eth0virtual_router_id 51priority 150advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {192.168.122.254/24 eth1}}#LVS配置virtual_server 192.168.100.215 80 {delay_loop 3lb_algo rrlb_kind DRnat_mask 255.255.255.0# persistence_timeout 50protocol TCPreal_server 192.168.100.113 80 {weight 1TCP_CHECK {connect_port 80connect_timeout 10nb_get_retry 3delay_before_retry 3}}real_server 192.168.100.114 80 {weight 1TCP_CHECK {connect_port 80connect_timeout 10nb_get_retry 3delay_before_retry 3}}}}LVS-realserverIp 192.168.100.113Ip 192.168.100.114Vi /etc/init.d/rsup#!/bin/bashVIP=192.168.100.215ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up #route add –host $VIP dev lo:0echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "1" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/all/arp_announce#sysctl –pIp 192.168.100.122（nfs）Ip 192.168.100.113Ip 192.168.100.114#安装zlibtar xzvf zlib-1.2.3.tar.gzcd zlib-1.2.3./configuremake && make install#安装pcretar zxvf pcre-7.9.tar.gzcd pcre-7.9./configure --prefix=/usr/local/pcremake && make installwget /download/nginx_mod_h264_streaming-2.2.7.tar.gztar -zxvf nginx_mod_h264_streaming-2.2.7.tar.gzunzip nginx_upstream_check_module-master.zipmv ./nginx_upstream_check_module-master /root/healthtar -xvf nginx-1.4.1.tar.gz -C /usr/src/useradd nginxcd /usr/src/nginx-1.4.1patch -p1 < /root/health/check_1.2.6+.patch./configure --user=nginx --group=nginx --with-http_stub_status_module --with-http_ssl_module --with-http_gzip_static_module --with-http_flv_module --add-module=../nginx_mod_h264_streaming-2.2.7 --with-pcre=/softw are/pcre-7.9 --with-zlib=/software/zlib-1.2.3 --prefix=/usr/local/nginx --add-module=/root/healthmake && make install/usr/local/nginx/sbin/nginx开机自动启动vi /etc/init.d/nginx#!/bin/bash## nginx - this script starts and stops the nginx daemin# chkconfig: - 85 15# description: Nginx is an HTTP(S) server, HTTP(S) reverse \ # proxy and IMAP/POP3 proxy server# processname: nginx# config: /usr/local/nginx/conf/nginx.conf# pidfile: /usr/local/nginx/logs/nginx.pid# Source function library.. /etc/rc.d/init.d/functions# Source networking configuration.. /etc/sysconfig/network# Check that networking is up.[ "$NETWORKING" = "no" ] && exit 0nginx="/usr/local/nginx/sbin/nginx"prog=$(basename $nginx)NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf"lockfile=/var/lock/subsys/nginxstart() {[ -x $nginx ] || exit 5[ -f $NGINX_CONF_FILE ] || exit 6echo -n $"Starting $prog: "daemon $nginx -c $NGINX_CONF_FILEretval=$?echo[ $retval -eq 0 ] && touch $lockfilereturn $retval}stop() {echo -n $"Stopping $prog: "killproc $prog -QUITretval=$?echo[ $retval -eq 0 ] && rm -f $lockfilereturn $retval}restart() {configtest || return $?stopstart}reload() {configtest || return $?echo -n $"Reloading $prog: "killproc $nginx -HUPRETVAL=$?echo}force_reload() {restart}configtest() {$nginx -t -c $NGINX_CONF_FILE }rh_status() {status $prog}rh_status_q() {rh_status >/dev/null 2>&1 }case "$1" instart)rh_status_q && exit 0$1;;stop)rh_status_q || exit 0$1;;restart|configtest)$1;;reload)rh_status_q || exit 7$1;;force-reload)force_reload;;status)rh_status;;condrestart|try-restart)rh_status_q || exit 0;;*)echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"exit 2esac############################################################################## 改权限chmod 755 /etc/init.d/nginxchkconfig nginx onchkconfig --list nginxnginx 0:off 1:off 2:on 3:on 4:on 5:on 6:offservice nginx startservice nginx stopservice nginx restartservice nginx reload/etc/init.d/nginx start/etc/init.d/nginx stop/etc/init.d/nginx restart/etc/init.d/nginx reloadNginx 配置文件vi /usr/local/nginx/conf/nginx.conf#user nginx nginx;worker_processes 12;error_log /usr/local/nginx/logs/error.log crit;pid /usr/local/nginx/logs/nginx.pid;worker_rlimit_nofile 65535;events{use epoll;worker_connections 204800;}http{include mime.types;default_type application/octet-stream;charset utf-8;server_names_hash_bucket_size 128;client_header_buffer_size 2k;large_client_header_buffers 4 4k;client_max_body_size 8m;sendfile on;tcp_nopush on;keepalive_timeout 60;fastcgi_cache_path /usr/local/nginx/fastcgi_temp levels=1:2keys_zone=TEST:10minactive=5m;fastcgi_connect_timeout 300;fastcgi_send_timeout 300;fastcgi_read_timeout 300;fastcgi_buffer_size 1638;fastcgi_buffers 16 16k;fastcgi_busy_buffers_size 16k;fastcgi_temp_file_write_size 16k;fastcgi_cache TEST;fastcgi_cache_valid 200 302 1h;fastcgi_cache_valid 301 1d;fastcgi_cache_valid any 1m;fastcgi_cache_min_uses 1;fastcgi_cache_use_stale error timeout invalid_header http_500;open_file_cache max=204800 inactive=20s;open_file_cache_min_uses 1;open_file_cache_valid 30s;tcp_nodelay on;gzip on;gzip_min_length 1k;gzip_buffers 4 16k;gzip_http_version 1.0;gzip_comp_level 2;gzip_types text/plain application/x-javascript text/css application/xml; gzip_vary on;upstream nginx_server {ip_hash;server 192.168.100.122:80;}upstream web_server {ip_hash;server 192.168.100.131:9001;server 192.168.100.132:9001;server 192.168.100.133:9001;server 192.168.100.134:9001;check interval=3000 rise=2 fall=5 timeout=1000;}upstream napi_server {ip_hash;server 192.168.100.131:9002;server 192.168.100.132:9002;server 192.168.100.133:9002;server 192.168.100.134:9002;server 192.168.100.131:9003;server 192.168.100.132:9003;server 192.168.100.133:9003;server 192.168.100.134:9003;server 192.168.100.131:9004;server 192.168.100.132:9004;server 192.168.100.133:9004;server 192.168.100.134:9004;check interval=3000 rise=2 fall=5 timeout=1000;}upstream oapi_server {ip_hash;server 192.168.100.131:9005;server 192.168.100.132:9005;server 192.168.100.133:9005;server 192.168.100.134:9005;server 192.168.100.131:9006;server 192.168.100.132:9006;server 192.168.100.133:9006;server 192.168.100.134:9006;check interval=3000 rise=2 fall=5 timeout=1000;}server {listen 80;server_name localhost;location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|html|mp3|wma|wmv)${root /usr/wodm/;proxy_pass http://nginx_server;}location ~ .*\.(js|css)?${expires 1h;}location /NginxStatus{stub_status on;access_log on;auth_basic "NginxStatus";#auth_basic_user_file conf/htpasswd;}location /nstatus {check_status;access_log off;}error_page 500 502 503 504 /50x.html;location = /50x.html {root html;}}log_format access '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" $http_x_forwarded_for';access_log /usr/local/nginx/logs/access.log access;include /usr/local/nginx/conf/vhost/*.conf;}Nginx(nfs)Nginx.conf#user nginx nginx;worker_processes 16;#worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;error_log /usr/local/nginx/logs/error.log crit;pid /usr/local/nginx/logs/nginx.pid;worker_rlimit_nofile 204800;events{use epoll;worker_connections 204800;}http{include mime.types;default_type application/octet-stream;charset utf-8;server_names_hash_bucket_size 128;client_header_buffer_size 2k;large_client_header_buffers 4 4k;client_max_body_size 8m;sendfile on;tcp_nopush on;keepalive_timeout 60;fastcgi_cache_path /usr/local/nginx/fastcgi_cache levels=1:2keys_zone=TEST:10minactive=5m;fastcgi_connect_timeout 300;fastcgi_send_timeout 300;fastcgi_read_timeout 300;fastcgi_buffer_size 1638;fastcgi_buffers 16 16k;fastcgi_busy_buffers_size 16k;fastcgi_temp_file_write_size 16k;fastcgi_cache TEST;fastcgi_cache_valid 200 302 1h;fastcgi_cache_valid 301 1d;fastcgi_cache_valid any 1m;fastcgi_cache_min_uses 1;fastcgi_cache_use_stale error timeout invalid_header http_500;open_file_cache max=204800 inactive=20s;open_file_cache_min_uses 1;open_file_cache_valid 30s;tcp_nodelay on;gzip on;gzip_min_length 1k;gzip_buffers 4 16k;gzip_http_version 1.0;gzip_comp_level 2;gzip_types text/plain application/x-javascript text/css application/xml; gzip_vary on;server{listen 80;server_name localhost;index index.php index.htm;root /usr/wodm/;location /status{stub_status on;}location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|html|mp3|wma|wmv)${expires 30d;}}log_format access '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" $http_x_forwarded_for';access_log /usr/local/nginx/logs/access.log access;标准字符集vi /etc/sysconfig/i18nLANG="zh_CN.UTF-8" SYSFONT="latarcyrheb-sun16" SUPPORTED="zh_CN.UTF-8:zh_CN:zh"LANG="zh_CN.GB18030"SUPPORTED="zh_CN.GB18030:zh_CN:zh:en_US.UTF-8:en_US:en"打开文件数vi /etc/security/limits.conf* soft nofile 65535* hard nofile 65535vi /etc/pam.d/loginsession required /lib/security/pam_limits.songinx 日志按天分割vi nginx_log.sh#!/bin/bashlogs_path="/usr/local/nginx/logs/"pid_path="/usr/local/nginx/nginx.pid"mv ${logs_path}access.log ${logs_path}access_$(date -d "yesterday" +"%Y%m%d").logkill -USR1 `cat ${pid_path}`chmod 755 nginx_log.shcrontab –e0 0 * * * bash /usr/local/nginx/nginx_log.shTomcat memcachetar xf libevent-1.4.11-stable.tar.gzcd libevent-1.4.11-stable./configuremakemake installcd ../tar xf memcached-1.4.5.tar.gzcd memcached-1.4.5./configuremakemake install/usr/local/bin/memcached -d -m 10 -u root -l 192.168.1.113 -p 11211 -c 1024 -P /tmp/memcached.pidMemcache+tomcat 共享session后续计划尚未配置。
linux lvs 配置
Linux负载均衡一、LVS概述及原理LVS是一个开源的软件，由毕业于国防科技大学的章文嵩博士于1998年5月创立，可以实现LINUX平台下的简单负载均衡。
LVS是Linux Virtual Server的缩写，意思是Linux虚拟服务器。
LVS集群采用IP负载均衡技术和基于内容请求分发技术。
调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。
整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。
为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。
一般来说，LVS集群采用三层结构，其主要组成部分为：1) 负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的。
2) 服务器池（server pool），是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。
3) 共享存储（shared storage），它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。
调度器是服务器集群系统的唯一入口点（Single Entry Point），它可以采用IP 负载均衡技术、基于内容请求分发技术或者两者相结合。
在IP负载均衡技术中，需要服务器池拥有相同的内容提供相同的服务。
当客户请求到达时，调度器只根据服务器负载情况和设定的调度算法从服务器池中选出一个服务器，将该请求转发到选出的服务器，并记录这个调度；当这个请求的其他报文到达，也会被转发到前面选出的服务器。
在基于内容请求分发技术中，服务器可以提供不同的服务，当客户请求到达时，调度器可根据请求的内容选择服务器执行请求。
因为所有的操作都是在Linux操作系统核心空间中将完成的，它的调度开销很小，所以它具有很高的吞吐率。
RHEL5.4下IPVS安装配置
RHEL 5.4下IPVS安装配置一．安装环境：RHEL 5.4 ipvsadm-1.24.tar.gz二．拓扑图：三．安装过程：1．从官方网站下载ipvsadm：下载地址：/software/kernel-2.6/下载ipvsadm-1.24.tar.gz，因为最新版ipvsadm-1.25这个版本只支持2.6.28以上的内核，RHEL 5.4内核版本达不到要求，所以选择安装前一个版本。
2．创建一个连接文件，其命令为：ln -sv /usr/src/kernels/2.6.18-92.el5PAE-i686 /usr/src/linux注意一定要与当前的运行的内核相一致，因为/usr/src/kernels目录下可能有多个目录。
如果不创建这个连接文件，在编译时会出错，从而不能继续进行安装。
3．解包。
#tar zxvf ipvsadm-1.244．编译并安装。
#cd ipvsadm-1.24#make#make install可执行文件被安装到/sbin/ipvsadm5．检验ipvsadm是否被正确安装(1) 执行ipvsadm，看是否有如下输出。
IP Virtual Server version 1.2.1 (size=4096)Port LocalAddress:Port Scheduler Flags->RomoteAddress:PortForward Weight ActiveConn InActConn(2) 检查当前加载的内核模块，看是否存在ip_vs模块。
[root@hd-4 ipvsadm-1.24]# lsmod | grep ip_vsip_vs 77569 0注1：只有执行ipvsadm以后，才会在内核加载ip_vs模块。
注2：不能以查进程的方式判断ipvs是否运行。
注3：如果下载最新的ipvsadm-1.25.tar.gz这个版本，在创建连接文件/usr/src/linux后，执行编译时，可能需要修改/boot/grub/grub.conf启动内核名称。
lvs 和 f5 实现原理
lvs 和f5 实现原理全文共四篇示例，供读者参考第一篇示例：随着互联网应用的不断发展和普及，网络负载均衡技术已经成为保障网站可用性和性能的重要手段。
在负载均衡技术中，LVS（Linux Virtual Server）和F5分别代表着开源和商业两种不同的实现方式，它们在原理和使用中有着不同的特点和优势。
本文将就LVS和F5的实现原理进行探讨与比较。
LVS（Linux Virtual Server）是一种基于Linux操作系统的负载均衡技术，它充分利用了Linux内核的功能和特性来实现高效的负载均衡。
LVS通常采用四层负载均衡的方式，即在传输层上进行负载均衡，它通过IP地址和端口号进行请求的转发，实现对后端服务器的负载均衡。
LVS的实现原理主要包括三个组件：调度器、数据包转发和后端服务器。
调度器是LVS的核心组件，它负责根据负载均衡策略来选择合适的后端服务器进行请求的转发。
LVS采用了多种不同的负载均衡算法，如轮询、加权轮询、源地址散列等，根据具体的业务需求和场景选择合适的负载均衡算法。
调度器会根据请求的特性和当前后端服务器的负载情况来选择合适的后端服务器，从而实现负载均衡。
数据包转发是LVS的另一个关键组件，它负责接收客户端的请求并将请求转发给选定的后端服务器。
数据包转发通常采用Linux内核的IPVS模块来实现，通过在内核空间进行数据包的处理和转发，从而提高负载均衡的效率和性能。
数据包转发还可以支持连接的持久化和会话的保持，以确保客户端的请求在整个会话过程中都能顺利访问到同一台后端服务器。
后端服务器是LVS的最终目的地，它负责接收转发过来的请求并响应客户端的请求。
LVS通常将后端服务器配置成一个服务器集群，通过多台服务器共同处理客户端的请求来提高网站的可用性和性能。
后端服务器可以根据具体的业务需求来配置，如多个应用服务器、数据库服务器、文件服务器等，以满足不同的业务需求。
与LVS相比，F5是一家领先的应用交付控制公司，其产品包括硬件负载均衡器、应用交付控制器等。
Linux服务器集群系统――LVS(Linux Virtual Server)项目
背景当今计算机技术已进入以网络为中心的计算时期。
由于客户/服务器模型的简单性、易管理性和易维护性，客户/服务器计算模式在网上被大量采用。
在九十年代中期，万维网（World Wide Web）的出现以其简单操作方式将图文并茂的网上信息带给普通大众，Web也正在从一种内容发送机制成为一种服务平台，大量的服务和应用（如新闻服务、网上银行、电子商务等）都是围绕着Web进行。
这促进Internet用户剧烈增长和Internet流量爆炸式地增长，图1显示了1995至2000年与Internet连接主机数的变化情况，可见增长趋势较以往更迅猛。
Internet的飞速发展给网络带宽和服务器带来巨大的挑战。
从网络技术的发展来看，网络带宽的增长远高于处理器速度和内存访问速度的增长，如100M Ethernet、A TM、Gigabit Ethernet等不断地涌现，10Gigabit Ethernet即将就绪，在主干网上密集波分复用（DWDM）将成为宽带IP的主流技术[2,3]，Lucent已经推出在一根光纤跑800Gigabit的WaveStar?OLS800G 产品[4]。
所以，我们深信越来越多的瓶颈会出现在服务器端。
很多研究显示Gigabit Ethernet 在服务器上很难使得其吞吐率达到1Gb/s的原因是协议栈（TCP/IP）和操作系统的低效，以及处理器的低效，这需要对协议的处理方法、操作系统的调度和IO的处理作更深入的研究。
在高速网络上，重新设计单台服务器上的网络服务程序也是个重要课题。
比较热门的站点会吸引前所未有的访问流量，例如根据Yahoo的新闻发布，Yahoo已经每天发送6.25亿页面。
一些网络服务也收到巨额的流量，如American Online的Web Cache 系统每天处理50.2亿个用户访问Web的请求，每个请求的平均响应长度为5.5Kbytes。
与此同时，很多网络服务因为访问次数爆炸式地增长而不堪重负，不能及时处理用户的请求，导致用户进行长时间的等待，大大降低了服务质量。
Linux lvs TUN模式
Linux lvs—TUN模式IP:Director:eth0=192.168.100.100tunl0=192.168.100.50(虚拟出来的IP)Real-server-1：eth0=192.168.100.110tunl0=192.168.100.50(虚拟出来的IP)Real-server-2：eth0=192.168.100.110tunl0=192.168.100.50(虚拟出来的IP)第一步：配置相关网卡的虚拟接口ip地址（vip）。
Director:[root@zhangc ~]#ifconfig tunl0 192.168.100.50 broadcast 192.168.100.50netmask 255.255.255.255 upReal-server-1:[root@zhangc ~]#ifconfig tunl0 192.168.100.50 broadcast 192.168.100.50netmask 255.255.255.255 upReal-server-2:[root@zhangc ~]#ifconfig tunl0 192.168.100.50 broadcast 192.168.100.50netmask 255.255.255.255 up第二步：配置director中的相关服务，搭建director.DIRECTOR:[root@zhangc ~]# mount /dev/cdrom /media【挂载光盘】[root@zhangc ~]#cd /media/CentOS【打开安装目录】[root@zhangcCentOS]#rpm –ivhipvsadm【安装ipvsadm服务】[root@zhangc ~]# chkconfigipvsadm on【将ipvsadm设置为开机自启动】[root@zhangc ~]# ipvsadm -A -t 192.168.100.50:80 -s rr【添加ipvsadm条目，-s rr 表示使用轮询算法，-t表示使用tcp协议，-A表示追加条目】[root@zhangc ~]# ipvsadm -a -t 192.168.100.50:80 -r 192.168.100.110 –i【-a表示追加规则，-t表示使用tcp协议，-r表示real-server,-g表示使用dr模型】[root@zhangc ~]# ipvsadm -a -t 192.168.100.50:80 -r 192.168.100.120 –i[root@zhangc ~]# service ipvsadm save【保存写好的ipvsadm规则】[root@zhangc ~]# service ipvsadm restart【重新启动ipvsadm服务】第三步：配置Real-server-1以及相关服务[root@zhangc ~]# echo "1" >/proc/sys/net/ipv4/conf/tunl0/arp_ignore[root@zhangc ~]# echo "2" >/proc/sys/net/ipv4/conf/tunl0/arp_announce[root@zhangc ~]# echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore[root@zhangc ~]# echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce[root@zhangc ~]#sysctl–p添加路由功能[root@zhangc ~]# route add -host 192.168.100.50 dev tunl0安装httpd服务[root@zhangc ~]# yum install -y httpd【安装httpd服务】[root@zhangc ~]# cd /var/www/html/【进入目录，编写测试文件index.html】[root@zhangc html]# echo "web1" >>index.html[root@zhangc html]# service httpd start【启动apache服务】第四步：配置Real-server-2以及相关服务（与real-server 1配置方法相同，不再赘述）[root@zhangc ~]# echo "1" >/proc/sys/net/ipv4/conf/tunl0/arp_ignore[root@zhangc ~]# echo "2" >/proc/sys/net/ipv4/conf/tunl0/arp_announce[root@zhangc ~]# echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore[root@zhangc ~]# echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce[root@zhangc ~]#sysctl–p添加路由功能[root@zhangc ~]# route add -host 192.168.100.50 dev tunl0安装httpd服务[root@zhangc ~]# yum install -y httpd[root@zhangc ~]# cd /var/www/html/[root@zhangc html]# echo "web2" >>index.html[root@zhangc html]# servicehttpd start第五步：测试Elinks–dump http://192.168.100.50只能在做web服务中测试不能在做了lvs服务上测试。
Linux集群运维平台用户权限管理与日志审计
软件研发与应用SOFTWARE DEVELOPMENT&APPLICATIONLinux集群运维平台用户权限管理与日志审计吴若冰（广西电力职业技术学院，南宁530001）摘要：Linux集群运维平台的建立与运行是目前业务增加的必要要求，运行中能够有效满足公司业务拓展要求，运维平台管理的重要內容为安全问题，要求Linux集群运维平台加强对用户日志的审计以及用户权限的管理，从这两个层面进行了探讨。
关键词：Linux集群；用户权限管理；日志审计随着公司业务量的逐渐增加，可建立Linux集群运维平台，以此高效地调度整个任务，建立相应的服务版操作系统，以此优化服务器平台设计，并重视平台运行中的信息安全。
1Linux集群运维平台Linux集群运维平台的运用适应了相关单位当前逐渐增多的业务发展需求，Linux集群平台包括一系列成本较低的电脑，使用成本较低、稳定性能较好且扩展性较为良好，在互联网公司以及相关单位中具有较为广泛的运用价值。
Linux集群运维平台运行中包含多个层面，包括任务调度监控、配置管理、用户访问质量统计、日志平台、自动化监控、自动化部署、机器管理、集群用户权限管理等多个层面，其中的重点内容为用户权限管理以 及日志审计。
在扩展的同时要求充分重视安全问题，加强对用户权限以及日志审计安全性的管理。
Linux集群运维平台主机定义如图1所示。
72.0.0.1localhost localhost.localdomain localhost4localhost4.localdomain4::1localhost localhost.localdomain localhost6localhost6.localdomain6172.49.1.1dell1172.49.1.2dell2172.49.1.3dell3172.49.1.4dell4172.49.1.5dell5172.49.1.6dell6172.49.1.7dell7172.49.1.8dell8172.49.1.9dell9172.49.1.10 dell10172.49.1.11dell11172.49.1.12 dell12172.49.1.13dell13172.49.1.14 dell14172.49.1.15dell15172.49.1.16 dell16172.49.1.17 dell17172.49.1.18 dell18172.49.1.19 dell19172.49.1.20 dell20172.49.1.21dell21172.49.1.22 dell22172.49.1.23dell23图1Linux集群运维平台主机定义图LDAP/Kerberos认证时并未建立统一的数据搜集、分析与处理方式，而是在本地存储器中添加各自认证结果，这种处理方式难以达到良好的安全性管理要求，为此可以在运维平台中构建Rsyslogd服务，以此搜集日志记录信息以及LDAP/Kerberos认证信息等，Rsyslogd 服务运行中能够同时支持多项数据库，但是在输入与存储上存在一定的瓶颈，要求使用的机器具有较强的性能。
LVS的配置
（2）、选中要编辑的虚拟服务器，单击"EDIT"编辑其属性；编辑完成后单击"ACCEPT"保存 信息，如下图所示。
（3）在弹出的界面中填入以下信息 Name：定义虚拟服务器的名称。 Application port ：指定此目标应用服务的端口。 Protocol：目标应用服务的网络协议，TCP 或 UDP。 Virtual IP Address：定义目标应用所使用的虚拟 IP。
RHEL 5 LVS 的配置
在企业的 IT 集群应用中，最常用的架构除了高可用集群外，还有负载均衡集群 (Load Balancing)。 负载均衡集群可实现多台服务器或应用的流量均衡分配。 服务器集群对外部应 用及客户表现为一个虚拟的服务器， 集群内部各服务器平均地处理由外部应用及客户端所提 交的业务，实现服务器之间的负载均衡处理并提供灵活的可扩展性，当业务压力增大时，可 随时加入新的服务器以提高集群的整体性能。负载均衡集群特别适用于高并发的网络应用， 如网站、文件服务器、各种要求高并发的 Socket 处理等。通常负载均衡集群方案大多通过 专用的硬件--"负载均衡器"来实现， 但此类硬件产品往往价格昂贵。 目前在服务器领域千兆 网络已经非常普及，但是当前中档的百兆负载均衡器依然以动辄近十万元的高价， 使得不少 企业望而却步。 LVS(负载均衡软件，Linux Virtual Server) 项目的创始人是我国国防科技大学的章文 嵩博士，此项目也是当前已经加入到 Linux 内核中为数不多的由国人维护的开源项目之一。 随着此项目的不断发展， 功能的逐渐完善及性能的不断提高， 当前不少硬件负载均衡器就是 通过 Linux 内核结合 LVS 来实现的。 在网上有很多 LVS 方面的配置教程， 如果 LVS 负载均衡器只是单台的只需安装 LVS 服务 即可， 如果 LVS 服务器是多台一般需要 LVS+keepalived 或 heartbeat+ldirectord+lvs 来实 现 LVS 负载均衡器的热备和监控应用服务器的状态。 在 RHEL 5 系列的 RHCS 中所带的 LVS 能通过图形界面的配置来实现比 LVS+keepalived 或 heartbeat+ldirectord+lvs 更强大的功能，下面我们就以 RHEL 5 LVS 为例来讲解 LVS 的基 本配置。 实验拓扑图
LVS原理详解配置文件参数详解
LVS原理详解配置⽂件参数详解LVS原理详解LVS简介 Internet的快速增长使多媒体⽹络服务器⾯对的访问数量快速增加，服务器需要具备提供⼤量并发访问服务的能⼒，因此对于⼤负载的服务器来讲， CPU、I/O处理能⼒很快会成为瓶颈。
由于单台服务器的性能总是有限的，简单的提⾼硬件性能并不能真正解决这个问题。
为此，必须采⽤多服务器和负载均衡技术才能满⾜⼤量并发访问的需要。
Linux 虚拟服务器(Linux Virtual Servers,LVS) 使⽤负载均衡技术将多台服务器组成⼀个虚拟服务器。
它为适应快速增长的⽹络访问需求提供了⼀个负载能⼒易于扩展，⽽价格低廉的解决⽅案。
LVS结构与⼯作原理⼀.LVS的结构 LVS由前端的负载均衡器(Load Balancer，LB)和后端的真实服务器(Real Server，RS)群组成。
RS间可通过局域⽹或⼴域⽹连接。
LVS的这种结构对⽤户是透明的，⽤户只能看见⼀台作为LB的虚拟服务器(Virtual Server)，⽽看不到提供服务的RS群。
当⽤户的请求发往虚拟服务器，LB根据设定的包转发策略和负载均衡调度算法将⽤户请求转发给RS。
RS再将⽤户请求结果返回给⽤户。
⼆.LVS内核模型1.当客户端的请求到达负载均衡器的内核空间时，⾸先会到达PREROUTING链。
2.当内核发现请求数据包的⽬的地址是本机时，将数据包送往INPUT链。
3.LVS由⽤户空间的ipvsadm和内核空间的IPVS组成，ipvsadm⽤来定义规则，IPVS利⽤ipvsadm定义的规则⼯作，IPVS⼯作在INPUT链上,当数据包到达INPUT链时，⾸先会被IPVS检查，如果数据包⾥⾯的⽬的地址及端⼝没有在规则⾥⾯，那么这条数据包将被放⾏⾄⽤户空间。
4.如果数据包⾥⾯的⽬的地址及端⼝在规则⾥⾯，那么这条数据报⽂将被修改⽬的地址为事先定义好的后端服务器，并送往POSTROUTING链。
5.最后经由POSTROUTING链发往后端服务器。
Linux中的LVS网络负载技术介绍
LVS集群中的IP负载均衡技术介绍NLB是Windows下网络负载平衡技术。
它可以保证几台win机器之间，通过配置后，利用广播或组播方式，使得虚拟ip地址同时均匀的分布在每台或者指定的几台win机器上，从而实服务器现网络负载。
相信这个大家都比较熟。
但我们今天讨论的是Linux下的情况。
问题就在于：Linux中有类似windows的nlb的技术吗？有又如何实现的呢？答案肯定是肯定的。
不但有，而且很多。
除了我们今天要讲的LVS外，还有LNLB、HAproxy、Pound等第三方Linux软件。
接下来我们来看一幅LVS虚拟服务拓扑图：这张图所展示的，内容很简单的：就是终端通过网络连接到一台平衡服务器上，然后平衡服务器将终端的连接，转发给LAN网或WAN网中服务器。
简单的1说，这就是LVS的基本原理。
LVS简单吧！在LVS项目中，把图中的前置平衡服务器称之为Director Server（DR），后置的实际服务器称之为Real Server （RS）。
看着这拓扑案例图，也许，大家很快就想到一个问题:DR机宕了怎么办？不就OVER了吗？是啊！这涉及到一个HA（High-Availability）高可用性问题。
要保证DR服务器的冗余安全，可采用Heartbeat建主备来解决此问题。
但HA 的问题，我们不打算在这里讨论。
另外一个问题也许你想到了，也许你还没留意到。
那就是重定向问题，如何保证Director Service能将来自同一个Client的请求发给同一个RealServer呢？LVS可通过服务Persistent参数来设置。
那问题是，“来自同一个客户”是基于IP的客户端还是基于浏览器客户端的Cookie呢？LVS 还有另一参数[-M netmask]。
所以说应该是基于源地址.它指出源地址的匹配方式。
-p900-M255.255.255.0就是掩码后网络地址相同的请求使用同一个模板。
***********************************************************************************关于MAN命令中对-P和-M参数的说明。
CAS集群部署(Linux)
安装CAS集群（v1.0）目录1部署操作 (2)1.1硬件及部署要求 (2)1.1.1部署图 (2)1.2操作系统安装—SERVER1,2 .................................................................................................. 错误！未定义书签。
1.3安装M EMCACHED (2)1.3.1安装环境 (2)1.3.2安装步骤 (3)1.4安装LVS (7)1.5配置CAS集群模式 (11)1 部署操作1.1 硬件及部署要求以下几种集群部署策略请根据实际情况选择确定。
（1）使用认证平台人数在3万人以下，并发5000以下，不推荐集群化部署，单台即可；节点服务器要求（2路4核，8G 内存以上）物理机优先。
1.1.1 部署图说明：此架构为CAS 的集群模式，考虑高并发的模式及双击热备的模式，Memcached 需要配置1-2G 内存，可以考虑单独部署服务器，可以与其中一台CAS 服务器进行一起部署。
如果Memcached 挂了或者不能访问了，CAS 服务器就不能访问。
● CPU 类型：Intel/AMD (64位,主频2.6GHz 以上,2核及以上) ● 内存容量：4GB 及以上● 硬盘容量：160GB 以上，Raid 1/5 ● 网络控制器：千兆以太网卡(两块以上) ● IP （对外提供服务）：3个，其中一个为虚拟ip ● 集群策略：MirrorMode ● 拓扑图：PCSmart Phone IP ：Memcached1.2 安装Memcached1.2.1 安装环境redhat server 6.3(64bit)/ Centos 6.3(64bit)1.2.2安装步骤（确认是用root用户登录）将memcached-1.4.0.tar.gz , libevent-2.0.13-stable.tar.gz上传至/root路径下1.2.2.1安装libevent注意：这里一定要注意指定--prefix，后面配置memcached的时候就有必要用到。
linux+lvs+heartbeat+mon集群
iPanel T echnologies ltd.Linux+lvs集群方案version 1.0单位：深圳市茁壮网络技术有限公司日期：2010年08月 2 日文档维护日志目录1. 概述 ................................................................................................................................. 错误！未定义书签。
1.1 网络拓扑图 .......................................................................................................错误！未定义书签。
1.2 功能概述..............................................................................................................错误！未定义书签。
2. 运行环境 ......................................................................................................................... 错误！未定义书签。
2.1 硬件需求..............................................................................................................错误！未定义书签。
2.2 软件需求..............................................................................................................错误！未定义书签。
使用LVS实现负载均衡原理及安装配置详解
如上图。FULLNAT模式对入报文做了DNAT+SNAT，即将报文的目的地址改为RS的地址，源地址改为LVS设备地址；RS上不需要配置路由策略，出报文到了LVS设备上后做 SNAT+DNAT，即将报文的源地址改为LVS设备上的地址，目的地址改为真实的用户地址。
LVS FULLNAT类型特性
ipvsadm：用户空间的命令行工具，规则管理器，用于管理集群服务及RealServer ipvs：工作于内核空间的netfilter的INPUT钩子之上的框架
LVS集群类型中的术语
Director：负载均衡器,也称VS(Virtual Server) RS:真实服务器(RealServer) CIP：客户端IP(Client IP) VIP: Client所请求的，提供虚拟服务的IP，可以用Keepalive做高可用 DIP:在Director实现与RS通信的IP RIP:RealServer IP
1.VIP是公网地址,RIP和DIP是私网地址,且通常不在同一IP网络,因此,RIP的网关一般不会指向DIP 2.RS收到的请求报文源地址是DIP,因此只需响应给DIP, Dirctor收到RS的回复报文后将其发往Client 3.请求和响应报文都经由Dirctor 4.支持端口映射
三、LVS调度方法(Scheduler)
2.2 LVS/DR(Direct Routing直接路由) 通过为请求报文重新封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标MAC是挑选出的RS的RIP所在接口的MAC地址;源IP/PORT,以及目标IP/PORT均保持不变, 请求报文经过Dirctor但响应报文不再经过Dirctor
二、LVS集群的类型
LVS转发模式有四种： lvs-nat: 修改请求报文的目标IP lvs-dr: 操纵封闭新的MAC地址 lvs-tun: 在原请求IP报文之外新加一个IP首部 lvs-fullnat: 修改请求报文的源和目标IP
RedHat linux7-虚拟化+集群安装精简手册
RedHat linux 7虚拟化环境集群安装精简手册1、前期准备挂载磁盘/＊通过制作iso，方便后续安装动作,在知识库中应形成iso镜像体系＊/dd if=/dev/sr0 of=/app/rh71。
isomount —o loop /app/rh71。
iso /mnt挂载制作的isomount -loop /dev/sr0 /mnt查看少什么包/＊如果想要是用vgscan指令，系统至少需要安装lvm2包，这个从安装好的系统上查＊/ ［root＠jttldb1 host5］# rpm —qf /sbin/vgscanlvm2-2。
02.83-3.el6.x86_64常用包安装net-tools （ifconfig等用）yum —y install nautilus—open-terminal（右键添加terminal）配置yum/＊根据具体挂载的路径和版本调整＊/建立文件/etc/yum.repos。
d/mycdrom.repo[Base］name=RHELbaseurl=file：///mntenabled=1gpgcheck=0[Cluster］name=RHELbaseurl=file:///mnt/addons/HighAvailabilityenabled=1gpgcheck=0配置ipIPADDR=10.88.89.100GATEWAY=10.88.89.1NETMASK=255。
255.255.0ONBOOT=yes单网卡配置多ipifconfig team0:0 10。
88。
89.101 netmask 255.255。
255.0 （临时添加一个ip，重启后消失，如果想永久拥有，需要配置ifcfg—ens32:0 文件)临时文件取消：ifconfig ens32：0 down网卡绑定1）创建组接口（会生产一个ifcfg-team0）nmcli con add type team con—name team0 ifname team0 config '{”runner”:｛"name”:”activebackup"｝}’nmcli con del team0 (删除绑定team）2）查看组接口配置nmcli con show3）给组接口添加设备nmcli con add type team—slave con-name team0-port1 ifname enp11s0f0 master team0nmcli con add type team-slave con-name team0—port2 ifname enp16s0f0 master team0nmcli con mod type team—slave con-name team0—port2 ifname enp16s0f0 master team04）配置ip［root@jttldb2 network-scripts］＃more ifcfg-team0DEVICE=team0DEVICETYPE=TeamTEAM_CONFIG="｛\"runner\"：{\”name\"：\”activebackup\”｝｝"BOOTPROTO=noneIPADDR=10.88.89。
从0到1在Linux上搭建Redis6.0的Cluster集群教程
从0到1在Linux上搭建Redis6.0的Cluster集群教程Redis集群模式分三种⽅式：1、主从模式，这⾥通常指的是，主down后，需要⼿动升级从库为主库。
主库⽀持读写，从库只读。
⾄少两个redis实例2、哨兵模式，是1模式的加强，由哨兵模式⾃动选举从库中的某⼀个为主库。
解决⾼可⽤问题。
⾄少三个redis实例3、Cluster集群模式，除了解决⾼可⽤问题外，还解决⼤量数据存储问题，通过slot⽅式路由到不同的服务器组中。
⾄少3台服务器，六个redis实例。
详细的介绍请参阅：https:///miss1181248983/article/details/90056960下⾯介绍如何搭建Cluster集群模式。
1、⾸选准备三台阿⾥云机器，ip分别如下s1:172.16.213.251s2:172.16.213.250s3:172.16.213.246注意：建议尽量不要选择Aliyun Linux操作系统，会遇到各种奇怪奇葩的问题，笔者⽤Aliyun linux花费⼤量时间，并未安装成功，客服也仅仅只给建议，⽆奈换回主流的CenterOS，下⾯是三台服务器的版本情况lsb_release -a2、安装Redis 6.0.10版本的，检查服务器环境是否满⾜gcc -v #检查gcc版本，需要是8.3+的3、安装tcl，否则编译redis的时候不通过，这⾥安装的时候直接使⽤rpm编译好的包执⾏安装即可。
⼩tips:国内有很多linux软件镜像，这⾥采⽤阿⾥云的镜像⽹站https:///packageSearch?word=tcl，点开后直接搜索即可，注意使⽤⾃⼰需要的版本rpm -ivh https:///centos/8.3.2011/BaseOS/x86_64/os/Packages/tcl-8.6.8-2.el8.x86_ 64.rpm?spm=a2c6h.13651111.0.0.70662f7099C6CD&file=tcl-8.6.8-2.el8.x86_64.rpm#使⽤上⾯命令进⾏安装，注意安装的时候要重新获取⼀次rpm安装包地址，输⼊命令回车，⼀会之后再回车⼀次，即可以看到Done安装完成！4、下载Redis，我们默认放到/usr/local/redis-6.0.10⽂件夹cd /usr/localwget https://download.redis.io/releases/redis-6.0.10.tar.gztar -zvxf redis-6.0.10.tar.gzcd redis-6.0.10/make && make test && make install #也可以分步执⾏，看到下⾯截图的命令基本代表已经安装成功了。
linux服务器集群的详细配置
linux服务器集群的详细配置一、计算机集群简介计算机集群简称集群是一种计算机系统, 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作;在某种意义上,他们可以被看作是一台计算机;集群系统中的单个计算机通常称为节点,通常通过局域网连接,但也有其它的可能连接方式;集群计算机通常用来改进单个计算机的计算速度和/或可靠性;一般情况下集群计算机比单个计算机,比如工作站或超级计算机性能价格比要高得多;二、集群的分类群分为同构与异构两种,它们的区别在于：组成集群系统的计算机之间的体系结构是否相同;集群计算机按功能和结构可以分成以下几类:高可用性集群 High-availability HA clusters负载均衡集群 Load balancing clusters高性能计算集群 High-performance HPC clusters网格计算 Grid computing高可用性集群一般是指当集群中有某个节点失效的情况下,其上的任务会自动转移到其他正常的节点上;还指可以将集群中的某节点进行离线维护再上线,该过程并不影响整个集群的运行;负载均衡集群负载均衡集群运行时一般通过一个或者多个前端负载均衡器将工作负载分发到后端的一组服务器上,从而达到整个系统的高性能和高可用性;这样的计算机集群有时也被称为服务器群Server Farm; 一般高可用性集群和负载均衡集群会使用类似的技术,或同时具有高可用性与负载均衡的特点;Linux虚拟服务器LVS项目在Linux操作系统上提供了最常用的负载均衡软件;高性能计算集群高性能计算集群采用将计算任务分配到集群的不同计算节点而提高计算能力,因而主要应用在科学计算领域;比较流行的HPC采用Linux操作系统和其它一些免费软件来完成并行运算;这一集群配置通常被称为Beowulf集群;这类集群通常运行特定的程序以发挥HPC cluster的并行能力;这类程序一般应用特定的运行库, 比如专为科学计算设计的MPI 库集群特别适合于在计算中各计算节点之间发生大量数据通讯的计算作业,比如一个节点的中间结果或影响到其它节点计算结果的情况;网格计算网格计算或网格集群是一种与集群计算非常相关的技术;网格与传统集群的主要差别是网格是连接一组相关并不信任的计算机,它的运作更像一个计算公共设施而不是一个独立的计算机;还有,网格通常比集群支持更多不同类型的计算机集合;网格计算是针对有许多独立作业的工作任务作优化,在计算过程中作业间无需共享数据;网格主要服务于管理在独立执行工作的计算机间的作业分配;资源如存储可以被所有结点共享,但作业的中间结果不会影响在其他网格结点上作业的进展;三、linux集群的详细配置下面就以WEB服务为例,采用高可用集群和负载均衡集群相结合;1、系统准备：准备四台安装Redhat Enterprise Linux 5的机器,其他node1和node2分别为两台WEB服务器,master作为集群分配服务器,slave作为master的备份服务器;所需软件包依赖包没有列出：2、IP地址以及主机名如下：3、编辑各自的hosts和network文件mastervim /etc/hosts 添加以下两行vim /etc/sysconfig/networkHOSTNAME= slavevim /etc/hosts 添加以下两行vim /etc/sysconfig/network HOSTNAME= node1vim /etc/hosts 添加以下两行vim /etc/sysconfig/network HOSTNAME= node2vim /etc/hosts 添加以下两行vim /etc/sysconfig/networkHOSTNAME= 注：为了实验过程的顺利,请务必确保network文件中的主机名和hostname命令显示的主机名保持一致,由于没有假设DNS服务器,故在hosts 文件中添加记录;4、架设WEB服务,并隐藏ARPnode1yum install httpdvim /var//html/添加如下信息：This is node1.service httpd startelinks 访问测试,正确显示&nbs隐藏ARP,配置如下echo 1 >> /proc/sys/net/ipv4/conf/lo/arp_ignoreecho 1 >> /proc/sys/net/ipv4/conf/all/arp_ignore echo 2 >> /proc/sys/net/ipv4/conf/lo/arp_announce echo 2 >> /proc/sys/net/ipv4/conf/all/arp_announce ifconfig lo:0 netmask broadcast uproute add -host dev lo:0node2yum install httpdvim /var//html/添加如下信息：This is node2.service httpd startelinks 访问测试,正确显示隐藏ARP,配置如下echo 1 >> /proc/sys/net/ipv4/conf/lo/arp_ignore echo 1 >> /proc/sys/net/ipv4/conf/all/arp_ignore echo 2 >> /proc/sys/net/ipv4/conf/lo/arp_announce echo 2 >> /proc/sys/net/ipv4/conf/all/arp_announceifconfig lo:0 netmask broadcast uproute add -host dev lo:0mastervim /var//html/添加如下内容：The service is bad.service httpd startslavevim /var//html/添加如下内容：The service is bad.service httpd start5、配置负载均衡集群以及高可用集群小提示：使用rpm命令安装需要解决依赖性这一烦人的问题,可把以上文件放在同一目录下,用下面这条命令安装以上所有rpm包：yum --nogpgcheck -y localinstall .rpmmastercd /usr/share/doc/ cp haresources authkeys /etc/cd /usr/share/doc/ cp /etccd /etcvim开启并修改以下选项：debugfile /var/log/ha-debuglogfile /var/log/ha-logkeepalive 2deadtime 30udpport 694bcast eth0增加以下两项：node node vim haresources增加以下选项：ldirectord::/etc/为/etc/authkeys文件添加内容echo -ne "auth 1\n1 sha1 "注意此处的空格 >> /etc/authkeysdd if=/dev/urandom bs=512 count=1 | openssl md5 >> /etc/authkeys &nbs更改key文件的权限chmod 600 /etc/authkeysvim /etc/修改如下图所示：slave 注：由于slave的配置跟master配置都是一样的可以用下面的命令直接复制过来,当然想要再练习的朋友可以自己手动再配置一边;scp root:/etc/{,haresources} /etc/输入的root密码scp root:/etc/ /etc输入的root密码6、启动heartbeat服务并测试master & slaveservice heartbeat start这里我就我的物理机作为客户端来访问WEB服务,打开IE浏览器这里使用IE浏览器测试,并不是本人喜欢IE,而是发现用google浏览器测试,得出的结果不一样,具体可能跟两者的内核架构有关,输入,按F5刷新,可以看到三次是2,一次是1,循环出现;7、停止主服务器,再测试其访问情况masterifdown eth0再次访问,可以看到,服务器依然能够访问;。
LINUX集群LVS负载均衡配置
作者:潜小生 open.source.niche@LINUX 集群LVS 负载均衡配置基础基础原理篇原理篇原理篇：：LVS 是Linux Virtual Server 的缩写，意思是Linux 虚拟服务器。
负载均衡一般是指一群计算机的集合，通过一个虚拟ip 去根据某种算法，去不停分配到这集合的计算机当中，假如有 主机A 主机B 主机C 主机A 作为一个负载均衡机，主机B 和主机C 都是web 应用服务器，主机A 是负载均衡机，主机A 会虚拟一个IP 出来作为这个负载均衡的IP ，假定主机A 的IP 192.168.1.1 主机B 的IP 是192.168.10.2 主机C 的IP 192。
168.10.3 这个负载均衡虚拟IP 的192.168.1.10 就是访问这web 服务器的IP 地址 当外部来访问web 站点的时候，主机A(负载均衡机)会把这个虚拟IP 通过作为NAT 地址转换，分发主机A 和主机B ，采用一种算法，通常一般采用轮询的方式，当外部网络来访问时候，主机A(负载均衡机)首先任意分开给主机A ，有主机A 把页面访问给来至外部网络的访问，当有下一个来外部网络的访问，主机A(负载均衡机)在分发给主机B,按照这样的机制，一次分发给主机A,一次分发给主机B 。
LVS有三种负载均衡的模式，分别是VS/NAT（nat模式）VS/DR(路由模式) VS/TUN（隧道模式）介绍模式介绍VS/NAT模式这种模式当来访问这个网络的时候，负载均衡机会会通过NAT的转换分别分发给应用服务器A或应用服务器B。
应用服务器返回给来至外部的访问，要在次通过负载机访问给来至外部的访问。
这种模式通常是应用服务器是IP是私有IP地址，需要通过NAT地址来转换成公网IP地址。
返回给外部网络的不在通过这个负载均衡机出去，而且自己通过路由返回给外部网络，自己去查路由，去返回。
vs/tun模式介绍隧道模式，负载均衡机和集群集合的服务器和负载均衡虚拟出来IP不属于同一个网段，分别分布在不同网段，这时候我需要隧道模式，好比这个负载均衡机和这个集群集合的服务器建议一条用来专门用来负载均衡隧道，隧道模式首先外部网络访问时候，经负载均衡机来分发到应用服务器，应用服务器也是和路由模式一样的方式，自己路由出去返回结果给来至外部的访问，也不经在过负载均衡机出返回给来至外部网络的访问。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
浮动 IP 地址绑定的网络设备 Re-entry Time 失效重新加载真正服务器的时间 Service Timeout 失效剔除真正服务器的时间 Quiesce server 防止了新服务器在进入群集的大量连接 Load monitoring tool 监视各个真正服务器的载量 Scheduling 调度算式 Persistence 连接超时前所允许经过的不活跃期间的秒数 Persistence Network Mask 限制某个特定子网的持续性的子网掩码。 5 REAL SERVER Name 真正服务器 Address 真正服务器的 IP Weight 主机权值 6 同步配置文件 scp /etc/sysconfig/ha/lvs.cf n.n.n.n:/etc/sysconfig/ha/lvs.cf scp /etc/sysconfig/iptables n.n.n.n:/etc/sysconfig/ 四 LVS 部署 1 路由转发 vi /etc/sysctl.conf net.ipv4.ip_forward = 1 sysctl –p 2 iptables 标记
第二部分 LVS Linux Virtual Server 负载均衡集群 一 LVS Linux Virtual Server 概述服务的外界用户（如网站或数据库程序）来说，Linux 虚拟服 务器（LVS）群集似乎是一个服务器。事实上，该用户使用的是一对冗余 LVS 路由器之 后的两个或多个服务器的群集。 LVS 群 集 至 少 包 括 两 层 。 第 一 层 由 一 对 配 置 相 似 的 Linux 机 器 或 群 集 成 员 （cluster members）组成。这些机器之一充当 LVS 路由器（LVS router），它用来把 来自互联网的请求转到群集。第二层包含一个叫做真实服务器（real servers）的机器 群集。 3 技术特征 高可用性群集（High-availability clustering）使用多个机器来为某个服务或某 组服务提交额外的可靠性。 负载均衡群集（Load-balance clustering）使用特殊的选路技术来给一组服务器 分配任务。 4 LVS 调度算式 循环调度 把每项请求按顺序在真正服务器中循环分派。 加权循环调度 每项请求按顺序在真正服务器中循环分派，但是给能力较大的服务器分派较多的作业。 加权最少连接法（默认） 能力相比带有较少活跃连接的服务器分派较多的请求。 基于地区的最少连接调度
heartbeat_port = 539 keepalive = 6 deadtime = 18 network = nat nat_router = 192.168.70.254 eth1 debug_level = NONE virtual [server_coolh] { active = 1 address = 211.144.137.131 eth0:1 vip_nmask = 255.255.255.224 fwmark = 81 port = 80 send = "GET / HTTP/1.0\r\n\r\n" expect = "HTTP" use_regex = 0 load_monitor = none scheduler = wlc protocol = tcp timeout = 12 reentry = 30 quiesce_server = 0 server [node01] { address = 192.168.70.11 active = 1 weight = 1 } server [node02] { address = 192.168.70.21 active = 1 weight = 1 } server [node03] { address = 192.168.70.31 active = 1 weight = 1 } server [node04] { address = 192.168.70.41 active = 1 weight = 1 } server [node05] { address = 192.168.70.51 active = 1
iptables -t mangle -A PREROUTING -p tcp -d 211.144.137.131/32 --dport 80 -j MARK --set-mark 81 iptables -t mangle -A PREROUTING -p tcp -d 211.144.137.232/32 --dport 80 -j MARK --set-mark 82 iptables -t mangle -A PREROUTING -p tcp -d 211.144.137.233/32 --dport 80 -j MARK --set-mark 83 iptables -t mangle -A PREROUTING -p tcp -d 211.144.137.234/32 --dport 80 -j MARK --set-mark 84 iptables -t mangle -A PREROUTING -p tcp -d 211.144.137.235/32 --dport 80 -j MARK --set-mark 85 3 配置 lvs.cf serial_no = 40 primary = 211.144.137.130 primary_private = 211.144.137.130 service = lvs backup_active = 0 backup = 0.0.0.0 heartbeat = 1
LINUX 集群部署
邱波
2005-6-24
第一部部分 公共部分 一 系统环境 1 Linux OS 系统版本 RHEL AS3 UPDATES 4 安装方式 最小安装 系统内核 2.4.21-27.0.4 二 服务组件 1 LVS 套件 主机名 master slaver 服务包 piranha-0.7.10-2 ipvsadm-1.21-9 依赖包 httpd-2.0.46-46 php-4.3.2-23 curl-7.10.6-6 2 GFS 套件 主机名 node01 node02 node03 node04 node05 node06 data01 data02 服务包 GFS GFS-modules-smp 依赖包 perl-Net-Telnet-3.03-1.1 3 MySQL CLUSTER 套件 主机名 master slaver node01 node02 node03 node04 node05 node06 data01 data02 服务包 MySQL-bench-4.1.12-0 MySQL-ndb-management-4.1.12-0 MySQL-server-4.1.12-0 MySQL-client-4.1.12-0 MySQL-embedded-4.1.12-0 MySQL-ndb-extra-4.1.12-0 MySQL-ndb-storage-4.1.12-0 MySQL-shared-4.1.12-0 MySQL-devel-4.1.12-0 MySQL-Max-4.1.12-0 MySQL-ndb-tools-4.1.12-0 依赖包 perl-DBI-1.32-9 4 WWW 套件 主机名 node01 node02 node03 node04 node05 node06 服务包 httpd-2.0.46-46 php-4.3.2-23 php-mysql-4.3.2-23 依赖包 curl-7.10.6-6 三 基本配置 1 主机名 master slaver node01 node02 node03 node04 node05 node06 data01 data02 2 配置文件 /etc/hosts
三 Piranha 配置工具 1 登陆 打开 http://localhost:3636 2 GLOBAL SETTINGS Primary server public IP 主 LVS 节点的可公开选路的真正 IP 地址 Primary server private IP 主 LVS 节点上的另一个网络接口的真正 IP 地址 NAT Router IP 浮动 IP 地址 NAT Router netmask 子网掩码 NAT Router device 浮动 IP 地址的网络接口的设备名称 3 REDUNDANCY 备份 LVS 路由器节点 Redundant server public IP 备份 LVS 路由器节点的公共真正 IP 地址。 Redundant server private IP 备份节点的专用真正 IP 地址。 Heartbeat Interval (seconds) 设置为心跳之间的时间 Assume dead after (seconds) 备份 LVS 路由器节点失效转移的时间。 Heartbeat runs on port 主 LVS 节点的心跳通信端口 4 VIRTUAL SERVERS Name 虚拟服务器名称。 Application port 监听端口号 Protocol UDP 或 TCP Virtual IP Address 虚拟服务器的浮动 IP 地址。 Virtual IP Network Mask 虚拟服务器子网掩码。 Firewall Mark 防火墙标记 Device
3 脚本内容 # Do not remove the following line, or various programs # that require network functionality will fail. 127.0.0.1 localhost.localdomain localhost 192.168.70.1 node01 192.168.70.2 node02 192.168.70.3 node03 192.168.70.4 node04 192.168.70.5 node05 192.168.70.6 node06 192.168.70.100 data01 192.168.70.200 data02 192.168.70.254 master 192.168.70.253 slaver