负载均衡实现原理

注意事项——轮转算法 • 注意：少量连接效果不均衡，大量连接效果均衡！ • 原因：
1. Load Blance设备是多核CPU，算法设计实现也基于该基础。
2. 多核中的实现：
– 为了避免多核中同时对一个资源实体进行调度出现资源竞争问题，算法处 理过程中将多核看作多个设备，每个核独立运行算法，独立保存算法所需 上下文环境。
服务器。
调度算法：源地址散列（Source Hashing）
2 1 4
Internet
5 1 4 3 6
2
5 3 6
源地址散列算法实现：
根据新连接的源IP地址进行散列（HASH）的结果来决定将该新连接发文哪个实服 务器。 一般来说，来自相同客户端的新连接会被散列到相同的实服务器。
负载均衡产品中的关键指标：健康性检 查算法
防火墙方式工作流程
Cluster Firewall A
Host A
LB Device A
LB Device B
Host B
IP network
IP network
实现原理：
Firewall B
防火墙是基于会话开展业务的，即一个会话的请求和应答报文必须通过同一个
防火墙。为了既能保证防火墙业务正常进行，内部组网不受影响，需要采用双侧防
1
1
4
Internet
2 3
4
2
5 3 6
5
6
加权轮询算法实现：
根据服务器的不同处理能力，给每个服务器分配不同的权值，使其能够接受相应权 值数的服务请求。假设3台服务器加权分别为2:5:3，这样6条流过来，第1台服务器分 担1条流，第2台服务器分担3条流，第3台服务器分担2条流。 加权轮询算法能确保高性能的服务器得到更多的使用率，避免低性能的服务器负载 过重。
为什么需要负载均衡 ？
应用背景
访问流量快速增长 业务量不断提高
Internet Server Too Busy
用户需求
希望获得7×24的不 间断可用性及较快的 系统反应时间
Server Too Busy
应用背景 访问流量快速增长 业务量不断提高
Internet
Client
Link Too Busy
• DR方式（Direct Routing ）：通过改写请求报文的MAC地址，将请求 发送到真实服务器，而真实服务器将响应直接返回给客户 ； • 防火墙转发方式（Direct Routing ）：与DR方式处理类似，改写请求 报文的目的MAC地址，分发到不同的防火墙出路，回应走正常的转发 处理。
NAT方式服务器负载均衡原理
解决方法——Load Balance（2）
解决方案:链路负载均衡
China Tet
Internet
CNC
•通过带宽或就近性等算法，在多条链路中进行负载均衡，选择最优的链路， 提高访问速度。
负载均衡基本原理
Clients
Client’s Request: Source IP = 4.3.2.1 Destination = VIP - 6.6.6.100 Load Blance to Server: Source IP = 4.3.2.1 Destination = 192.168.1.10
– 从宏观角度，由于各核分发均衡总体效果是均衡的。微观角度，并不能保 证每一个时刻各个服务器上的连接数都是均衡的，会有一个偏差，偏差最 大值：多核中用于转发的Core数，当前系统为27。
TIP：Load Blance设备即解决业务访问量压力过大的问题。故应以大量连 接情况下的均衡 效果作为评判标准。 其他算法也均建议如此察看测试效果。
FTP）的性能和可用性。
实服务选择流程
前提：命中虚服务
First step 持续性
Second step
调度算法
• 一次业务交互可能包括多个连接，有些存在隐含的关联关系，将多个 连接持续重定向到同一个服务器的策略，就是持续性功能。 • 如HTTP 网络购物，多条连接组成一次业务应用，但所有该业务的请 求应发给同一服务器, 否则可能造成无法完成所请求的功能，可采用 基于源地址的持续性功能完成。
注意事项——地址散列算法（1）
• 算法思想 – 通过一个散列（Hash）函数将来自同一个源IP的请求映射到一台服 务器。 • 适用场景： – 需要保证来自同一个用户的请求分发到同一个服务器情况下。
实现：
实服务组中的实服务存放在一个散列表（这个散列表是一个数组） 中。存在一 个散列函数y=f(x)，x为散列键，f为散列函数，y是得出的 散列表中的某个位置。当一个请求到达并选择实服务的时候，将请求 报文的源IP作为散列键得出一个散列表中的位置标号，从而找到要调度 的实服务。
加权最少连接算法实现：
将加权与最少连接算法配合，根据连接数与加权比例后计算出当前新连接应该发往
哪个服务器。
调度算法：随机（Random）
5 1 4
Internet
2 1
2
5 3 6
4
6
3
随机算法实现：
将新连接随机分发给具体的实服务器。
加权随机算法实现：
将加权与随机算法配合，根据随机数与加权比例后计算出当前新连接应该发往哪个
火墙，即防火墙三明治。在这种组网环境中，对于流入流量，外侧Load Blance设 备做防火墙负载均衡，内侧Load Blance设备保证从哪个防火墙进来的流量，还要 从这个防火墙返回。流出流量正好相反。
服务器型负载均衡和防火墙型负载 均衡融合
Cluster A Firewall A Cluster B Server A IP A
服务器负载均衡基本原理——基本概念
1.虚服务：负载均衡设备对外提供
的服务称为虚服务。虚服务由VPN实 例、虚拟服务IP地址、服务协议、服 务端口号唯一标识，配置在负载均衡 设备上。客户访问请求通过公共或私 有网络到达负载均衡设备，匹配到虚 服务后，由负载均衡设备按照既定策 略分发给真实服务。
虚服务a


Ping（ICMP） TCP HTTP FTP
FTP GET
FTP GET HTTP GET

HTTP GET

DNS（inbound 链路负载均衡）
目录
负载均衡基本原理 Load Blance服务器负载均衡原理 Load Blance链路负载均衡原理 Load Blance典型组网及应用
Load Blance培训胶片
课程目标
学习完本课程，您应该能够：
Load Blance的基本原理 Load Blance服务器负载均衡原理 Load Blance链路负载均衡原理 Load Blance典型组网
目录
负载均衡基本原理 Load Blance服务器负载均衡原理 Load Blance链路负载均衡原理 Load Blance典型组网及应用
服务器型负载均衡转发方式
服务器负载均衡是数据中心最常见的组网模型。依据转发方式，分为NAT方 式、DR方式。
•
NAT方式（NetworkBiblioteka BaiduAddress Translation ）：利用NAT 技术将Clinet 请求报文目的地址转换为真实服务器地址，发给真实服务器，并将 Server应答报文源地址转换为虚服务IP地址，发给客户端；
调度算法：最少连接（Least Connections）
1 4 4
Internet
1
2
5 3 6
5 6
2 3
最少连接算法实现：
最少连接均衡算法对内部中需负载的每一台服务器都有一个数据记录，记录当前该 服务器正在处理的连接数量，当有新的服务连接请求时，将把当前请求分配给连接数 最少的服务器，使均衡更加符合实际情况，负载更加均衡。 最少连接算法适合长时处理的请求服务，如FTP。
a 实服务组 实服务a 实服务b 实服务c 实服务d 虚服务b b 实服务组 实服务e 实服务f
2.实服务：实服务是真实服务器提供
的一种服务，该服务意义比较广泛， 可以是传统的FTP、HTTP等业务应用， 也可以是广义的转发服务，如防火墙 负载均衡中，实服务只是报文转发路 径，实服务只是转发服务。
3.实服务组：为了便于对多个实服务 进行管理，将多个实服务的一些共 有属性提取出来形成了实服务组。 一个虚服务对应一个实服务组，一 个实服务组对应多个实服务。相同 的实服务组不能属于不同的虚服务。
Internet
4 2 5 3 6
2
5 3 6
轮询算法实现：
新的连接被依次轮询分发到各个实服务器上，比如第1个连接分发到第1台服务器， 第2个连接就被分配到第2台服务器上，依次轮询。 轮询算法适合于服务器组中的所有服务器都有相同的软硬件配置并且平均服务请求 相对均衡的情况。
调度算法：加权轮询（Weighted Round Robin）
LB Device A
LB Device B VIP Server B IP B
IP network
Firewall B
Server C IP C
图中Cluster A为防火墙负载均衡的群组，Cluster B为NAT方式服务器负载均 衡的群组。综合组网的工作流程就是防火墙、服务器负载均衡流程的叠加。这样 的组网方式既避免了防火墙成为网络中的瓶颈，也提高了各种网络服务（如HTTP、
Application
192.168.1.11
Application
192.168.1.12
调度算法

根据配置规则，将客户端请求智能地分发到后端应用服务器 实时监控服务器运行状态
健康性检查算法

负载均衡产品中的关键指标：调度 目前常用的调度算法：算法
轮询（Round Robin） 加权轮询（Weighted Round Robin） 最少连接（Least Connections）
DR方式服务器负载均衡原理
实现原理：
DR方式主要用于旁挂模式，除了Load Blance设备上配置了VSIP，真实服务器也都 配置了VSIP址，但不响应ARP，可通过配置为loopback地址达到。真实服务器的标识为 非VSIP的和Load Blance出接口在同一个网段内的IP,发送给VSIP的报文，由Load Blance 分发给相应的真实服务器，从真实服务器返回给客户端的报文直接通过交换机返回。这种 方式组网对服务器有配置要求。
用户需求 希望获得7×24的不 间断可用性及较快的 系统反应时间
解决方法——Load Balance（1）
解决方案:服务器负载均衡
Internet
多台服务器组成一个群组，它们通过网络设备相连接。这些服务器提供相 同或相似的网络服务。服务器群组前布局一个负载均衡设备，负责根据已配 置均衡策略将用户请求在服务器群组中的分发，为用户提供服务，并对服务 器可用性的维护。
加权最少连接（Weighted Least Connections）
随机（Random）
加权随机（Weighted Random）
源地址散列（Source Hashing）
源地址端口散列（Source&Port Hashing）
调度算法：轮询（Round Robin）
1 1 4
实现原理：
客户端将请求发送给服务器群前端的负载均衡设备，负载均衡设备上的虚服务接收客户 端请求，通过调度算法，选择真实服务器，再通过网络地址转换，用真实服务器地址重写 请求报文的目标地址后，将请求发送给选定的真实服务器；真实服务器的响应报文通过负 载均衡设备时，报文的源地址被还原为虚服务的VSIP，再返回给客户，完成整个负载调度 过程。
Ping
健康性检查算法的目的：
通过某种探针机制，检查服务器群中真 实服务器的健康情况，避免把客户端的 请求分发给出现故障的服务器，以提高
FTP/HTTP检测都会 业务的HA能力。 向服务器GET一个文 件，如果GET文件失 败，也认为服务器不 目前常用的健康性检查算法： 可用。
TCP SYN SYN ACK ？ TCP SYN (Retransmission) TCP RST Reassign
Server Farms
Application
192.168.1.10
Client IP: 4.3.2.1
Load Blance to Client: Source IP = VIP - 6.6.6.100 Destination = 4.3.2.1
Load Balancer
Server to Client:: Source IP = 192.168.1.10 Destination = 4.3.2.1 VIP: 6.6.6.100