一、什么是集群
-
1.1 集群Cluster:
集群是为了解决某个特定问题,将多台计算机组合起来而形成的单个系统,对外看成一个整体,共同对外提供同一种服务。
外界客户端只访问统一入口,不知道后端有多台机器。
-
1.2 核心目的:
- 负载均衡:请求分发到多台服务器,不让单台机器压力过大
- 高可用:一台服务器宕机,其他机器继续工作,服务不中断
- 横向扩容:业务压力变大,直接增加后端服务器即可
二、集群分类
Cluster常见的类型有三种:负载均衡集群 LB(LVS、Nginx)、高可用集群 HA(keepalived)、高性能计算集群 HPC。
-
2.1 负载均衡集群 LB:
- LoadBalancing(负载均衡)由多个主机组成,每个主机只承担一部分访问,可简写为LB
- 优点:分担流量,提高并发
- 代表示例:(LVS、Nginx)
-
2.2 高可用集群 HA(keepalived):
- 全称 High Availability。多台服务器互备,当主服务器宕机,备用服务器自动接管服务。
- 优点:防止单点故障,机器故障自动切换
- 代表示例:Keepalived、Pacemaker
-
2.3 高性能计算集群 HPC:
- 全称 High Performance Computing。把复杂大型计算任务拆分,分发至多台服务器并行运算。
- 优点:适用于大规模运算(科学计算,运维很少接触)
- 适用场景:气象模拟、建模运算;日常运维极少使用。
三、lvs概念及作用
LVS:Linux Virtual Server,负载调度器,内核集成。
-
3.1 相关术语
| 角色 | 全称 | 名称 | 作用 |
|---|---|---|---|
| VS | Virtual Server | 调度器 | LVS 负载均衡调度服务器,接收客户端请求,按照调度算法把请求转发给后端 RS |
| RS | Real Server | 真实业务主机 | 后端服务器,真正运行业务程序,处理用户请求并返回响应数据 |
| CIP | Client IP | 客户端主机的ip | 访问服务的用户电脑 / 客户端公网 IP,流量请求的发起方地址 |
| VIP | Virtual serve IP,VS外网的IP | 对外开放的让客户访问的ip | 集群统一入口 IP,客户端只访问 VIP,感知不到后端多台 RS |
| DIP | Director IP VS内网的IP | 调度器负责访问内网的ip | 调度器 VS 连接后端内网、和 RS 通信使用的内网地址 |
| RIP | Real server IP | 真实业务主机IP | 后端真实服务器在内网的物理 IP,调度器和 RS 通信的地址 |
访问流程:CIP <--> VIP == DIP <--> RIP
四、lvs的4种模式及原理
-
4.1 NAT模式
4.1.1 简介:
- 本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和 PORT实现转发
- RIP和DIP应在同一个IP网络,且应使用私网地址;RS的网关要指向DIP
- 请求报文和响应报文都必须经由Director转发,Director易于成为系统瓶颈
- 支持端口映射,可修改请求报文的目标PORT
- VS必须是Linux系统,RS可以是任意OS系统
-
4.1.2 实验测试
4.1.2.1 要求:
| 主机名 | IP |
|---|---|
| vsnode |
eth0---172.25.254.100---NAT模式 eth1---192.168.0.100---仅主机模式 |
| RS1 | eth0---192.168.0.10---仅主机,gateway---192.168.0.100 |
| RS2 | eth0---192.168.0.20---仅主机,gateway---192.168.0.100 |
4.1.2.2 步骤:
-
环境配置:
VSnode:
- 配置IP地址
RS1
- 配置IP地址
- 设定访问业务真实数据
dnf install httpd -y systemctl enable --now httpd echo RS1-192.168.0.10 > /var/www/html/index.html
RS2
- 配置IP地址
- 设定访问业务真实数据
dnf install httpd -y systemctl enable --now httpd echo RS2-192.168.0.20 > /var/www/html/index.html
测试环境
- 在vsnode上测试
[root@vsnode ~]# curl 192.168.0.10 RS1-192.168.0.10 [root@vsnode ~]# curl 192.168.0.20 RS2-192.168.0.20得到如上结果,即正确
-
实验步骤:
step1:vsnode开启内核路由功能
[root@vsnode ~]# echo net.ipv4.ip_forward=1 >> /etc/sysctl.conf
[root@vsnode ~]# sysctl -p
net.ipv4.ip_forward = 1
step2:编写策略
[root@vsnode ~]# ipvsadm -C
[root@vsnode ~]# ipvsadm -A -t 172.25.254.100:80 -s wrr
[root@vsnode ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 1
[root@vsnode ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1
[root@vsnode ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.254.100:80 wrr
-> 192.168.0.10:80 Masq 1 0 0
-> 192.168.0.20:80 Masq 1 0 0
step3:测试
[root@vsnode ~]# for i in {1..10};do curl 172.25.254.100;done
RS2 - 192.168.0.20
RS1 - 192.168.0.10
RS2 - 192.168.0.20
RS1 - 192.168.0.10
RS2 - 192.168.0.20
RS1 - 192.168.0.10
RS2 - 192.168.0.20
RS1 - 192.168.0.10
RS2 - 192.168.0.20
RS1 - 192.168.0.10
step4:更改权重
[root@vsnode ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 2
[root@vsnode ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.254.100:80 wrr
-> 192.168.0.10:80 Masq 2 0 5
-> 192.168.0.20:80 Masq 1 0 5
step5:再测试
[root@vsnode ~]# for i in {1..10};do curl 172.25.254.100;done
RS2 - 192.168.0.20
RS1 - 192.168.0.10
RS1 - 192.168.0.10
RS2 - 192.168.0.20
RS1 - 192.168.0.10
RS1 - 192.168.0.10
RS2 - 192.168.0.20
RS1 - 192.168.0.10
RS1 - 192.168.0.10
RS2 - 192.168.0.20
step6:规则持久化
#利用自定义文件进行持久化
[root@vsnode ~]# ipvsadm-save -n
-A -t 172.25.254.100:80 -s wrr
-a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 2
-a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1
[root@vsnode ~]# ipvsadm-save -n > /mnt/ipvs.rule
[root@vsnode ~]# ipvsadm -C
[root@vsnode ~]# ipvsadm-restore < /mnt/ipvs.rule
vim /etc/sysconfig/ipvsadm-config
==========
12 IPVS_SAVE_ON_STOP="yes"
18 IPVS_SAVE_ON_RESTART="yes"
==========
#利用守护进程进行规则持久化
[root@vsnode ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm
[root@vsnode ~]# ipvsadm -C
[root@vsnode ~]# systemctl disable --now ipvsadm.service
Removed "/etc/systemd/system/multi-user.target.wants/ipvsadm.service".
[root@vsnode ~]# systemctl enable --now ipvsadm.service
Created symlink /etc/systemd/system/multi-user.target.wants/ipvsadm.service → /usr/lib/systemd/system/ipvsadm.service.
-
4.2 DR模式
4.2.1 简介:
- Direct Routing,直接路由,LVS默认模式,应用最广泛。
- 通过为请求报文重新封装一个MAC首部进行 转发,源MAC是DIP所在的接口的MAC,目标MAC是某挑选出的RS的RIP所在接口的MAC地址;源IP/PORT,以及目标IP/PORT均保持不变
4.2.2 实验测试:
4.2.2.1 要求:
| 主机名 | IP | VIP | 角色 |
|---|---|---|---|
| client | 172.25.254.99/24--NAT | null | 客户端 |
| router |
eth0--NAT--172.25.254.100/24 eth1--仅主机--192.168.0.100/ | null | 路由器 |
| vsnode | eth0--仅主机--192.168.0.50,gateway: 192.168.0.100 | lo : 192.168.0.200 | 调度器 |
| RS1 | eth0--仅主机--192.168.0.10/24,gateway: 192.168.0.100 | lo : 192.168.0.200 | web服务器1 |
| RS2 | eth0--仅主机--192.168.0.20/24,gateway: 192.168.0.100 | lo : 192.168.0.200 | web服务器2 |
4.2.2.2 步骤:
环境配置:
【关闭所有机器的防火墙】
router
#在路由器中
[root@router ~]# systemctl disable --now ipvsadm.service
Removed "/etc/systemd/system/multi-user.target.wants/ipvsadm.service".
[root@router ~]# ipvsadm -C
#配置IP
[root@router ~]# vmset.sh eth0 172.25.254.100 vsnode
[root@router ~]# vmset.sh eth1 192.168.0.100 vsnode noroute
#设定内核路由功能
[root@router ~]# echo net.ipv4.ip_forward=1 >> /etc/sysctl.conf
[root@router ~]# sysctl -p
net.ipv4.ip_forward = 1
vsnode
- 配置IP
- 检查测试
client
- 配置IP
- pingVIP测试
[root@client ~]# ping 192.168.0.200 PING 192.168.0.200 (192.168.0.200) 56(84) 比特的数据。 64 比特,来自 192.168.0.200: icmp_seq=1 ttl=128 时间=1.08 毫秒【如上,则正确】
RS1、RS2【以RS1为例】
- 配置IP
- 测试
[root@RS1 ~]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.0.100 0.0.0.0 UG 100 0 0 eth0 192.168.0.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0 - 配置arp禁止响应
[root@RS1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore [root@RS1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore [root@RS1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce [root@RS1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
实验步骤:
router:配置数据转发策略
#数据转发策略
[root@router ~]# iptables -t nat -A POSTROUTING -o eth1 -j SNAT --to-source 192.168.0.100
[root@router ~]# iptables -t nat -A POSTROUTING -o eth0 -j SNAT --to-source 172.25.254.100
vsnode:写入规则
ipvsadm -A -t 192.168.181.200:80 -s rr
ipvsadm -a -t 192.168.181.200:80 -r 192.168.181.137:80 -g
ipvsadm -a -t 192.168.181.200:80 -r 192.168.181.139:80 -g
#使用以下检查
ipvsadm -Ln
-
4.3 TUN模式
转发方式:
不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而在原IP报文之外再封装一个IP首部 (源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;RS直接响应给客户端(源IP是VIP,目标IP 是CIP)
-
4.4 fullnet模式
转发方式:
通过同时修改请求报文的源IP地址和目标IP地址进行转发【!此类型kernel默认不支持】
-
4.5 LVS工作模式总结
| NAT模式 | DR模式 | TUN模式 | |
|---|---|---|---|
| RS操作系统 | 不限 | 禁用arp | 支持隧道 |
|
调度器和服务器网络
| 可跨网络 | 不可跨网络 | 可跨网络 |
|
调度服务器数量服务器数量
| 少 | 多 | 多 |
|
RS服务器网关
| 指向到调度器DIP | 指向到路由 | 指向到路由 |
五、lvs的13种算法
-
5.1 静态算法【4种】
不会查看服务器当前连接负载,只依靠固定规则分发
| 缩写 | 全称 | 名称 | 核心原理 | 适用场景 |
|---|---|---|---|---|
| rr | Round Robin | 轮询调度 | 请求依次轮流分配给后端 RS,不考虑负载、性能 | 所有服务器硬件配置相同、业务压力均匀 |
| wrr | Weighted Round Robin | 加权轮询 | 根据设置权重分配,权重越高分得越多请求 | 服务器硬件性能不一致场景 |
| sh | Source Hashing | 源地址哈希 | 对客户端 CIP 哈希,同一客户端 IP 永远调度同一台 RS | 需要会话保持、无分布式 session 业务 |
| dh | Destination Hashing | 目标地址哈希 | 对目标 VIP 哈希,相同目标 IP 固定 RS | 正向代理、缓存集群场景 |
-
5.2 动态算法【7种】
实时采集后端 RS 连接数量,根据实时负载智能分配请求
| 缩写 | 全称 | 名称 | 核心原理 | 适用场景 |
|---|---|---|---|---|
| lc | Least Connections | 最少连接调度 | 选择当前活跃连接总数最少的 RS | 请求处理时长差异较大业务 |
| wlc | Weighted Least Connections | 加权最少连接 | (连接数 / 权重)取最小值,LVS 默认调度算法 | 绝大多数生产环境通用推荐 |
| sed | Shortest Expected Delay | 最短期望延迟 | 公式(活跃连接+1)/权重,选出数值最小 RS;解决 wlc 初始分配缺陷 | 长连接业务、负载不均集群 |
| nq | Never Queue | 永不排队调度 | 存在空闲 RS(连接 = 0)直接分配;无空闲则使用 SED 算法 | 不允许请求排队等待场景 |
| lblc | Locality-Based Least Connections | 基于局部性最少连接 | 目标 IP 固定优先调度同一 RS;负载过高重新分配 | 缓存集群、反向代理服务 |
| lblcr | LBLC with Replication | 带复制的局部最少连接 | LBLCR 是 LBLC 增强,目标 IP 映射一组服务器,支持负载转移 | 大型分布式缓存集群 |
| ovf | Overflow Fair | 公平溢出调度 | 达到阈值自动溢出流量,控制单台服务器最大负载 | 限流、防止后端过载场景 |
六、lvs的多端口轮询问题解决方案
利用火墙解决
-
步骤一:在rs主机中同时开始http和https两种协议
#在RS1和RS2中开启https
[root@RS1+RS2 ~]# dnf install mod_ssl -y
[root@RS1+RS2 ~]# systemctl restart httpd
[root@RS1+RS2 ~]# systemctl restart httpd
-
步骤二:在vsnode中添加https的轮询策略
[root@vsnode boot]# ipvsadm -A -t 192.168.0.200:80 -s rr
[root@vsnode boot]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20 -g
[root@vsnode boot]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10 -g
[root@vsnode boot]# ipvsadm -A -t 192.168.0.200:443 -s rr
[root@vsnode boot]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.10:443 -g
[root@vsnode boot]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.20:443 -g
[root@vsnode boot]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.0.200:80 rr
-> 192.168.0.10:80 Route 1 0 0
-> 192.168.0.20:80 Route 1 0 0
TCP 192.168.0.200:443 rr
-> 192.168.0.10:443 Route 1 0 0
-> 192.168.0.20:443
-
步骤三:借助火墙解决
使用火墙标记访问vip的80和443的所有数据包,设定标记为6666,然后对此标记进行负载
[root@vsnode boot]# iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 6666
[root@vsnode boot]# ipvsadm -A -f 6666 -s rr
[root@vsnode boot]# ipvsadm -a -f 6666 -r 192.168.0.10 -g
[root@vsnode boot]# ipvsadm -a -f 6666 -r 192.168.0.20 -g
-
步骤四:测试
[root@client ~]# curl 192.168.0.200;curl -k https://192.168.0.200
RS2 - 192.168.0.20
RS1 - 192.168.0.10
七、lvs的会话粘滞解决方案
-
步骤一:设定ipv4调度策略
[root@vsnode ~]# ipvsadm -A -f 6666 -s rr -p 1
[root@vsnode ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
FWM 6666 rr persistent 1
-> 192.168.0.10:0 Route 1 0 0
-> 192.168.0.20:0
-
步骤二:测试
[root@client ~]# curl 192.168.0.200
RS1 - 192.168.0.10
[root@client ~]# curl 192.168.0.200
RS1 - 192.168.0.10
-
步骤三:观察
[root@vsnode ~]# watch -n 1 ipvsadm -Lnc
IPVS connection entries
pro expire state source virtual destination
TCP 01:56 FIN_WAIT 172.25.254.99:42420 192.168.0.200:80 192.168.0.20:80
IP 00:57 ASSURED 172.25.254.99:0 0.0.26.10:0 192.168.0.20:0
TCP 01:54 FIN_WAIT 172.25.254.99:46216 192.168.0.200:80 192.168.0.20:80
TCP 01:55 FIN_WAIT 172.25.254.99:46222 192.168.0.200:80 192.168.0.20:80

512

被折叠的 条评论
为什么被折叠?



