💎一站式轻松地调用各大LLM模型接口,支持GPT4、智谱、星火、月之暗面及文生图 广告
# 负载均衡和反向代理 1. 负载均衡需要通过反向代理来实现 2. 反向代理就是指nginx作为前端服务器,将请求转发到后端,再将后端服务器的结果,返回给客户端 它在中间做了一个代理服务器的角色 3. 负载均衡对反向代理增加了一些策略,因为后端是多台服务器,nginx会根据设定的策略将请求转发给一个相对空闲的服务器,对负载进行分流,减轻服务器压力 ![](https://img.kancloud.cn/0f/ec/0fec6e221355ad06f99dd5be452dc8a8_1920x1080.jpg) ## 配置实例 ```config worker_processes 4; events { # 最大并发数 worker_connections 1024; } http{ # 待选服务器列表 upstream myproject{ # ip_hash指令,将同一用户引入同一服务器。 ip_hash; server 125.219.42.4 fail_timeout=60s; server 172.31.2.183; } server{ # 监听端口 listen 80; # 根目录下 location / { # 选择哪个服务器列表 proxy_pass http://myproject; } } } ``` ## 轮询 每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能自动剔除。 ``` upstream backserver { server 192.168.0.14; server 192.168.0.15; } ``` ## 权重 指定轮询几率,weight和访问比率成正比,用于后端服务器性能不均的情况。 > 权重越高,在被访问的概率越大,如上例,分别是30%,70%。 ``` upstream backserver { server 192.168.0.14 weight=3; server 192.168.0.15 weight=7; } ``` ## ip_hash 上述方式存在一个问题就是说,在负载均衡系统中,假如用户在某台服务器上登录了,那么该用户第二次请求的时候,因为我们是负载均衡系统,每次请求都会重新定位到服务器集群中的某一个,那么已经登录某一个服务器的用户再重新定位到另一个服务器,其登录信息将会丢失,这样显然是不妥的。 我们可以采用ip_hash指令解决这个问题,如果客户已经访问了某个服务器,当用户再次访问时,会将该请求通过哈希算法,自动定位到该服务器。 每个请求按访问ip的hash结果分配,这样每个访客固定访问一个后端服务器,可以解决session的问题。 ```javascript upstream backserver { ip_hash; server 192.168.0.14:88; server 192.168.0.15:80; } ``` ## fair 按后端服务器的响应时间来分配请求,响应时间短的优先分配。 ```javascript upstream backserver { server 192.168.0.14; server 192.168.0.15; fair; } ``` ## url_hash 按访问url的hash结果来分配请求,使每个url定向到同一个(对应的)后端服务器,后端服务器为缓存时比较有效。 ``` upstream backserver { server squid1:3128; server squid2:3128; hash $request_uri; hash_method crc32; } ``` ## 其他 ```JavaScript proxy_pass http://backserver/; upstream backserver{ ip_hash; server 127.0.0.1:9090 down; (down 表示单前的server暂时不参与负载) server 127.0.0.1:8080 weight=2; (weight 默认为1.weight越大,负载的权重就越大) server 127.0.0.1:6060; server 127.0.0.1:7070 backup; (备用服务器,其他服务器宕机后启动) } ``` <br /> <br /> 参考: - [nginx负载均衡的5种策略](https://segmentfault.com/a/1190000014483200) - [Nginx 之负载均衡与反向代理](https://zhuanlan.zhihu.com/p/99117739)