[TOC] # 记录真实IP地址 有时候我们需要在容器中获取客户端真实的IP等信息，而经过NginxIngressController转发后，这些信息不一定拿得到，所以我们需要对NginxIngressController进行配置。 ```shell $ kubectl -n ingress-nginx edit configmap ingress-nginx-controller # 在 data 字段添加下面三行 data: # 源地址附加到 X-Forwarded-For 标头，而不是替换它 compute-full-forwarded-for: "true" # 设置用于标识客户端的原始 IP 地址的标头字段。 默认值：X-Forwarded-For forwarded-for-header: X-Forwarded-For # 当期望将 X-Forwarded-* 的标头信息传递给后端服务时，需要设置为true use-forwarded-headers: "true" # 重启 ingress-nginx-controller 容器 $ kubectl -n ingress-nginx delete pod -l app.kubernetes.io/component=controller pod "ingress-nginx-controller-6c979c5b47-hrb4k" deleted ``` > 请注意：如果在 `ingress-nginx-controller` 高可用上的负载均衡器没有传递 `X-Forwarded-For` 的话，同样是获取不到真实IP地址的。 如果 `ingress-nginx-controller` 是高可用的话，那么会出现多个节点有pod，必定是有一个负载均衡器。那么就获取不到真实IP地址，使用 `nginx` 做七层代理的话，需要在 `location` 加上以下几行参数 ```shell map $http_x_forwarded_for $full_x_forwarded_for { default "$http_x_forwarded_for, $realip_remote_addr"; '' "$realip_remote_addr"; } # Allow websocket connections proxy_set_header Upgrade $http_upgrade; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $full_x_forwarded_for; # Pass the original X-Forwarded-For proxy_set_header X-Original-Forwarded-For $http_x_forwarded_for; ``` 完整的nginx示例：  下面的日志是通过 `ingress` 设置的域名访问，客户端收集的日志 ```shell 20.0.135.128 - - [24/Sep/2021:07:04:29 +0000] "GET /test/demo/ HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36" "192.168.31.1, 192.168.31.103" ``` > 该行的第一个段是指 `上一级的访问IP地址` 。最后一段是指 `真实客户端IP地址, 反向代理的后端IP地址`。 # 优化参数 ```shell $ kubectl -n ingress-nginx edit cm ingress-nginx-controller # 在 data 字段添加下面内容 data: # 客户端请求头部的缓冲区大小，这个可以根据你的系统分页大小来设置，一般一个请求头的大小不会超过 1k，不过由于一般系统分页都要大于1k，所以这里设置为分页大小。分页大小可以用命令getconf PAGESIZE取得。 client-header-buffer-size: 4k # 设置保持活动的客户端连接在服务器端保持打开状态的时间 keep-alive: "60" # 设置可以通过一个保持活动连接提供的最大请求数。 # nginx 与 client 保持的一个长连接能处理的请求数量，默认 100，高并发场景建议调高。 # 参考: https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/configmap/#keep-alive-requests keep-alive-requests: "10000" # 设置每个工作进程可以打开的最大并发连接数 # 参考: https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/configmap/#max-worker-connections max-worker-connections: "65535" # 设置每个工作进程可以打开的最大文件数 max-worker-open-files: "65535" # nginx 与 upstream 保持长连接的最大空闲连接数 (不是最大连接数)，默认 32，在高并发下场景下调大，避免频繁建联导致 TIME_WAIT 飙升。 # 参考: https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/configmap/#upstream-keepalive-connections upstream-keepalive-connections: "10000" # 设置可以通过一个 keepalive 连接服务的最大请求数。 发出最大请求数后，连接关闭。 upstream-keepalive-requests: "100" # 设置超时，在此期间，与 upstream servers 的空闲保持连接将保持打开状态。 upstream-keepalive-timeout: "60" # 重启 ingress-nginx-controller 容器 $ kubectl -n ingress-nginx delete pod -l app.kubernetes.io/component=controller pod "ingress-nginx-controller-6c979c5b47-csmcj" deleted ``` # 内核调优 ```shell # 临时临时 kubectl patch deployment -n ingress-nginx nginx-ingress-controller \ --patch="$(curl https://raw.githubusercontent.com/kubernetes/ingress-nginx/main/docs/examples/customization/sysctl/patch.json)" # 永久生效 # 在 ingress-nginx-controller 容器的 deploy.spec.template.spec 添加 initContainers initContainers: - name: sysctl image: alpine:3.13 securityContext: privileged: true command: - sh - -c - | sysctl -w net.core.somaxconn=32768 sysctl -w net.ipv4.ip_local_port_range='32768 65535' sysctl -w net.ipv4.tcp_tw_reuse=1 ``` **变化：** - 积压队列设置net.core.somaxconn从128到32768 - 临时端口设置net.ipv4.ip_local_port_range从32768 60999到32768 65535(符合端口规划) - 开启 `TIME_WAIT` 重用，即允许将 `TIME_WAIT` 连接重新用于新的 TCP 连接