[TOC] 转载：https://www.modb.pro/db/29292 ## TCP的三次握手和四次挥手  ## TIME_WAIT概述 TIME_WAIT 状态： * TCP 连接中，**主动关闭连接**的一方出现的状态；（收到 FIN 命令，进入 TIME\_WAIT 状态，并返回 ACK 命令） * 保持 2 个 `MSL`  时间，即，`4 分钟` ；（MSL 为 2 分钟） >TCP 连接建立后，「**主动关闭连接**」的一端，收到对方的 FIN 请求后，发送 ACK 响应，会处于 time\_wait 状态； 在高并发的场景下，`TIME_WAIT`  连接存在，属于正常现象。 线上场景中，持续的高并发场景 * 一部分 `TIME_WAIT`  连接被回收，但新的 `TIME_WAIT`  连接产生； * 一些极端情况下，会出现**大量**的 `TIME_WAIT`  连接。 ## 大量的time_wait状态TCP连接，有什么业务上的影响 * TCP 连接中，「主动发起关闭连接」的一端，会进入 time\_wait 状态 * time\_wait 状态，默认会持续 `2 MSL` （报文的最大生存时间），一般是 2x2 mins * time\_wait 状态下，TCP 连接占用的端口，无法被再次使用 * 每一个 time\_wait 状态，都会占用一个「本地端口」，上限为 `65535` (16 bit，2 Byte)； * 当大量的连接处于 `time_wait`  时，新建立 TCP 连接会出错，**address already in use : connect** 异常 >TCP 本地端口数量，上限为 `65535` （6.5w），这是因为 TCP 头部使用 `16 bit` ，存储「**端口号**」，因此约束上限为 `65535` 。 ## 现实场景 * 服务器端，一般设置：**不允许**「主动关闭连接」，但 HTTP 请求中，http 头部 connection 参数，可能设置为 close，则，服务端处理完请求会主动关闭 TCP 连接 。现在浏览器中， HTTP 请求 `connection`  参数，一般都设置为 `keep-alive` * Nginx 反向代理场景中，可能出现大量短链接，服务器端，可能存在 ## 问题分析 大量的TIME_WAIT状态TCP连接存在，其本质原因是什么？ * 大量短链接存在 * 特别是http请求中，如果connection头部取值被设置为close时，基本都由【服务端】发起主动关闭连接，而TCP四次挥手关闭连接机制中，为了保证ACK重发和丢弃延迟数据，设置TIME_WAIT为2倍的MSL（报文存活最大时间） ## 解决time_wait的办法 解决上述 `time_wait`  状态大量存在，导致新连接创建失败的问题，一般解决办法： 1、**客户端**，HTTP 请求的头部，connection 设置为 keep-alive，保持存活一段时间：现在的浏览器，一般都这么进行了 2、**服务器端**， * 允许 `time_wait`  状态的 socket 被**重用** * 缩减 `time_wait`  时间，设置为 `1 MSL` （即，2 mins） ## 几个核心问题 ###  **time\_wait 是「服务器端」的状态？or 「客户端」的状态？** * RE：time\_wait 是「主动关闭 TCP 连接」一方的状态，可能是「客服端」的，也可能是「服务器端」的 * 一般情况下，都是「客户端」所处的状态；「服务器端」一般设置「不主动关闭连接」 ### **服务器在对外服务时，是「客户端」发起的断开连接？还是「服务器」发起的断开连接？** * 正常情况下，都是「客户端」发起的断开连接 * 「服务器」一般设置为「不主动关闭连接」，服务器通常执行「被动关闭」 * 但 HTTP 请求中，http 头部 connection 参数，可能设置为 close，则，服务端处理完请求会主动关闭 TCP 连接 ### 关于 HTTP 请求中，设置的主动关闭 TCP 连接的机制：TIME\_WAIT的是主动断开方才会出现的，所以主动断开方是服务端？ * 是的。在HTTP1.1协议中，有个 Connection 头，Connection有两个值，close和keep-alive，这个头就相当于客户端告诉服务端，服务端你执行完成请求之后，是关闭连接还是保持连接，保持连接就意味着在保持连接期间，只能由客户端主动断开连接。还有一个keep-alive的头，设置的值就代表了服务端保持连接保持多久。 * HTTP默认的Connection值为close，那么就意味着关闭请求的一方几乎都会是由服务端这边发起的。那么这个服务端产生TIME\_WAIT过多的情况就很正常了。 * 虽然HTTP默认Connection值为close，但是，现在的浏览器发送请求的时候一般都会设置Connection为keep-alive了。所以，也有人说，现在没有必要通过调整参数来使TIME\_WAIT降低了。 ### 为什么需要time_wait * **可靠的实现 TCP 全双工连接的终止**：四次挥手关闭 TCP 连接过程中，最后的 ACK 是由「主动关闭连接」的一端发出的，如果这个 ACK 丢失，则，对方会重发 FIN 请求，因此，在「主动关闭连接」的一段，需要维护一个 time\_wait 状态，处理对方重发的 FIN 请求； * **处理延迟到达的报文**：由于路由器可能抖动，TCP 报文会延迟到达，为了避免「延迟到达的 TCP 报文」被误认为是「新 TCP 连接」的数据，则，需要在允许新创建 TCP 连接之前，保持一个不可用的状态，等待所有延迟报文的消失，一般设置为 2 倍的 MSL（报文的最大生存时间），解决「延迟达到的 TCP 报文」问题； ## linux下解决TIME_WAIT 编辑内核文件/etc/sysctl.conf，加入以下内容： ``` net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭； net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭； net.ipv4.tcp_tw_recycle = 0 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。 net.ipv4.tcp_fin_timeout = 30修改系默认的 TIMEOUT 时间 ``` 然后执行 /sbin/sysctl -p 让参数生效. ``` /etc/sysctl.conf是一个允许改变正在运行中的Linux系统的接口，它包含一些TCP/IP堆栈和虚拟内存系统的高级选项，修改内核参数永久生效。 ``` 简单来说，就是打开系统的TIMEWAIT重用和快速回收。 如果以上配置调优后性能还不理想，可继续修改一下配置： ``` $ vi /etc/sysctl.conf net.ipv4.tcp_keepalive_time = 1200 #表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为20分钟。 net.ipv4.ip_local_port_range = 1024 65000 #表示用于向外连接的端口范围。缺省情况下很小：32768到61000，改为1024到65000。 net.ipv4.tcp_max_syn_backlog = 8192 #表示SYN队列的长度，默认为1024，加大队列长度为8192，可以容纳更多等待连接的网络连接数。 net.ipv4.tcp_max_tw_buckets = 5000 #表示系统同时保持TIME_WAIT套接字的最大数量，如果超过这个数字，TIME_WAIT套接字将立刻被清除并打印警告信息。 默认为180000，改为5000。对于Apache、Nginx等服务器，上几行的参数可以很好地减少TIME_WAIT套接字数量，但是对于 Squid，效果却不大。此项参数可以控制TIME_WAIT套接字的最大数量，避免Squid服务器被大量的TIME_WAIT套接字拖死。 ```