压力测试遭遇大量TIME_WITE之后（这样解决）

前言：http协议是互联网中最常使用的应用层协议，它的绝大多数实现是基于TCP协议的。

目录

一 问题描述

二 问题跟踪

三 跟进分析

四 解决方法

一、问题描述

某天，在对一个提供http接口的后台服务进行压力测试过程中，我们设定了几百qps（每秒请求数）开始测试几分钟后，请求一端（我们后续简称为：客户端）的压力结果统计日志中开始连续出现大量的报错信息：

图1-压力测试请求中出现大量报错

在压力测试前，根据之前的经验，同类服务的单机性能一般能够达到几千QPS，然而此时测试设定的压力值还不足200qps，这与预期存在1个数量级以上的性能差距，难道是被测服务存在问题么？

二、问题跟踪

为了确认被测服务的状态，我们首先登录了服务所在的机器，检查了服务资源的占用情况，结果是：CPU、内存、硬盘、I/O、网卡、fd、socket等各项资源都不存在较大负载。看来服务本身还远没有达到它的负载瓶颈。

在排除服务端问题后，我们重新分析了统计日志中的错误--"can not assign requested address"，这是一个常见的socket的error，报错信息说明无法为socket创建新的连接，很可能是：tcp层的连接端口已经耗尽，无法为新的http请求分配端口建立连接。通过netstat命令，我们检查客户端，发现确实存在大量请求连接处于TIME_WAIT状态下：

图2-请求机器中tcp连接状态统计

这里要说明一下，虽然理论上tcp连接可用端口号为0~65535--大约65536个，但是实际在不指定端口情况下连接服务时可用端口默认为327