Python爬虫老手也常踩的坑：requests.get()不加timeout参数，你的程序可能永远卡住

Python网络请求的健壮性设计：从超时陷阱到工程化实践

第一次在凌晨三点被报警短信吵醒时，我还以为是服务器宕机了。查看日志才发现，是一个看似简单的爬虫脚本卡在了某个电商网站的商品详情页请求上——没有设置timeout参数的requests.get()调用，让整个任务队列停滞了六个小时。这种"低级错误"带来的教训，往往比任何教材都深刻。

1. 为什么每个requests调用都需要超时保护

2018年GitHub的一项调查显示，超过34%的Python开发者从未在requests库中使用过timeout参数。这个数字在今天可能有所下降，但忽视超时设置仍然是生产环境中最常见的错误之一。

未设置超时的请求就像没有保险绳的攀岩者，可能面临多种风险场景：

• 僵尸请求：当目标服务器停止响应但保持TCP连接时，线程/进程会永久挂起
• 资源泄漏：连接池被占满后，后续合法请求无法获取连接
• 级联故障：在微服务架构中，一个服务的阻塞可能引发整个系统雪崩

# 危险示范：没有超时保护的请求
response = requests.get("https://unstable-api.example.com/data")

# 安全基准：至少设置全局超时
response = requests.get("https://api.example.com/data", timeout=10)

提示：即使对"可靠"的内部API也应该设置超时。网络分区、配置错误等情况随时可能发生。

2. 深入理解requests的超时机制

2.1 连接超时 vs 读取超时

requests库的timeout参数实际上控制着两个独立的阶段：