Python调用大模型API时如何实现指数退避重试与熔断降级

最新推荐文章于 2026-08-13 11:34:52 发布

原创最新推荐文章于 2026-08-13 11:34:52 发布 · 208 阅读

本内容遵循CC 4.0 BY-SA版权协议

在Python中调用大模型API时，经常遇到网络超时、限流（429）或服务端5xx错误。如果直接失败，采集任务可能中断；如果盲目重试，可能加重服务压力。本文以requests库为例，实现指数退避重试、熔断和降级机制，确保采集任务稳定完成。

一、问题现象与业务约束

假设我们有一个定时任务，需要从多个大模型API获取回答，用于后续分析。实际运行中，我们遇到以下问题：

网络抖动导致连接超时，任务失败。
调用频率过高触发限流（HTTP 429）。
服务端偶尔返回500、502、503。
批量任务中，单个失败导致整个批次失败。

业务约束：

实时性要求不高，但数据完整性要求高。
需要控制请求速率，避免被封。
系统需要可观测，便于排查。

二、异常分类与处理策略

根据异常类型，我们采取不同策略：

网络异常（超时、连接错误）：瞬时故障，重试。
HTTP 5xx（500、502、503）：服务端暂时不可用，重试。
HTTP 429（限流）：等待后重试，并考虑熔断。
HTTP 4xx（400、401等）：客户端错误，不重试。
业务异常（返回内容格式错误）：不重试，记录并跳过。

三、重试机制设计

1. 重试条件

只对以下情况重试：

requests.exceptions.Timeout
requests.exceptions.ConnectionError
HTTP 状态码为429、500、502、503

其他异常直接抛出或记录。

2. 指数退避与抖动

重试间隔采用指数退避，并加入随机抖动，避免多个请求同时重试造成雪崩。

import random
import time

def get_backoff_time(attempt, base_delay=1, max_delay=60):
    """计算重试等待时间，指数退避加抖动"""
    delay = min(max_delay, base_delay * (2 ** attempt))
    jitter = random.uniform(0, delay * 0.1)
    return delay + jitter

3. 最大重试次数

设置最大重试次数（如3次），超过后放弃并记录失败日志。

4. 重试装饰器实现

以下是一个重试装饰器，用于包裹API调用函数：

import functools
import time
import logging
import requests

logger = logging.getLogger(__name__)

def retry_on_failure(max_retries=3, base_delay=1, max_delay=60):
    def decorator(func):
        @functools.wraps(func)
        def wrapper(*args, **kwargs):
            for attempt in range(max_retries):
                try:
                    return func(*args, **kwargs)
                except (requests.exceptions.Timeout, requests.exceptions.ConnectionError) as e:
                    if attempt == max_retries - 1:
                        raise
                    delay = get_backoff_time(attempt, base_delay, max_delay)
                    logger.warning(f"Attempt {attempt+1} failed: {e}, retrying in {delay:.2f}s")
                    time.sleep(delay)
                except requests.exceptions.HTTPError as e:
                    if e.response.status_code in (429, 500, 502, 503):
                        if attempt == max_retries - 1:
                            raise
                        delay = get_backoff_time(attempt, base_delay, max_delay)
                        logger.warning(f"HTTP {e.response.status_code} on attempt {attempt+1}, retrying in {delay:.2f}s")
                        time.sleep(delay)
                    else:
                        raise
            return None
        return wrapper
    return decorator

使用示例：

@retry_on_failure(max_retries=3, base_delay=1, max_delay=60)
def call_ai_service(prompt):
    response = requests.post("https://api.example.com/v1/completions", json={"prompt": prompt}, timeout=5)
    response.raise_for_status()
    return response.json()

四、熔断机制

当某个服务持续失败时，继续重试只会浪费资源。引入熔断器，当失败率达到阈值时，暂时停止调用，快速失败。

1. 熔断器状态

关闭：正常调用。
打开：熔断，直接抛出异常。
半开：允许少量请求试探，成功则关闭，失败则重新打开。

2. 使用pybreaker实现

pybreaker是一个Python熔断器库，安装：

pip install pybreaker

配置示例：

import pybreaker

breaker = pybreaker.CircuitBreaker(fail_max=5, reset_timeout=60)

@breaker
@retry_on_failure()
def call_ai_service(prompt):
    # 实际调用代码
    pass