FreeLLMAPI-免费模型聚合代理

FreeLLMAPI：聚合14+免费LLM API的OpenAI兼容代理完全指南

一个代理，14+免费模型，自动故障转移，零成本AI应用开发

前言

在AI应用开发中，API成本是一个不可忽视的问题。即使是使用相对便宜的模型，大规模调用也会产生可观的费用。对于个人开发者、学生、开源项目来说，API成本往往是最大的障碍。

FreeLLMAPI（tashfeenahmed/freellmapi）提供了一个创新的解决方案：它是一个OpenAI兼容的代理服务器，聚合了14+个AI提供商的免费API密钥，并支持自动故障转移。你只需要对接一个API端点，就能同时使用多个免费模型。

一、FreeLLMAPI 是什么？

FreeLLMAPI 是一个轻量级的代理服务器，它的核心功能是：

• 聚合免费API：整合14+个提供免费额度的AI API提供商
• OpenAI兼容：使用标准的OpenAI API格式，无需修改现有代码
• 自动故障转移：当一个提供商不可用时，自动切换到下一个
• 负载均衡：智能分配请求，避免单个提供商的速率限制
• 本地部署：完全自托管，数据不出本地
  

1.1 支持的免费API提供商

FreeLLMAPI 聚合了以下免费API提供商：

1.2 工作原理

客户端请求 → FreeLLMAPI代理 → 选择可用提供商 → 转发请求
                    ↓
              速率限制检查
                    ↓
              故障转移逻辑
                    ↓
              返回响应（OpenAI格式）

二、架构设计

2.1 核心组件

Router（路由器）
负责选择最佳的API提供商。基于以下因素决策：

• 提供商的可用性
• 当前速率限制状态
• 模型匹配度
• 响应延迟

Rate Limiter（速率限制器）
跟踪每个提供商的使用情况，确保不超过免费额度。

Circuit Breaker（断路器）
当某个提供商连续失败时，暂时将其标记为不可用，避免无效请求。

Response Normalizer（响应标准化）
将不同提供商的响应格式统一转换为OpenAI兼容格式。

2.2 数据流

# 简化的处理流程
async def handle_request(request):
    # 1. 解析请求
    model = request.model
    messages = request.messages
    
    # 2. 选择提供商
    provider = router.select_provider(model)
    
    # 3. 检查速率限制
    if rate_limiter.is_limited(provider):
        provider = router.select_fallback(model)
    
    # 4. 发送请求
    try:
        response = await provider.send(messages)
    except ProviderError:
        circuit_breaker.trip(provider)
        provider = router.select_fallback(model)
        response = await provider.send(messages)
    
    # 5. 标准化响应
    return normalize_to_openai(response)

三、快速上手

3.1 安装

# 克隆仓库
git clone https://github.com/tashfeenahmed/freellmapi.git
cd freellmapi

# 安装依赖
pip install