Higress 入门：初探阿里云原生 AI 网关

时速云成立于2014年10月，致力于通过云原生技术帮助企业实现数字化转型，拥有云原生应用平台 TCAP 和云原生数据平台 KubeData 两大核心产品体系，本文主要介绍时速云的 PaaS 平台多款网关软件基于 Higress 实现统一。

概述HTTP认证是一种用于保护Web应用程序的一种身份验证机制。它通过在HTTP请求的头部添加认证信息，来验证用户的身份和权限。HTTP认证可以用于保护敏感信息，限制访问某些资源，或者在访问某些操作之前要求用户提供凭据。HTTP 基本认证常见的验证方案包括1、Basic Authentication（基本认证）Basic认证是最常见的HTTP认证方式之一。在Basic认证中，客户端发送请求时，会在请求头中包含一个"Authorization"字段，该字段包含了经过Base64编码的用户名和密码。

AI 网关旨在统一管理与各种大型语言模型（LLMs）的交互。通过提供单一入口点，它解决了使用来自不同供应商的多个 AI 模型所带来的复杂性问题。这不仅简化了访问流程，提高了系统稳定性，还降低了成本，并灵活地利用了不同模型的优势。OneAPI是一个开源的 LLM API 管理 & 分发系统，可以帮助统一管理和转发各类大语言模型（如 DeepSeek 等）的 API 请求。它提供了一个兼容 OpenAI API 格式的统一接口，让用户能够方便地切换和管理不同的 AI 模型服务，同时支持令牌管理、负载均衡等功能。

🚀 Higress是一款强大的AI原生网关，专为云原生环境设计，提供灵活的插件扩展能力。无论你是刚接触云原生网关的新手，还是希望深入定制功能的开发者，本文将带你通过四个阶段快速掌握Higress插件开发的核心技能。 ## 📋 四阶段学习法：从入门到精通 ### 第一阶段：入门准备 - 环境搭建与基础认知 在开始Higress AI原生网关插件开发之前，你需要了解几个核心概念。Higres

随着 AI 时代到来，基于大模型的应用对网关提出了新的要求，例如在不同 LLM 提供商之间进行负载均衡、构建 AI 应用的可观测能力、基于 token 的限流保护与配额管理、AI 应用内容安全等等。Higress 基于企业内外的丰富场景沉淀了众多面向AI的功能，推出了 AI 原生的 API 网关形态并且全部开源。

Q3：Higress 和阿里巴巴的另一款开源网关 Tengine 有哪些不同？

随着云原生与AI技术的深度融合，API网关作为流量治理的核心组件，正面临新的挑战与机遇。阿里云开源的Higress网关，凭借其“三网合一”（流量网关、微服务网关、安全网关）的高集成能力，以及面向AI场景的原生支持，成为云原生时代的代表性产品。本文将从Higress的核心架构、AI能力、应用场景、实践案例等角度，全面解析这一技术的设计理念与落地价值。Higress是阿里云基于内部电商、交易等核心业务场景打磨的下一代云原生网关，于2022年云栖大会宣布开源。

阿里云开源的Higress AI网关是一款云原生API网关，专为AI场景优化设计。基于Envoy内核构建，支持主流AI模型协议，提供智能流量治理、安全管控和成本优化能力。核心功能包括Token级限流、多模型动态路由、语义缓存等，显著降低带宽和Token消耗。典型应用场景包括统一AI模型网关、企业AI中台和Kubernetes入口，已成功应用于零一万物等企业案例。Higress通过Wasm插件生态支持扩展开发，未来将深化AI编程和边缘协同能力，实现高性能、低成本的AI服务治理。

默认8001端口是对应制台服务：Higress网关功能强大，本次分享的重点是Higress AI网关及微服网关，起到抛砖引玉的作用，介绍了Higress基本理论、安装和使用，并结合实战操作，演示了Higress如何作为AI网关和业务网关。这里DubboNacosSentinel。

本文介绍了如何借助 llmaz 快速部署基于 vLLM 的大语言模型推理服务，并结合 Higress AI 网关 实现服务代理、流量调度、可观测性和 Fallback 等关键能力。

我们要在 Higress 网关中编写 WebAssembly（wasm）插件，使得在 http 请求的各个阶段（requestHeader，requestBody，responseHeader，responseBody）能够将相应的请求或返回捕获进行业务逻辑的处理。具体到本比赛，主要需要实现的是缓存对大模型的请求（openai 接口的形式）在本地（或云数据库），并设计语义级别的缓存命中逻辑来实现降低响应请求且减少 token 费用的目的。

在当今AI原生应用爆发的时代，API网关的性能表现直接影响着AI服务的响应速度、稳定性和用户体验。Higress作为新一代AI原生API网关，基于Envoy和Istio构建，在保持云原生特性的同时，针对AI场景进行了深度优化。本文将深入分析Higress在AI网关场景下的性能表现、架构创新和最佳实践。 ## AI时代网关性能挑战与解决方案 随着大模型应用的普及，传统API网关面临前所未有的性能

在云原生技术快速演进的时代，API网关与服务网格的边界正在逐渐模糊，技术融合成为新的价值主张。Higress作为基于Istio和Envoy构建的下一代云原生网关，通过深度架构融合实现了网关与网格的无缝协同，为现代微服务架构提供了统一的技术范式。本文将深度解析Higress如何通过Istio原生集成、Wasm插件生态和AI原生能力，构建面向未来的云原生网关架构。 ## 核心理念：网关与网格的架构融

本文介绍阿里巴巴开源云原生AI网关Higress的核心定位、技术特性及实战价值，基于其GitHub仓库（alibaba/higress）的核心模块与能力，结合多厂商大模型统一管理、AI Agent工具调用、生产级流量治理3个典型业务场景，拆解Higress如何解决传统网关在AI时代的适配痛点，同时分析其选型优势，为开发者搭建AI场景下的云原生网关提供实操参考与技术指引。

基于higress做大模型流控，控制访问大模型的速率。

本文以"Higress AI 网关"为核心，完整记录从Docker 镜像拉取、容器启动、配置挂载、网络调试、到 Nacos 服务注册的全链路实践。结合国内镜像加速，覆盖清华、阿里云、Docker Hub 三种场景，并提供Python 自动化脚本与可视化架构图。适合希望30 分钟内搭建可扩展 AI 路由网关的中国开发者。Higress + Nacos 架构设计与数据流国内环境下的镜像加速方案容器化部署与端口映射最佳实践配置热更新机制与监控方案常见问题排查方法与自动化脚本。

本文详细介绍了如何使用Higress搭建AI网关，从环境准备、Docker一键部署，到配置主流LLM模型供应商（如DeepSeek、通义千问）和API密钥池，再到创建消费者实现安全调用与成本监控。通过实战演示，帮助开发者统一管理多模型API，实现密钥治理、智能路由和可观测性，提升AI应用开发与运维效率。