Android MediaCodec 进阶实践：基于 EGL 与 OpenGL ES 的实时滤镜渲染与 Surface 编码

1. 为什么你需要掌握基于EGL与OpenGL ES的Surface编码？

如果你正在开发一个需要实时处理视频或图像的Android应用，比如美颜相机、视频通话、AR滤镜或者游戏录屏，那么你很可能已经遇到了性能瓶颈。传统的做法，比如使用Canvas在Surface上绘制，或者更基础的ByteBuffer编码，在处理高分辨率、高帧率或者需要叠加复杂滤镜的场景时，往往会力不从心，导致CPU占用飙升、帧率下降、手机发烫。

这时候，你就需要一套更强大的“组合拳”：MediaCodec + EGL + OpenGL ES。这套方案的核心思想，是把最重的图像处理和渲染工作，从CPU“卸载”到GPU上。GPU天生就是为并行图形计算而生的，处理像素数据的速度远超CPU。而EGL，就是连接GPU（OpenGL ES）和Android显示系统（Surface）的“桥梁”和“翻译官”。

我刚开始接触这个方案时，也觉得头大，EGL上下文、OpenGL着色器、纹理绑定……一堆概念扑面而来。但真正上手并跑通整个流程后，你会发现它的威力巨大。一个直观的感受是，同样是给720P的视频实时加上一个高斯模糊滤镜，用CPU循环处理每一帧，手机很快就烫得可以煎鸡蛋，帧率掉到个位数；而切换到GPU管线后，不仅画面流畅，手机也只是微微发热。这种体验的提升，对于追求高品质的应用来说是决定性的。

所以，这篇文章就是为你准备的。无论你是想优化现有视频处理流程的性能，还是想实现更酷炫的实时特效，我都会手把手带你搭建一个从OpenGL ES滤镜渲染到MediaCodec Surface编码的完整、高效的生产线。我们不只讲理论，更聚焦于实战中你会遇到的坑和解决方案。

2. 核心组件拆解：MediaCodec、EGL与OpenGL ES如何协同工作？

在深入代码之前，我们必须先理清这三个核心组件各自的角色和它们之间的协作关系。你可以把整个流程想象成一个高效的视频加工厂。

MediaCodec：编码流水线的终点站 它的核心职责是压缩。你给它原始的图像数据（像素），它输出压缩后的视频数据（比如H.264/H.265流）。在“Surface编码”模式下，MediaCodec不再直接接收ByteBuffer数据，而是提供一个特殊的Surface作为“原料接收口”。你只需要把渲染好的图像“贴”到这个Surface上，然后告诉MediaCodec：“这一帧好了，可以编码了”。剩下的压缩工作，MediaCodec会调用底层的硬件编码器（如高通、联发科的DSP）高效完成，这比用CPU进行软件编码快得多，也省电得多。

OpenGL ES：我们的特效加工车间 这是GPU的编程接口。我们所有的图像处理逻辑，比如调整亮度对比度、应用LUT滤镜、做高斯模糊、实现边缘检测等等，都是在这里通过编写着色器（Shader） 来完成的。着色器是一段运行在GPU上的小程序，它并行处理每一个像素，速度极快。在我们的流水线里，OpenGL ES负责将输入的图像（作为纹理）经过一系列特效加工，渲染到一块离屏的帧缓冲区（Framebuffer）中。

EGL：连接车间与传送带的调度员 这是最容易让人困惑，但也最关键的一环。OpenGL ES本身只负责在GPU内存里“画画”，它不知道如何把画好的内容送到MediaCodec的Surface上。EGL就是解决这个问题的。它主要做三件事：

1. 管理上下文（Context）：为OpenGL ES的运行提供一个隔离的环境，保存了状态、纹理、着色器等所有资源。
2. 创建绘制表面（Surface）：将Android的Surface（一个生产者-消费者模型中的生产者）包装成OpenGL ES可以识别的EGLSurface。
3. 交换缓冲区（Swap Buffers）：当我们用OpenGL ES在后台缓冲区（Back Buffer）渲染完一帧后，调用eglSwapBuffers()，EGL会执行缓冲区交换，将渲染好的内容提交给Surface。这个动作同时也会通知MediaCodec：“新的一帧原料已送达，请开始编码”。

协作流程全景图 整个流程可以概括为以下几步，我画个简单的示意图帮你理解：

[原始图像/纹理] --> (OpenGL ES加工处理) --> [渲染到EGLSurface] --(eglSwapBuffers)--> [MediaCodec的Input Surface] --> (硬件编码) --> [输出H.264流]

1. 初始化MediaCodec，获取其Input Surface。
2. 使用EGL，将这个Surface与一个OpenGL ES的上下文关联起来，创建一个EGLSurface。
3. 在OpenGL ES上下文中，加载你的图像为纹理，编写并启用你的滤镜着色器。
4. 发起一个绘制命令，OpenGL ES会将处理后的图像渲染到与Surface关联的EGLSurface的后台缓冲区。
5. 调用eglSwapBuffers()，提交渲染结果。MediaCodec自动获取这一帧并进行编码。
6. 循环步骤4-5，直到所有帧处理完毕。

3. 实战第一步：搭建EGL环境并连接MediaCodec的Surface

理论说再多不如一行代码。我们现在就从零开始，搭建这个环境。我会用一个名为GLRenderSurface的辅助类来封装所有EGL相关的繁琐操作，这是我在项目中反复提炼出来的，你可以直接拿去用。

3.1 创建与配置MediaCodec编码器

首先，我们需要一个提供Surface的MediaCodec编码器。配置时有一个关键点：必须指定颜色格式为COLOR_FormatSurface。

// 配置编码参数
val mimeType = MediaFormat.MIMETYPE_VIDEO_AVC // H.264
val format = MediaFormat.createVideoFormat(mimeType, width, height)
// 关键：告诉MediaCodec我们将使用Surface输入
format.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface)
format.setInteger(MediaFormat.KEY_BIT_RATE, bitRate) // 如 2000_000
format.setInteger(MediaFormat.KEY_FRAME_RATE, frameRate) // 如 30
format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, iFrameInterval) // 关键帧间隔，如1秒

// 创建编码器
val codecList = MediaCodecList(MediaCodecList.REGULAR_CODECS)
val encoderName = codecList.findEncoderForFormat(format)
val encoder = MediaCodec.createByCodecName(encoderName)

// 配置并启动，注意第四个参数是CONFIGURE_FLAG_ENCODE
encoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)
val inputSurface = encoder.createInputSurface() // 这就是我们的目标Surface
encoder.start()

拿到inputSurface后，我们的EGL环境就要围绕它来构建。

3.2 封装EGL核心操作类：GLRenderSurface

这个类负责所有EGL的初始化和生命周期管理。直接看代码和注释：

class GLRenderSurface(private val targetSurface: Surface) {
    private var eglDisplay: EGLDisplay? = EGL14.EGL_NO_DISPLAY
    private var eglContext: EGLContext? = EGL14.EGL_NO_CONTEXT
    private var eglSurface: EGLSurface? = EGL14.EGL_NO_SURFACE

    fun init() {
        // 1. 获取默认显示设备 (通常就是主屏幕)
        eglDisplay = EGL14.eglGetDisplay(EGL14.EGL_DEFAULT_DISPLAY)
        if (eglDisplay == EGL14.EGL_NO_DISPLAY) {
            throw RuntimeException("Unable to get EGL14 display")
        }
        val version = IntArray(2)
        if (!EGL14.eglInitialize(eglDisplay, version, 0, version, 1)) {
            throw RuntimeException(