Android用MediaCodec将相机预览帧编码成MP4视频

知识预备

• 首先这是一个典型的Camera设备应用场景，对相机的相关API要有一定了解，可以参考zxing扫码项目。
• 有视频功能开发，对视频编解码、图像数据格式，要有一些了解。部分参考：

  • 比特率 bps (Bit Per Second)
    比特率越高，每秒传送数据就越多，画质就越清晰，视频文件占用空间也越大。更多参考 比特率-百度百科 或 比特率 Wiki。

  • 帧率 fps (Frame Per Second)
    视频每秒传输的帧数（画面数），每秒帧数越多，显示的画面就越流畅，但对显卡（GPU）的要求也越高。更多参考 fps-百度百科。

  • YUV 维基百科 / 百度百科 / VideoLAN Wiki
    YUV，是一种颜色编码方法。Y’UV, YUV, YCbCr, YPbPr 等专有名词都可以称为YUV，彼此有重叠。
    Y - 明亮度（Luminance、Luma）
    U(Cb)、V(Cr) - 色度（Chrominance或Chroma），描述影像色彩及饱和度 ,即像素的颜色。

    YUV Formats分成两个格式：
    紧缩格式（packed formats）：将Y、U、V值存储成Macro Pixels数组，和RGB的存放方式类似。
    平面格式（planar formats）：将Y、U、V的三个分量分别存放在不同的矩阵中。

  • 图像格式
    一些参考：
    【图像】数据格式介绍(yuv420sp、yuv420sp、yv12,nv12等)
    NV12与YV12，YUV的主要格式
    图解YU12、I420、YV12、NV12、NV21、YUV420P、YUV420SP、YUV422P、YUV444P的区别
    为节省带宽起见，大多数YUV格式平均使用的每像素位数都少于24位。主要的采样格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和YCbCr 4:4:4。YUV的表示法称为A:B:C表示法：

    YUV 4:4:4采样，每一个Y对应一组UV分量,一个YUV占8+8+8 = 24bits 3个字节。
    YUV 4:2:2采样，每两个Y共用一组UV分量,一个YUV占8+4+4 = 16bits 2个字节。
    YUV 4:2:0采样，每四个Y共用一组UV分量,一个YUV占8+2+2 = 12bits 1.5个字节。
    我们最常见的YUV420P和YUV420SP都是基于4:2:0采样的，所以如果图片的宽为width，高为heigth，在内存中占的空间为width * height * 3 / 2，其中前width * height的空间存放Y分量，接着width * height * 1 / 4存放U分量，最后width * height * 1 / 4存放V分量。
    ————————————————
    原文链接：https://blog.csdn.net/byhook/article/details/84037338

    • YUV444
    • YUV422
    • YUV420
      YUV420根据U、V相同分量是否连续排列，分为YUV420P和YUV420SP。U和V分别连续存储的，是YUV420P；U和V交叉存储的，是YUV420SP。
      • YUV420P
        YUV420P是多平面模式，Y , U , V分别在不同平面，有三个平面。根据Y后面UV的先后顺序，又可以分为YU12和YV12。YU12也叫I420。
        • YU12 (I420)：YYYYYYYY UU VV
        • YV12：YYYYYYYY VV UU
      • YUV420SP
        SP(Semi-planar)，指YUV不是分成3个平面而是分成2个平面。Y数据一个平面，UV数据合用一个平面。根据UV的数据排列先后顺序，又分成NV12和NV21：
        • NV12：YYYYYYYY UV UV
        • NV21：YYYYYYYY VU VU

实现思路

在Android上，要将连续的多张图片编码成视频，主要有两种做法：

1. FFmpeg，软编、解码
2. MediaCodec，提供对Android底层的媒体编解码组件访问，可以使用硬件编、解码。
   MediaCodec编码的输出是H264的码流，如果需要保存为MP4文件，还需要使用MediaMuxer进行保存

本文记录的是使用MediaCodec+MediaMuxer的实现方法。

获取图像数据帧

通过camera.setPreviewCallback()方法设置预览帧回调，设置后在相机预览期间，onPreviewFrame方法会连续被回调，经过测试，每秒大约会被调用16次，也就是每秒我们可以获取到大约16帧图像数据。

	/**
     * Called as preview frames are displayed.  This callback is invoked
     * on the event thread open(int) was called from.
     * If using the ImageFormat.YV12 format,
     * refer to the equations in Camera.Parameters.setPreviewFormat
     * for the arrangement of the pixel data in the preview callback
     * buffers.
     *
     * @param data - the contents of the preview frame in the format defined
     *  by ImageFormat, which can be queried with Camera.Parameters.getPreviewFormat.
     *  If Camera.Parameters.setPreviewFormat is never called, 
     *  the default will be the YCbCr_420_SP (NV21) format.
     * @param camera - the Camera service object.
     */
	@Override
    public void onPreviewFrame(byte[] data, Camera camera) {
   
   
    	// 预览帧图像处理
    }

通过这个方法的注释可以知道，如果没有设置过预览图像的格式，那么onPreviewFrame返回的数据格式默认是NV21。
在初始化MediaCodec的时候，目前编码器对YUV420格式，推荐使用的只有COLOR_FormatYUV420Flexible这一个，其他的都被标为deprecated：

它的文档解释是这样的：

/**
 * Flexible 12 bits per pixel, subsampled YUV color format with 8-bit chroma and luma components.
 * Chroma planes are subsampled by 2 both horizontally and vertically. Use this format with Image.
 * This format corresponds to YUV_420_888, and can represent the COLOR_FormatYUV411Planar, 
 * COLOR_FormatYUV411PackedPlanar, COLOR_FormatYUV420Planar, COLOR_FormatYUV420PackedPlanar, 
 * COLOR_FormatYUV420SemiPlanar and COLOR_FormatYUV420PackedSemiPlanar formats.
 */
public static final int COLOR_FormatYUV420Flexible            = 0x7F420888;

COLOR_FormatYUV420Flexible 这个格式对应YUV_420_888，是一种通用格式，可以描述任意一种YUV420平面或半平面格式。

这里还有个一直困扰我的疑问：
参考其他文章的时候，都有一步将NV21转为NV12的操作，再传入MediaCodeC进行编码的，否则输出的视频颜色有问题，是黑白的。我尝试了，确实需要这么个转换，但是没有找到有确切解释的文档资料。所以目前只能是照做，原因待查。

编码视频

初始化编码器

	MediaFormat mediaFormat;
	mediaFormat = MediaFormat.