APP爬虫之-Protobuf协议逆向解析

在做APP抓取时，会发现有的APP Response回来的数据有“加密”。不知道返回的内容是什么。

如下：

如上，内容不是明文的，没办法解析数据。APP常见的对数据加密有三种情况：第一种是，用诸如AES这类加密算法对数据加密，然后在APP里用key进行解密，这类的数据解密的难度不是很大，弄清楚是用的什么加密算法就能反解。
第二种是，用“私有”协议把数据序列化，只有了解该协议的细节才有可能把数据反序列化出来。这个的难度较大，没有功底，头发撸白都不一定撸出来。游戏和大厂APP盛行搞一个自己的私有协议来交换数据。

第三种是，用第三方厂商的协议来数据序列化，自己搞不出来私有协议的就选用第三方厂商的。比如用 Google 的 Protobuf ，来做数据序列化，也就是数据“加密”。
今天聊的就是第三种，Protobuf 的数据反解析。
先来看一个 Protobuf ，做数据序列化的直观例子。比如一个 APP 的 Response 原先是以 json 格式返回的：

这样很容易被解析，用Protobuf把上面数据序列化再传输就变成类似这样：
这张图片只是样例
这样就没法直接解析数据，如果了解 Protobuf 协议的话就能加快反解速度。所以还得从头来聊 Protobuf 。

一、什么是 Protobuf ？
Protobuf 是 Google 开发的一套数据存储传输协议，跟 xml 和 json 一样的，都是用来储存和传输数据的。 因为 Protobuf 能够把数据压缩得很小，所以传输数据就比 xml 和 json 快几倍，Protobuf 解析数据的速度也比它两快，所以在数据网络传输上，用 Protobuf 而不用