手机app爬虫配置(模拟机）

近期在做某个项目，涉及到需要对手机app的进行数据爬取。

下面将讲述具体配置步骤

1、安装手机模拟器

在百度上搜索手机模拟器就可以啦，这里以夜神模拟器夜神安卓模拟器-安卓模拟器电脑版下载_安卓手游模拟器_手机模拟器_官网为例子。

下载后，直接点击安装即可。

2、安装 抓包软件  fiddler (Fiddler | Web Debugging Proxy and Troubleshooting Solutions)

下载后，进行点击安装即可。

3、安装 openssl

直接进行 证书安装，会提示 证书不被信任，所以需要安装 openssl对证书进行处理

3.1 、下载安装

官方地址：https://www.openssl.org/source/
大咖打包好的(推荐)下载地址：http://slproweb.com/products/Win32OpenSSL.html
我的设备是Windows64位，最终选择安装的是1.1.1b

下载对应的版本进行安装即可。

3.2 、配置环境变量

安装完成后，需要进行配置

新建系统变量OPENSSL_HOME，变量值设为(绝对路径)软件安装目录下的bin

编辑用户变量path，新建%OPENSSL_HOME%，最后点击确定

3.3、 版本查询

进入 cmd命令行

输入 openssl verison

4、抓包软件配置

4.1 、打开 fiddler

上面即可显示相应的网络请求。

4.2、fiddler 配置

打开  Tools > Options 设置

1）进入  HTTPS 页面，进行相关配置，按照下图的设置进行配置即可

2）导出证书文件

在 HTTPS 页面，点击Actions > Export Root Certificate to Desktop

将在电脑的桌面上保存如下文件

3）配置代理端口号，这个端口号后续需要使用

5、证书格式化

5.1 在cmd命令模式下，进入 上述导出的证书目录（桌面路径）

5.2、cer证书转.pem证书：

执行如下命令

将生成  FiddlerRoot.pem 文件
备注：pem证书转.cer证书：openssl x509 -outform der -in xxx.pem -out xxx.cer
5.3、查看证书信息hash值

5.4、 改名

根据hash开头的值作为.pem的文件名注意后缀(.0)：将FiddlerRoot.pem改为269953fb.0

6、模拟器配置

打开安装好的夜神模拟器

6.1、 安装 android 模拟器

我这里以 android 9 为例。

6.2、上传证书

将上述格式化后的证书文件269953fb.0 拖入模拟器对话框

1）上传证书

2） 将出现权限提示框，选择允许

3） 将在 Pictures目录下出现该证书文件

6.2、安卓模拟机的网络配置

1）、通过cmd 命令行 进入模拟器安装目录，

2）、查看设备连接状态

3）、判断是否有root权限(默认开启)

4）、进入shell

5）、获取超级用户权限

6）、修改system目录读写权限

7）、证书拷贝

cp /storage/emulated/0/Pictures/269953fb.0 /system/etc/security/cacerts

8)、开启证书权限

9） 查看本电脑的ip

10）、配置模拟机的代理

进入wifi设置，在高级选项中修改代理

修改代理为 手动

修改代理服务器与端口号（代理服务器为本电脑的ip，端口号为fiddler软件配置的端口号）

7、在模拟器的浏览器 输入“www.baidu.com”

在fiddler中即可看到相应的网络包