微信公众号文章列表抓取

最新推荐文章于 2026-04-03 11:47:05 发布
原创 最新推荐文章于 2026-04-03 11:47:05 发布 · 1.3k 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#微信 #php #开发语言

最近需要做一个公众号文章阅读奖励积分的功能，首先就得获取到文章列表，网上查了资料后，感觉微信公众平台图文编辑那的限制会少一点，可以满足需求，现在记录一下

一：首先创建一个登陆表单，包含账户和密码，点击登陆后台请求对应接口获得一个二维码图片，然后js循环刷新显示二维码直到扫码成功（账号密码为微信公众平台的账号密码）

<!DOCTYPE HTML>
<html>
<head>
    <meta charset="utf-8">
</head>
<body>
    <input id="name" type="text" placeholder="账户">
    <input id="pwd" type="password" placeholder="密码"> 
    <input onclick="showimg()" type="button" value="登录">
    <div id="showimg" style="display:none">正在获取...</div>
<script  src="http://libs.baidu.com/jquery/1.7.2/jquery.min.js"></script>
<script>
    function showimg() {
        $("#showimg").show();
        name = $("#name").val();
        pwd = $("#pwd").val();
        t = setInterval("img()", 3000);
        $.post("./wx.php?method=login", {'name':name, 'pwd':pwd},function(rsg){
            data = jQuery.parseJSON(rsg);
            if(!data.code) {
                window.location.href = "./wx.php?method=getwx";
            }else{
                $("#showimg").hide();
                alert(data.msg);
            }
        })
    }
    function img() {
        num = Math.round(Math.random());
        $("#showimg").html("<img src='./wx/qrcode_tmall.png?"+num+"'>")
    }
</script>
</body>
</html>

二：控制器接收请求处理（Wx.php）

<?php
namespace app;

use app\Wxlogin;

class Wx
{
    //登陆
    function login() {
        $name = $_POST['name'];
        if(!$name)
            return $this->ajax(['code'=>2, 'msg'=>'账号不能为空']);
        $pwd = $_POST['pwd'];
        if(!$pwd)
            return $this->ajax(['code'=>2, 'msg'=>'密码不能为空']);
        $arr = array(
          'account'  => $name,
          'password' => $pwd,
          'key'    => "tmall",
        );
        $wx = new Wxlogin();
        $wx->init($arr);
        if(!$wx->getToken()){
            return $this->ajax(['code'=>1, 'msg'=>'登陆失败'], );
        }
        return $this->ajax(['code'=>0, 'msg'=>'登陆成功']);
    }

    //搜索公众号（备用，只查看单个公众号无需使用，fackid固定即可；搜索公众号查看会用到此方法，然后需要把getwx里的获取fackid更改一下【session或者参数形式都可以】）
    function getfackid(){
        $search = isset($_GET['search']) ? $_GET['search'] : '内涵段子';
        $wx = new Wxlogin();
        $arr = array(
          'key'    => "tmall",
        );
        //没有token就去登陆扫码
        if(!$wx->getToken()){
            header('location:/');
        }
        //开始位置
        $size = 5;
        $nowpage = isset($_GET['page']) ? $_GET['page'] : 1;
        $nowpage = $nowpage<1?1:$nowpage;
        $begin = ($nowpage-1)*$size;
        //初始化并获取数据
        $wx->init($arr);
        $data = $wx->getfackid($begin, $search);if($data['base_resp']['ret'] != 0) {
            file_put_contents("./wx/token.txt", '');
            switch ($data['base_resp']['ret']) {
                case '200013':
                    echo '请求太频繁了';
                    break;
                case '200003':
                    echo '无效会话';
                    break;
                default:
                    echo '请求错误';
                    break;
            }
            return;
        }else{
            //总页数
            $psum = ceil($data['app_msg_cnt']/$size);
            $list = $data['app_msg_list'];
        }
        return $this->ajax($list);
    }

    //获取列表（分页，页面条数不足的代表发布者删除过一些）
    function getwx(){
        $wx = new Wxlogin();
        $arr = array(
          'key'    => "tmall",
        );
        //没有token就去登陆扫码
        if(!$wx->getToken()){
            header('location:/');
        }
        //登陆成功删除二维码
        if(file_exists('./wx/qrcode_tmall.png')) {
            unlink('./wx/qrcode_tmall.png');
        }
        //开始位置
        $size = 5;
        $nowpage = isset($_GET['page']) ? $_GET['page'] : 1;
        $nowpage = $nowpage<1?1:$nowpage;
        $begin = ($nowpage-1)*$size;
        //初始化并获取数据
        $wx->init($arr);
        $search = isset($_GET['search']) ? $_GET['search'] : 1;
        $data = $wx->getwx($begin, $search);
        if($data['base_resp']['ret'] != 0) {
            file_put_contents("./wx/token.txt", '');
            switch ($data['base_resp']['ret']) {
                case '200013':
                    echo '请求太频繁了';
                    break;
                case '200003':
                    echo '无效会话';
                    break;
                default:
                    echo '请求错误';
                    break;
            }
            return;
        }else{
            //总页数
            $psum = ceil($data['app_msg_cnt']/$size);
            $list = $data['app_msg_list'];
        }
        return $this->ajax([$data['app_msg_cnt'], $search, $nowpage, $psum, $list]);
    }

    function ajax($data)
    {
        return json_encode($data, JSON_UNESCAPED_UNICODE);
    }

}

//自动加载
spl_autoload_register(function ($class) {
    $arr = explode('\\', $class);
    if(array_shift($arr) == 'app') {
        include implode('\\', $arr) . '.php';
    }
});

$wx = new Wx();
$method = $_GET['method'];
echo $wx->$method();

三：请求微信接口，供Wx.php调用（Wxlogin.php）

<?php
namespace app;

class Wxlogin
{
    //--------------------------------------------------------LOGIN START
    private $_apis = [
        "host" => "https://mp.weixin.qq.com",
        "login" => "https://mp.weixin.qq.com/cgi-bin/bizlogin?action=startlogin",
        "qrcode" => "https://mp.weixin.qq.com/cgi-bin/loginqrcode?action=getqrcode&m=4300",
        "loginqrcode" => "https://mp.weixin.qq.com/cgi-bin/loginqrcode?action=ask&token=&lang=zh_CN&f=json&ajax=1",
        "loginask" => "https://mp.weixin.qq.com/cgi-bin/loginqrcode?action=ask&token=&lang=zh_CN&f=json&ajax=1&random=",
        "loginauth" => "https://mp.weixin.qq.com/cgi-bin/loginauth?action=ask&token=&lang=zh_CN&f=json&ajax=1",
        "bizlogin" => "https://mp.weixin.qq.com/cgi-bin/bizlogin?action=login&lang=zh_CN"
    ];
    public $fakeid = "MzIxMTU3MDA4Ng==";
    private $_redirect_url = "";
    private $_key = "";

    //获取cookie保存文件，用于访问接口
    private function _getCookieFile(){
        return "./wx/cookie_{$this->_key}.text";
    }

    //获取二维码路径
    private function _getSavePath(){
        return './wx/'.$this->_qrcodeName();
    }

    //获取二维码名称
    private function _qrcodeName(){
        return "qrcode_{$this->_key}.png";
    }

    //记录日志
    private function _log($log_content){
        $log_filename = './wx';
        !is_dir($log_filename) && mkdir($log_filename, 0755, true);

        file_put_contents($log_filename.'/wx.log', '['.date("Y-m-d H:i:s").']' .PHP_EOL . $log_content . PHP_EOL."------------------------ --------------------------".PHP_EOL, FILE_APPEND);
    }

    public function getToken(){
        return file_get_contents("./wx/token.txt");
    }
    public function setToken($token){
        file_put_contents("./wx/token.txt", $token);
    }
    public function init($options){
        if(!isset($options["key"])){
            die("Key is Null!");
        }
        $this->_key = $options["key"];
        if($this->getToken()){
            $this->_log("HAS Token !");
            return;
        }else{
            $this->fetch("https://mp.weixin.qq.com/","","text");
            $this->_log("start login!!");
            $this->start_login($options);
        }
    }
    private function start_login($options){
        $_res = $this->_login($options["account"],$options["password"]);
        if($_res["code"]){
            $this->_log($_res["msg"]);
            return;
        }
        //保存二维码
        $this->_saveQRcode();
        $_ask_api = $this->_apis["loginask"];
        $_input["refer"] = $this->_redirect_url;
        $_index = 1;
        while(true){
            if($_index>20){
                $this->_log("超时");
                break;
            }
            $_res = $this->fetch($_ask_api.$this->getWxRandomNum(),$_input);
            $_status = $_res["status"];
            if($_status==1){
                if($_res["user_category"]==1){
                    $_ask_api = $this->_apis["loginauth"];
                }else{
                    $this->_log("Login success");
                    break;
                }
            }else if($_status==4){
                $this->_log("已经扫码");
            }else if($_status==2){
                $this->_log("管理员拒绝");
                break;
            }else if($_status==3){
                $this->_log("登录超时");
                break;
            }else{
                if($_ask_api==$this->_apis["loginask"]){
                    $this->_log("请打开test.jpg，用微信扫码");
                }else{
                    $this->_log("等待确认");
                }
            }
            sleep(2);
            $_index++;
        }
        $this->_log("开始验证");
        $_input["post"] = ["lang"=>"zh_CN","f"=>"json","ajax"=>1,"random"=>$this->getWxRandomNum(),"token"=>""];
        $_input["refer"] = $this->_redirect_url;
        $_res = $this->fetch($this->_apis["bizlogin"],$_input);
        $this->_log(print_r($_res,true));
        if($_res["base_resp"]["ret"]!=0){
            $this->_log("error = ".$_res["base_resp"]["err_msg"]);
            return ;
        }
        $redirect_url = $_res["redirect_url"];//跳转路径
        if(preg_match('/token=([\d]+)/i', $redirect_url,$match)){//获取cookie
            $this->setToken($match[1]);
        }
        $this->_log("验证成功,token: ".$this->getToken());
    }
    //下载二维码
    private function _saveQRcode(){
        $_input["refer"] = $this->_redirect_url;
        $_res = $this->fetch($this->_apis["qrcode"],$_input,"text");
        $fp = fopen($this->_getSavePath(), "wb+") or die("open fails");
        fwrite($fp,$_res) or die("fwrite fails");
        fclose($fp);
    }

    private function _login($_username,$_password){
        $_input["post"] = array(
            'username' => $_username,
            'pwd' => md5($_password),
            'f' => 'json',
            'imgcode' => ""
        );
        $_input["refer"] = "https://mp.weixin.qq.com";
        $_res = $this->fetch($this->_apis["login"],$_input);
        if($_res["base_resp"]["ret"]!==0){
            return ['code'=>'1', 'msg'=>$_res["base_resp"]["err_msg"]];
        }
        $this->_redirect_url = "https://mp.weixin.qq.com".$_res["redirect_url"];//跳转路径
        return ['code'=>'0', 'msg'=>'ok'];
    }

    function getWxRandomNum(){
        return "0.".mt_rand(1000000000000000,9999999999999999);
    }

    function getfackid($begin, $search){
        $url = "https://mp.weixin.qq.com/cgi-bin/searchbiz?action=search_biz&begin=$begin&count=5&query=$search&token=".$this->getToken()."&lang=zh_CN&f=json&ajax=1";
        return $this->fetch($url);
    }

    function getwx($begin, $search){
        $url = "https://mp.weixin.qq.com/cgi-bin/appmsg?action=list_ex&begin=$begin&count=5&fakeid=".$this->fakeid."&type=9&query={$search}&token=".$this->getToken()."&lang=zh_CN&f=json&ajax=1";
        return $this->fetch($url);
    }

    /**
    * @param $url
    * @param null $_input
    * @param string $data_type
    * @return mixed
    * $_input= ["post"=>[],"refer"=>"",cookiefile='']
    */
    function fetch( $url, $_input=null, $data_type='json') {
        $ch = curl_init();
        $useragent = isset($_input['useragent']) ? $_input['useragent'] : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:10.0.2) Gecko/20100101 Firefox/10.0.2';
        curl_setopt( $ch, CURLOPT_URL, $url );
        curl_setopt( $ch, CURLOPT_RETURNTRANSFER, true );
        curl_setopt( $ch, CURLOPT_AUTOREFERER, true );
        curl_setopt( $ch, CURLOPT_FOLLOWLOCATION, true );
        curl_setopt( $ch, CURLOPT_POST, isset($_input['post']) );
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); //不验证证书
        curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); //不验证证书
        if( isset($_input['post']) ) curl_setopt( $ch, CURLOPT_POSTFIELDS, $_input['post'] );
        if( isset($_input['refer']) ) curl_setopt( $ch, CURLOPT_REFERER, $_input['refer'] );
        curl_setopt( $ch, CURLOPT_USERAGENT, $useragent );
        curl_setopt( $ch, CURLOPT_CONNECTTIMEOUT, ( isset($_input['timeout']) ? $_input['timeout'] : 5 ) );
        curl_setopt( $ch, CURLOPT_COOKIEJAR, ( isset($_input['cookiefile']) ? $_input['cookiefile'] : $this->_getCookieFile() ));
        curl_setopt( $ch, CURLOPT_COOKIEFILE, ( isset($_input['cookiefile']) ? $_input['cookiefile'] : $this->_getCookieFile() ));
        $result = curl_exec( $ch );
        curl_close( $ch );
        if ($data_type == 'json') {
            $result = json_decode($result,true);
        }
        return $result;
    }
}

 注：fakeid是要抓去的公众号的标识（调用本文的getfackid也可以），也可在公众平台的图文编辑里获取，步骤如下：

1：草稿箱内的写新图文

2：先打开浏览器的开发者工具（要从请求中查看），然后点击超链接，输入要查询的公众号，点击搜索

3：在开发者工具中查看Network一栏中点击searchbiz...这一栏查看fakeid

补充：

因为我是获取单个公众号，所以没有用getfackid方法，有做公众号搜索模式的，可以调用上面的getfackid方法获取公众号fackid
思路：获取到公众号列表后展现给前端，前端点击选择提交给后端，后端将对应的fackid存入session,然后获取文章列表的接口判断是否存在session,存在则获取文章列表

获取微信公众号历史文章列表页链接
珞瑜的博客
01-23 6600
action=home&__biz=这里替换你的biz==4、链接分享、发送到微信即可访问，注意该链接仅可在微信客户端使用，外部浏览器无法打开。3、拼接通用公式生成链接即为微信公众号历史文章列表链接。，如下图找到红框部分值，复制即为上文biz值。2、浏览器右键查看网页源码，新开页面搜索（1、复制公众号任意文章的链接在浏览器打开。
python微信公众号文章列表信息获取
woshiabc111的博客
06-26 2121
使用selenium通过chromedriver打开chrome浏览器每小时刷新页面保证能获取到最新的token和cookies信息保存到userMsg.txt文件中方便读取。先找到每个公众号的fakeid根据fakeid查找公众号文章列表。再通过获取token和cookies查找公众号文章列表信息。（注：时间间隔随机且要大于1分组否则会因为访问频率过高被封）登录公众号后台—>创建图文—>点击超链接，即可选择公众号。但是token长时间使用会失效，访问频率过高会被限制。浏览器F12可看到访问地址。
微信公众号采集教程、附详细分析过程
a1431819647的博客
01-11 6730
本次主要讲解微信公号下的文章数据如何采集。相信有干过采集的小伙伴对抓包工具应该都比较熟悉，这里我们主要用到fiddler、然后需要一个微信号、采集设备（微信客户端或者手机）。 使用手机的话可以打开wifi功能、现在修改网络、勾选显示高级选项。代理选择：手动。Ip地址可以打开电脑CMD 输入ipconfig查看，端口选择fiddler配置的端口，保持一致即可。 工具都配置成...
获取微信公众号文章，我试了 6 种方案，最后发现最简单的那个最能打
最新发布
weixin_47729263的博客
04-03 1231
测评了 6 种微信公众号文章抓取方案，从 Selenium 到代理 IP，最终发现 UA 伪装法一条 curl 就能搞定，零成本绕过滑块验证。
Python爬虫实战练习：爬取微信公众号文章
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
08-25 8246
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者：徐洲更 为了实现该爬虫我们需要用到如下工具 Chrome浏览器 Python 3 语法知识 Python的Requests库 此外，这个爬取程序利用的是微信公众号后台编辑素材界面。原理是，当我们在插入超链接时，微信会调用专门的API（见下图），以获取指定公众号的文章列表。因此，我们还需要有一个公众号。 PS：如有需要Python学习资料的小伙伴可以加下方.
使用python爬取微信公众号文章
csdnjquery163com的博客
01-28 6472
使用python爬取微信公众号文章
手写抓取单个微信公众号的全部文章列表
shsongtao的博客
07-16 5697
单个微信公众号抓取 最近看了很多公众号的文章,突然想把全部的公众号抓取的想法. 于是,搜了一下,发现很多的博客写怎么抓取,但是尝试下来,还是比较麻烦,基本上没有几个可以使用的. 于是研究一下思路,主要是将文章列表转到浏览器上,然后再进行抓取. 于是我本人就按这个思路,自己做了一个微信公众号的爬虫,虽然速度比较慢,但是也够爬下来列表了. 下面是详细步骤 首先在微信的客户端上登录 点击头像 进入公众...
通过htmlparse动态抓取微信公众号的文章
Logan_Su的博客
11-21 4390
真的是很久没有更新我的博客了，刚开始，我还真的不知道爬虫是什么东西，但是由于项目需要，老板要我做个简单的爬虫，就是去人家的微信公众号去把里面的文章动态的抓取下来，当听到这个事情的时候，我是激动的，因为要我接触一个未知的领域，这是一个很值得装逼的是！！！！ 好了屁话就不多逼逼了。首先呢，我是通过搜狗来找到微信公众号的，因为搜狗那边比较容易入手，可以绕过校验。但是我估计也是时日不长。在这之前，我
微信公众号所有文章下载链接获取
wyazyf
07-12 2115
微信公众号所有文章下载链接获取
浏览器上查看微信公众号的所有历史文章
热门推荐
qq_23279427的博客
01-14 1万+
  微信公众号的历史文章一直不是特别好抓取，之前写了一篇文章是关于公众号文章的抓取的公众号文章的爬虫，现在已经过去一年多了，之前的方式还可以使用，但是效率不行，跟账号绑定的，容易封账号，要满足现在11万左右的公众号及时更新的需求根本不可能，于是更新了方案公众号历史文章https://www.vreadtech.com/，   1.首页（未登录状态） 标题 2.搜索公众号（绝大多数公众号...
Python：通过接口获取公众号的文章列表（但是开发文档没有这个接口）
knighthood2001
05-11 5204
本来还想通过接口获取公众号文章链接，但是这种方法行不通了，后续我打算使用selenium进行获取。
微信公众号：如何根据关键词取文章列表 API 返回值说明？
Fly2024124的博客
03-27 1467
3. **分页处理**：如果`item_count`小于`total_count`，则表示还有更多的素材未被返回，需要继续调用接口并传递适当的分页参数来获取剩余素材。4. **数据更新**：公众号内的素材列表会随着时间的推移而发生变化，如文章被删除、修改等，因此获取的数据可能不是最新的。- **content_type**: 素材的类型，如1为图文消息，2为图片，3为视频，4为音频。- **item_count**: 本次调用返回的素材数量，表示本次请求返回的文章列表中的文章数量。
JAVA 获取微信公众号发布的文章列表内容
weixin_45472715的博客
05-23 1444
1: 获取公众号的开发者id（AppID）和开发者密码（AppSecret），以及设置电脑IP的白名单。2: 微信官方文档 - 公众号。（十分钟左右 生效）
爬虫获取微信公众号历史文章（这一篇文章就够！）
Mr_zhubao的博客
09-19 4321
本文主要讲述了如何获取微信公众号历史文章信息的方法。
微信公众号模拟登录,获取公众号历史链接
chaoyue1397的博客
02-09 1万+
好久没写博客啦,这次写一下最近的一个好玩的.大家有时看到一个公众号觉得特别好玩,想看它所有的以前的链接咋办?从手机端挨个翻啊...太费劲了不是?所以我就想从公众号里是不是有这东西能获取,果然被俺发现啦哈哈话不多说,直接上内容啦,粗略的写了下,看不懂的话 再问我吧,只为了提供一个思路,具体实施请移步github,我的地址1.请求登录请求 https://mp.weixin.qq.com/cgi-bi...
商城系统中商品规格使用笛卡尔积运算
SJian123的专栏
05-25 1100
/** * 笛卡尔积生成规格 * @author Devil * @blog http://gong.gg/ * @version 1.0.0 * @datetime 2019-09-22T00:33:48+0800 * @desc description * @param {[array]} arr1 [要进行笛卡尔积的二维数组] * @param {[array]} arr2 [最终实现的笛...
Jsoup 获取微信公众号文章
weixin_43665377的博客
11-16 1166
jsoup下载链接：jsoup下载 jsoup中文文档：jsoup中文文档 import java.io.IOException; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; public class Clear { //获取文章封面图片 public static String getCoverUrl
Python扫码登录保存和验证cookies值——微信公众号篇（四）
Mute的博客
03-06 3937
python实现扫码登录微信公众号
爬虫系列-爬取公众号文章
小小啊python的博客
09-23 6841
本文介绍了通过微信公众号平台爬取文章数据的三种方法，并重点讲解了第二种方法的实现步骤。首先需要登录微信公众平台，在文章编辑页面通过超链接功能获取目标公众号的文章列表。通过开发者工具分析数据来源后，利用Python发送请求并解析返回的JSON数据，提取文章标题、链接和时间等信息。接着通过获取的文章URL进一步爬取正文内容，使用parsel库解析HTML页面中的正文数据。最后将爬取结果存储为CSV文件，包含文章标题、链接、发布时间和正文内容等字段。文章提供了完整的Python实现代码。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值