python模拟登录豆瓣网爬取影评——requests_html&mongodb&处理验证码

最新推荐文章于 2023-05-29 15:27:45 发布

原创

最新推荐文章于 2023-05-29 15:27:45 发布 · 765 阅读

标签

#requests_html #模拟登录豆瓣网 #验证码

收录于

本文介绍了一个使用Python编写的豆瓣电影评论爬虫程序。该程序利用requests_html库进行网页请求，并通过PIL库处理验证码，最终将抓取到的数据保存到MongoDB数据库中。文章详细展示了如何处理登录验证、解析评论数据及实现分页爬取。

# -*- coding: utf-8 -*-
"""
Created on Mon Apr 30 14:47:09 2018

"""


from requests_html import HTMLSession
from pymongo import MongoClient
from PIL import Image
import time 


session = HTMLSession()


def createDB():
    #创建mongo数据库，并建立集合
    client = MongoClient('localhost',27017)
    db = client.douban
    col_hldwm = db.hldwm
    return col_hldwm


def login(email,password):
    #登录豆瓣网
    url = 'https://accounts.douban.com/login'
    headers = {
        #在network获取
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36',
        }
    login_data = {
        #在network获取
        "source":'index_nav',  
        'redir': 'https://www.douban.com',
    &nbs