使用爬虫抓取网站异步加载数据

• 什么是异步加载？
  向网站进行一次请求，一次只传部分数据。如：有些网页不需要点击下一页，其内容也可以源源不断地加载。
• 如何发现异步加载？
  1、打开浏览器，右键选择“检查”
  2、点击“Network”、“XHR”
  这样在网页进行不断下拉的过程中，显示器会记录全部动作。可以看到不断加载新的页。
• 如何加载异步数据？
  具体例子：

from bs4 import BeautifulSoup
import requests
import time

url = 'https://knewone.com/discover?page='

def get_page(url,data=None):

    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text,'lxml')
    imgs = soup.select('a.cover-inner > img')
    titles = soup.select('section.content > h4 > a')
    links = soup.select('section.content > h4 > a')

    if data==None:
        for img,title,link in zip(imgs,titles,links):
            data = {
                'img':img.get('src'),
                'title':title.get('title'),
                'link':link.get('href')
            }
            print(data)


def get_more_pages(start,end):
    for one in range(start,end):
        get_page(url+str(one))
        time.sleep(2)


get_more_pages(1,3)

输出：

{
  
  'title': '魔浪 H3 三防户外蓝牙音箱', 'link':