selenium driver.get 无限等待加载的问题

最近搞selenium爬虫遇到一个driver.get 打开网页无限等待的问题，自己记录学习一下。

问题描述：

用driver.get打开一个网页，希望在某一元素出现时就执行下面的代码，而不是一直等待网页加载完全。网上很多相关教程都在解释强制等待、显式等待、隐式等待等，大概代码如下:

driver.get('https://www.baidu.com')
WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.ID,
"kw")))

但是实践后发现有问题。代码会一直卡在driver.get，等待网页加载完全，并不能节省时间。此时的WebDriverWait没有意义，因为当执行到WebDriverWait时，driver.get已经运行完毕，网页已经加载完全，EC.visibility_of_element_located所定位的目标元素必定已经出现。

解决方案：

问题分析:

• 问题出在driver.get默认就是一直等待网页加载，加载完后才会执行下面的代码。

• Selnium的页面加载策略(pageLoadStrategy)有三种：

1. 　normal：等待整个页面加载完毕再开始执行操作。
2. 　eager：等待整个dom树加载完成，即DOMContentLoaded这个事件完成，也就是只要 HTML 完全加载和解析完毕就开始执行操作。放弃等待图片、样式、子帧的加载。
3. 　　none：等待html下载完成，哪怕还没开始解析就开始执行操作。

问题解决： 

• 所以 ，将加载策略改为eager即可解决问题。

  
  options = Options()
  options.page_load_strategy = 'eager'
  driver = webdriver.Chrome(options=options) #实例化一个浏览器对象
  driver.get(url_test) #访问网页
  
  try:
      WebDriverWait(driver, 5).until(EC.presence_of_element_located((By.ID, "chaptercontent")))
  except:
      print("超时")
  
  

  再配合WebDriverWait，即可实现一旦目标元素出现，立即执行下面的代码。