习惯一个人面对所有

配置文件 ~/.bash_profile 配置内容 export JAVA_HOME=/usr/java/jdk1.8.0_161 export PATH=JAVAHOME/bin:JAVA_HOME/bin:JAVAH​OME/bin:PATH 检验是否配置好：查一下Java版本 java -version ...

内容简介使用scrapy爬取古诗文网的前十页数据创建scrapy框架设置scrapy项目写爬虫类设置爬取的内容保存数据标题设置多页爬取（在gsww_spider.py里面设置） 使用scrapy爬取古诗文网的前十页数据 创建scrapy框架 使用cmd创建一个爬虫项目 scrapy startproject gsww #创建新项目 然后进入目录中，创建spider cd gsww scrapy genspider gsww_spider www.gushiwen.cn 设置scrapy项目 在s

12306抢票一（登录） 找到登录的页面，由于账号密码登录比较麻烦就直接扫码登录所以要先找到登录页面的url，利用selenium进行登录。 在实战中一般要先把框架给搭好，好后面添加代码。为了代码得简洁，可读性较高，所以整个过程在一个类中实现，类中又定义了不同的函数来实现不同的功能 搭框架：有一个执行的入口，有一个主函数可以调用定义的类。 class TrainSpider(object): def __init__(self, *args, **kwargs) pass def run(self

使用多线程爬取段子 请求网页响应获取源码 由于使用多线程代码比较多，所以定义一个采集类 class CrawlThread(threading.Thread): def __init__(self, name, url_queue, data_queue): super(CrawlThread, self).__init__() self.name = name self.url_queue = url_queue self.data_

多线程爬取王者荣耀游戏壁纸 https://pvp.qq.com/web201605/wallpaper.shtml 王者荣耀游戏壁纸的下载页面 右键检查 但是在网页源代码里找不到壁纸的链接 这个文件是还需要进行一个解码操作，再提取壁纸的下载链接 进行多线程爬虫时， 把生产者和消费者各自创建一个类 这个类要继承threading.Thread类 还要写入run方法， 类中需要传入参数需要重写父类的__init__()方法 使用队列需要定义用到的队列 1.定义生产者类 class Producer

使用navicate11连接mysql8报错的解决方法 使用navicate11连接mysql8,报错1251的错误 1251- Client does not support authentication protocol requested by server consider upgrading MySQL client 网上查找原因发现是mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password, 解决

爬取快代理的ip地址 导入必备的库包 import requests from bs4 import BeautifulSoup 准备url地址 url = 'https://www.kuaidaili.com/free/inha/{}/' 请求网页响应 data = requests.get(url, headers=headers) 使用Beautifulsoup解析网页并提取内容 data = requests.get(url, headers=headers) html =

scrapy startproject douban #创建一个新的项目 scrapy genspider Top250 douban.com #创建爬虫 打开items.py，在DoubanItem中添加属性

遇到的问题：from sklearn.linear_model import RandomizedLogisticRegression as RLR导入报错 from sklearn.linear_model import RandomizedLogisticRegression as RLR ImportError: cannot import name ‘RandomizedLogisticRegression’ from ‘sklearn.linear_model’ (D:\anaconda\li

使用xpath爬取我的博客的发帖信息并保存在csv文件中 #! /usr/bin/env python # -*- coding:utf8 -*- import requests import csv from lxml import etree url = 'https://blog.csdn.net/qiaoenshi' headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWeb

内容简介pyecharts的应用绘制树图绘制矩形树图绘制散点图矩阵绘制地图，标出销售数据绘制地理热点图绘制词云图绘制主题河流图 pyecharts的应用 绘制树图 from pyecharts.charts import Tree, TreeMap import pyecharts.options as opts from pyecharts.globals import ThemeType import json #导入json模块 with open('lianxi.json', 'r', enc

简介Katalon Recorder——火狐浏览器中的小插件下载插件使用插件 Katalon Recorder——火狐浏览器中的小插件 此处附上一个莫烦python的教学视频有操作介绍：[https://morvanzhou.github.io/tutorials/data-manipulation/scraping/5-01-selenium/ 下载插件 打开火狐浏览器 如下图，点击附加组件 然后，进入插件页面下载安装即可 使用插件 打开插件 点击Record，开始录制 录制完成后，点击stop

内容简介pycharts在数据可视化中的应用使用pychats需要导入的几个必要的库包折线图阶梯图堆叠柱状图极坐标系堆积柱状图 pycharts在数据可视化中的应用 附上pyecharts中文文档链接http://pyecharts.org/#/zh-cn/intro 使用pychats需要导入的几个必要的库包 #从pyecharts.charts导入绘制图表的类型 from pyecharts.charts import Line, Bar , Pie, Polar from pyecharts.rend

pycharm和numpy不匹配 报错信息 ImportError: Importing the multiarray numpy extension module failed. Most likely you are trying to import a failed build of numpy. If you're working with a numpy git repo, try ...

查询中limit、skip的顺序不影响结果 db.movie.find().limit(2).skip(2) db.movie.find().skip(2).limit(2) #顺序不一样不影响结果 管道操作中limit、skip的顺序影响结果 db.movie.aggregate([{$skip:5},{$limit:2}]) db.movie.aggregate([{$limit...