阿华华华华的博客

win10下python3.5 scrapy安装

2017年新年快乐Ｏ(≧口≦)Ｏ！希望自己这一年能比去年更加优秀！赶完论文又出去浪了一圈，直到现在才收心放学习上。就先把之前scrapy第一个小程序整理一下，明天开始新的内容练习(^__^) 这一次还是拿wuli凯凯王的电视剧练手，抓取符合要求的评论生成json文件并将数据存入mysql数据库中。这里是scrapy入门教程，看完之后加以修改，基本可以实现本次任务要求（这个貌似还支持NoSQL，文档中

随着爬取到的数据增多，原来使用的excel文件变得不那么方便。把获取到的数据存入数据库中则更加有利于后面的数据分析和数据查询。这次我将豆瓣对某部电视剧的用户评分数据爬取下来，并存入了mysql数据库中。而这过程中，mysql的配置需要进行一定的修改，这个之后写到再说！d===(￣▽￣*)b需要引入的包# coding : UFT-8 import requests import random imp

这次这玩意折腾我了半天，终于成功了/(ㄒoㄒ)/~~。急需把中间遇到的问题详细记录下来宣泄一下在前面代码的基础上，想尝试将知乎上关注某话题的用户头像爬取下来。在参考了知乎大神们的回答之后，修改完善了自己的代码，终于可以运行成功了。相比较前面的内容，其实只多了一个offset概念（就是知乎用来加载后续用户头像的插件？每次加载20个，通过post传递）。其他就是requests,bs4的内容。但不得不说

这里是参考了博主登录知乎这篇文章。但是登录时遇到了一个问题，就是需要我输入验证码。可能博主写的时候不需要输入验证码，因此没有考虑到这个问题。最后参考了知乎大神验证码部分的代码，实现了登录功能。这里也使用了cookies来实现免登录。整个代码如下。import requests import random try: import cookielib except: import htt

在实现第一页内容和头像的获取后，想实现代码自动翻页获取后面内容。其原理就是找到下一页的链接，并且访问即可。主要是在第二个实例中加入部分代码 第二个实例 获取html内容 def get_info( url, data = None): header = { 'Accept': 'text/html,application/xhtml+xml,application/xml;

写在开头刚刚入门Python，一切都是摸索阶段。把自己的问题记录下来避免之后再犯相同的错误。运气好或许还能帮助有缘人( ⊙o⊙ )Python入门Python的简单入门主要需要看两个文档：requests和bs4。链接如下： requests bs4爬虫实例学习在真正开始写自己的第一个爬虫的实例前，在网上看了其他许多大神的教程。这里是我第一个复制练习的例子： 大神教程 这是一个一周天气的信息

在实现内容的爬取后，我想实现用户头像的下载。其实只需要在前一部分的代码中再加上关于图片url的链接即可。 第一个实例 图片url获取 def get_data(html ): final = [] **pictures = []**#存放图片url bs = BeautifulSoup(html, "html.parser") body = bs.body

前两天做数据库作业，遇到一个题目： 查询所有至少拥有两张订单的用户，并且计算相邻日期订单的时间间隔。返回用户ID和最长的时间间隔。如果两个订单时间是同一天，返回0。重点是老师只许用最简单的函数。所涉及的表如下：表orders ordid,odate,ocust这里最长时间间隔的查询思路是：先计算日期相邻的（odate）的差值，再选取差值中最大的一个。因此可以分为以下几步进行计算：1.选取至少拥