并发编程(四)：Python并发编程在爬虫中的应用

原创 已于 2023-08-24 10:16:02 修改 · 671 阅读 · 1 GEO检测
标签
#python #okhttp #开发语言
于 2023-08-08 09:25:01 首次发布
本文探讨了Python并发编程在爬虫中的应用，包括单线程、多线程和异步I/O版本的爬虫实现。通过实例展示了在爬取360图片网站时，不同并发方式的效率和CPU利用率，强调了多线程和异步I/O在I/O密集型任务中的优势。

专栏介绍

结合自身经验和内部资料总结的Python教程，每天3-5章，最短1个月就能全方位的完成Python的学习并进行实战开发，学完了定能成为大佬！加油吧！卷起来！

全部文章请访问专栏：《Python全栈教程（0基础）》
再推荐一下最近热更的：《大厂测试高频面试题详解》 该专栏对近年高频测试相关面试题做详细解答，结合自己多年工作经验，以及同行大佬指导总结出来的。旨在帮助测试、python方面的同学，顺利通过面试，拿到自己满意的offer！

文章目录

并发编程在爬虫中的应用

之前的课程，我们已经为大家介绍了 Python 中的多线程、多进程和异步编程，通过这三种手段，我们可以实现并发或并行编程，这一方面可以加速代码的执行，另一方面也可以带来更好的用户体验。爬虫程序是典型的 I/O 密集型任务，对于 I/O 密集型任务来说，多线程和异步 I/O 都是很好的选择，因为当程序的某个部分因 I/O 操作阻塞时，程序的其他部分仍然可以运转，这样我们不用在等待和阻塞中浪费大量的时间。下面我们以爬取“360图片”网站的图片并保存到本地为例，为大家分别展示使用单线程、多线程和异步 I/O 编程的爬虫程序有什么区别，同时也对它们的执行效率进行简单的对比。

“360图片”网站的页面使用了 Ajax 技术，这是很多网站都会使用的一种异步加载数据和局部刷新页面的技术。简单的说，页面上的图片都是通过 JavaScript 代码异步获取 JSON 数据并动态渲染生成的，而且整个页面还使用了瀑布式加载（一边向下滚动，一边加载更多的图片）。我们在浏览器的“开发者工具”中可以找到提供动态内容的数据接口，如下图所示，我们需要的图片信息就在服务器返回的 JSON 数据中。

例如，要获取“美女”频

了解本专栏 订阅专栏 解锁全文
Python爬虫技术与应用：网络爬虫概述
andyyah晓波的博客
08-13 3010
网络爬虫的不同抓取策略，便是利用不同的方法确定待抓取URL队列中URL的优先顺序。网络爬虫的抓取策略有很多种，但不管方法如何，其根本目标一致。网页的重要性评判标准不同，大部分采用网页的流行性进行定义。网页结构分布图如图1-5所示。
什么是网络爬虫
2301_79903190的博客
12-11 2356
又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网络爬虫可以根据指定的规则，从互联网上下载网页、图片、视频等内容，并抽取其中的有用信息进行处理。网络爬虫的工作流程包括获取网页源代码、解析网页内容、存储数据等步骤。根据其目的和工作方式的不同，网络爬虫可以分为多种类型。常见的网络爬虫包括通用爬虫、聚焦爬虫、增量式爬虫等。
python爬虫介绍及其应用
m0_69043821的博客
04-28 2709
网络爬虫是什么 网络爬虫又称网络蜘蛛、网络机器人，它是一种按照一定的规则自动浏览、检索网页信息的程序或者脚本。网络爬虫能够自动请求网页，并将所需要的数据抓取下来。通过对抓取的数据进行处理，从而提取出有价值的信息。 认识爬虫 我们所熟悉的一系列搜索引擎都是大型的网络爬虫，比如百度、搜狗、360浏览器、谷歌搜索等等。每个搜索引擎都拥有自己的爬虫程序，比如 360 浏览器的爬虫称作 360Spider，搜狗的爬虫叫做 Sogouspider。 ...
网络爬虫是什么？怎么学python爬虫
热门推荐
Itmastergo的博客
11-15 3万+
网络爬虫又称网络蜘蛛、网络机器人，它是一种按照一定的规则自动浏览、检索网页信息的程序或者脚本。网络爬虫能够自动请求网页，并将所需要的数据抓取下来。通过对抓取的数据进行处理，从而提取出有价值的信息。
Python图片压缩方法全解：从入门到进阶
得塔云的博客
06-19 569
本文总结了Python中六种主流的图片压缩方法：1）Pillow作为通用首选，支持质量调整、尺寸缩放和格式转换；2）TinyPNG API提供最高压缩率但有限额；3）WebP格式在保持画质下体积最小；4）PyVips适合大图处理，内存占用低；5）OpenCV针对视频帧和实时流优化；6）K-means聚类实现算法级色彩压缩。文章通过对比表格和决策树，建议根据场景需求选择工具，日常使用Pillow即可满足大多数需求，并附赠了一个可直接使用的批量压缩脚本。
Unity PICO4 学习记录8： WebRTC
m0_63485455的博客
06-22 313
这一篇和PICO本身没什么关系，只是记录一下开发过程我们要做一个“从超声设备采集影像数据，一对多地传给XR眼镜终端以及其他可能的设备”应用。发送端是Jetson，由同事负责；接收端XR眼镜端由我负责。同事说视频采集卡例程里给了两种通信协议：RSTP和WebRTC.一开始我尝试用HoloLens2，因为老师和医生们似乎更喜欢OST而不是VST；但是UWP ARM64 媒体栈对 RTSP 支持弱、MixedReality-WebRTC 停更，所以 HL2 不适合当主验证平台。
24-Django请求全链路-WSGI到数据库响应的完整旅程
weixin_44081096的博客
06-15 1611
你点了浏览器的"刷新"按钮，0.5 秒后页面渲染完毕。这 0.5 秒里发生了什么？本文把 Django 处理一个 HTTP 请求的完整链路拆为六个步骤：WSGI Server 接收 TCP 连接 → 中间件栈的洋葱模型逐层处理 → URL 路由匹配 → View 执行业务逻辑 → ORM 生成 SQL 并发送到数据库 → Template 渲染或 JSON 序列化返回响应。每一步都配有对应的源码位置和关键代码片段，读完你能对一个请求的全生命周期建立起清晰的空间模型。穿插真实调试经历——一个中间件错误导致所有
AI Infra 硬件体系与编程模型：18. CUDA编程基础：使用 PyTorch CUDA Extension 实现自定义算子
basketball616的博客
06-17 477
本文详细介绍了PyTorch CUDA扩展的开发方法与架构。主要内容包括： 开发动机：解决原生算子不足、Python实现性能差、需要算子融合和硬件特性定制等问题 三层架构： CUDA核函数层：纯GPU计算逻辑 C++封装层：连接PyTorch与CUDA，处理张量转换 Python层：提供用户接口 核心依赖：ATen张量库作为基础，通过torch/extension.h头文件提供统一接口 关键技术： 使用pybind11实现Python-C++绑定 支持即时编译(JI
Hermes Agent 中 Skills 与 Tools 的关系分析
LOUISLIAOXH的专栏
06-16 324
Hermes Agent 中 Skills 与 Tools 的关系分析 Hermes Agent 将 Skills 功能通过 3 个独立 tool（skills_list、skill_view、skill_manage）暴露给大模型，而非单一工具。这些工具注册在 skills toolset 下，并在系统初始化时加载。 内容装载采用三级机制： 系统提示注入：初始化时在 system prompt 中嵌入紧凑的技能索引（仅名称和简介）； 工具 Schema 描述：每次 API 调用携带详细功能说明； 按需加载
Odoo 19开发教程之视图控件开发
智能化技术分享
06-22 237
本文详细介绍了Odoo 19中自定义视图控件的开发方法，通过一个销售订单列表视图的弹窗控件案例，展示了完整的实现流程。该控件由四部分组成：基于OWL框架的JavaScript组件（包含弹窗和主控件）、XML模板文件（定义界面元素）、Python模型（提供计算字段）和视图XML定义（嵌入控件）。开发要点包括使用usePopover钩子实现弹窗交互、OWL组件与模板的绑定方式、计算字段的高效实现，以及控件在视图中的注册与调用。该方案可灵活扩展，为Odoo视图提供丰富的交互功能。
衣览无余测试报告
XU_very_NB的博客
06-16 241
本次测试工作以 AIWear Web 系统为对象，结合手工测试用例设计与 Python + Selenium 自动化测试脚本，对系统的登录认证、图片编辑、图片合并、图片管理、文搜图和历史记录等核心链路进行验证，重点关注页面功能正确性、登录态 token 传递、输入校验、图片选择及结果展示的稳定性。AIWear 项目围绕“衣览无余”的业务目标，提供基于 Web 的图片编辑、图片合并、我的图片、历史记录等功能，帮助用户通过简单的页面操作完成图片生成与管理。测试过程中重点关注登录态 token 的复用。
JUC 总结：从 Java 内存模型到线程池的并发核心梳理
2301_80821045的博客
06-15 683
本文总结了Java并发编程（JUC）的基础知识要点： 进程与线程：进程是资源分配的最小单位，线程是调度的最小单位，线程更轻量级且切换成本低； 线程创建方式：继承Thread类、实现Runnable/Callable接口、使用线程池（推荐）； Runnable与Callable区别：Callable有返回值且可抛异常，需通过FutureTask适配； 线程状态：新建、可运行、阻塞、等待、定时等待和终止6种状态； 线程控制：start()启动新线程，run()同步执行；join()实现顺序执行，CountDow
为什么Python不用var或let声明变量？
这家伙很懒，什么都没有留下
06-18 342
语言声明关键字作用域规则需要类型吗？Python无（赋值即声明）函数级作用域否（注解可选）JavaScriptvarletconstletconst是块级，var是函数级否Java类型在前块级是C类型在前块级是Govar:=块级是Rustletlet mut块级是C++类型在前/auto块级是没有任何声明关键字。为什么Python不用var或let？设计哲学：赋值即声明，简洁明了，减少冗余语法历史因素：Python从一开始就这么设计，没有历史包袱避免复杂。
计算机二级Python备考资料
m0_67097444的博客
06-17 253
操作：append()、extend()、insert()、remove()、pop()、sort()、reverse()基本数据类型：int(整数)、float(浮点数)、str(字符串)、bool(布尔值)操作：keys()、values()、items()、get()、update()序列操作：len()、max()、min()、sum()、sorted()操作：add()、remove()、并集(|)、交集(&)、差集(-)打开模式：r(读)、w(写)、a(追加)、r+(读写)、b(二进制)
如何使用鳄鱼线做股票交易（下）：量化代码实现与避坑指南
weixin_73631017的博客
06-17 480
本文介绍了如何用Python实现鳄鱼线量化交易策略，重点解析了趋势判断、入场逻辑和常见陷阱。文章首先阐述了鳄鱼线的三大核心交易规则：通过三条均线的排列识别趋势方向，用价差扩散判断趋势强度，并设置多条件过滤无效信号。特别强调了均线平移(shift)的正确用法，指出错误的平移会导致未来函数问题，使回测结果失真。随后提供了完整的Python代码实现，包括SMMA计算、信号生成、回测框架和可视化功能。最后建议读者通过实践掌握时序数据处理、多条件组合等量化技能，并指出鳄鱼线的核心价值在于趋势过滤而非涨跌预测。全文突出
第5篇_Python文件操作与异常处理：程序与外界交互的桥梁
最新发布
Lenyiin
06-22 287
学到这里，你的 Python 代码已经能在自由运转了——变量、函数、类、对象，全都在 RAM 里运行，程序结束就消失。但真实世界的程序，不能只活在内存里。这就需要掌握和——这是 Python 程序与外界交互的两座桥梁。本篇我们就来系统学习这两个主题。
基于卷积神经网络的图像分类系统
wyh293的博客
06-18 303
随着人工智能技术的快速发展，图像分类作为计算机视觉领域的核心任务之一，在智能安防、医疗影像诊断、工业质检、自动驾驶等场景中展现出巨大应用价值。传统机器学习方法依赖人工特征提取，泛化能力弱、鲁棒性差；而深度学习，尤其是卷积神经网络（CNN），凭借其强大的局部感知、权值共享与层次化特征学习能力，已成为图像分类任务的事实标准。本文围绕构建一个高精度、可部署、易扩展的端到端图像分类系统展开研究，基于PyTorch框架设计并实现了一套完整的CNN图像分类系统，涵盖数据预处理、模型构建（ResNet-...
AI掘金头条新闻系统 (Toutiao News)-获取浏览历史列表
2402_84971234的博客
06-17 271
本文描述了实现用户新闻浏览历史功能的三个核心模块：1) 定义历史记录数据模型HistoryNewsItemResponse和分页响应模型HistoryListResponse；2) 通过CRUD操作实现分页查询历史记录，包含联表查询新闻详情并按浏览时间倒序排列；3) 提供API路由接口，支持分页参数验证并返回格式化响应。整个实现采用Pydantic进行数据验证和序列化，支持字段别名映射，确保接口返回包含历史ID、浏览时间等信息的新闻列表，同时附带分页元数据（总数、是否有更多数据）。
Segearth-R2-03
xiaokui6的博客
06-15 514
下面进入。dataset.py。
004 Pandas 相比传统数据分析方法的优势
未来已来，AI时代，学AI编程，做AI量化，就来大鹏AI教育。
06-17 181
借助 DataFrame 和 Series 这样的数据结构，我们可以更方便地完成筛选、排序、统计和分组这些操作，不需要大量手写循环。面对缺失值、重复数据、数据合并、数据转换这些常见问题，Pandas 都提供了现成的方法，可以大大减少数据预处理的复杂度。只要数据和时间有关，比如销售额变化、访问量变化、股票价格变化，Pandas 都能很好地按时间进行整理、统计和分析。但是 Pandas 提供了很多专门的方法，可以帮助我们完成数据清洗、数据转换、数据合并和数据整理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

桃酥zz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值