13.8 Scrapy 对接 Selenium
Scrapy 抓取页面的方式和 requests 库类似，都是直接模拟 HTTP 请求，而 Scrapy 也不能抓取 JavaScript 动态渲染的页面。在前文中抓取 JavaScript 渲染的页面有两种方式。一种是分析 Aja...
崔庆才
2019-12-05 9:30 2445浏览 3评论
4喜欢
13.7 Item Pipeline 的用法
Item Pipeline 是项目管道。在前面我们已经了解了 Item Pipeline 的基本用法，本节我们再作详细了解它的用法。
首先我们看看 Item Pipeline 在 Scrapy 中的架构，如图 13-1 所示。
图中的...
崔庆才
2019-12-05 9:26 1474浏览 1评论
3喜欢
13.6 Spider Middleware 的用法
Spider Middleware 是介入到 Scrapy 的 Spider 处理机制的钩子框架。我们首先来看看它的架构，如图 13-1 所示。
当 Downloader 生成 Response 之后，Response 会被发...
崔庆才
2019-12-04 15:18 1339浏览 0评论
6喜欢
13.5 Downloader Middleware 的用法
Downloader Middleware 即下载中间件，它是处于 Scrapy 的 Request 和 Response 之间的处理模块。我们首先来看看它的架构，如图 13-1 所示。
Scheduler 从队列中拿...
崔庆才
2019-12-04 15:11 1533浏览 0评论
5喜欢
13.1 Scrapy 框架介绍
Scrapy 是一个基于 Twisted 的异步处理框架，是纯 Python 实现的爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。
1. 架构介绍
首先我们来看下...
崔庆才
2019-12-03 11:42 2566浏览 0评论
8喜欢
9.4 ADSL 拨号代理
我们尝试维护过一个代理池。代理池可以挑选出许多可用代理，但是常常其稳定性不高、响应速度慢，而且这些代理通常是公共代理，可能不止一人同时使用，其 IP 被封的概率很大。另外，这些代理可能有效时间比较短，虽然代理池一直在筛选，但如果没有及时更新状态，也有可...
崔庆才
2019-12-03 11:07 2016浏览 0评论
6喜欢
13.4 Spider 的用法
在 Scrapy 中，要抓取网站的链接配置、抓取逻辑、解析逻辑里其实都是在 Spider 中配置的。在前一节实例中，我们发现抓取逻辑也是在 Spider 中完成的。本节我们就来专门了解一下 Spider 的基本用法。
1. Spider 运行流程
...
崔庆才
2019-12-03 9:40 1716浏览 0评论
3喜欢
13.3 Selector 的用法
我们之前介绍了利用 Beautiful Soup、pyquery 以及正则表达式来提取网页数据，这确实非常方便。而 Scrapy 还提供了自己的数据提取方法，即 Selector（选择器）。Selector 是基于 lxml 来构建的，支持 X...
崔庆才
2019-12-03 9:31 1546浏览 0评论
2喜欢
13.2 Scrapy 入门
接下来介绍一个简单的项目，完成一遍 Scrapy 抓取流程。通过这个过程，我们可以对 Scrapy 的基本用法和原理有大体了解。
1. 本节目标
本节要完成的任务如下。
创建一个 Scrapy 项目。
创建一个 Spider 来抓取站点和处理数据。...
崔庆才
2019-12-02 11:22 3025浏览 1评论
1喜欢
13.1 Scrapy 框架介绍
Scrapy 是一个基于 Twisted 的异步处理框架，是纯 Python 实现的爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。
1. 架构介绍
首先我们来看下...
崔庆才
2019-12-02 11:20 1464浏览 2评论
4喜欢
![[Python3网络爬虫开发实战] 13.8–Scrapy 对接 Selenium](https://cuiqingcai.com/wp-content/themes/Yusi/timthumb.php?src=https://qiniu.cuiqingcai.com/wp-content/uploads/2019/12/clay-banks-31l-8hY1mt4-unsplash-1.jpg&h=123&w=200&q=90&zc=1&ct=1)
![[Python3网络爬虫开发实战] 13.7–Item Pipeline 的用法](https://cuiqingcai.com/wp-content/themes/Yusi/timthumb.php?src=https://qiniu.cuiqingcai.com/wp-content/uploads/2019/12/christopher-gower-_aXa21cf7rY-unsplash.jpg&h=123&w=200&q=90&zc=1&ct=1)
![[Python3网络爬虫开发实战] 13.6–Spider Middleware 的用法](https://cuiqingcai.com/wp-content/themes/Yusi/timthumb.php?src=https://qiniu.cuiqingcai.com/wp-content/uploads/2019/12/WechatIMG648-1.jpeg&h=123&w=200&q=90&zc=1&ct=1)
![[Python3网络爬虫开发实战] 13.5–Downloader Middleware 的用法](https://cuiqingcai.com/wp-content/themes/Yusi/timthumb.php?src=https://qiniu.cuiqingcai.com/wp-content/uploads/2019/12/christopher-gower-m_HRfLhgABo-unsplash.jpg&h=123&w=200&q=90&zc=1&ct=1)
![[Python3网络爬虫开发实战] 13.1–Scrapy 框架介绍](https://cuiqingcai.com/wp-content/themes/Yusi/timthumb.php?src=https://qiniu.cuiqingcai.com/wp-content/uploads/2019/12/u7628866752601995417fm26gp0.jpg&h=123&w=200&q=90&zc=1&ct=1)
![[Python3网络爬虫开发实战] 9.4–ADSL 拨号代理](https://cuiqingcai.com/wp-content/themes/Yusi/timthumb.php?src=https://qiniu.cuiqingcai.com/wp-content/uploads/2019/12/timg-8.jpeg&h=123&w=200&q=90&zc=1&ct=1)
![[Python3网络爬虫开发实战] 13.4–Spider 的用法](https://cuiqingcai.com/wp-content/themes/Yusi/timthumb.php?src=https://qiniu.cuiqingcai.com/wp-content/uploads/2019/12/mahkeo-y01A05Np6Ho-unsplash.jpg&h=123&w=200&q=90&zc=1&ct=1)
![[Python3网络爬虫开发实战] 13.3–Selector 的用法](https://cuiqingcai.com/wp-content/themes/Yusi/timthumb.php?src=https://qiniu.cuiqingcai.com/wp-content/uploads/2019/12/ingmar-hoogerhoud-lLd7Hd-rOM-unsplash.jpg&h=123&w=200&q=90&zc=1&ct=1)
![[Python3网络爬虫开发实战] 13.2-Scrapy 入门](https://cuiqingcai.com/wp-content/themes/Yusi/timthumb.php?src=https://qiniu.cuiqingcai.com/wp-content/uploads/2019/12/simon-takatomi-0IUmwA5jRpk-unsplash.jpg&h=123&w=200&q=90&zc=1&ct=1)
![[Python3网络爬虫开发实战] 13.1-Scrapy 框架介绍](https://cuiqingcai.com/wp-content/themes/Yusi/timthumb.php?src=https://qiniu.cuiqingcai.com/wp-content/uploads/2019/12/harley-davidson-1Lg7p5hC2pI-unsplash.jpg&h=123&w=200&q=90&zc=1&ct=1)