投稿    登录
欢迎来访~

标签:爬虫

Python

[Python3网络爬虫开发实战] 14.1–分布式爬虫原理 24小时内最新

[Python3网络爬虫开发实战] 14.1–分布式爬虫原理
14.1 分布式爬虫原理 我们在前面已经实现了 Scrapy 微博爬虫,虽然爬虫是异步加多线程的,但是我们只能在一台主机上运行,所以爬取效率还是有限的,分布式爬虫则是将多台主机组合起来,共同完成一个爬取任务,这将大大提高爬取的效率。 1. 分布式爬虫架构 在了解分布式爬虫架构之前...

崔庆才 2019-12-08 9:52 80浏览 0评论 0喜欢

Python

[Python3网络爬虫开发实战] 13.10–Scrapy 通用爬虫

[Python3网络爬虫开发实战] 13.10–Scrapy 通用爬虫
13.10 Scrapy 通用爬虫 通过 Scrapy,我们可以轻松地完成一个站点爬虫的编写。但如果抓取的站点量非常大,比如爬取各大媒体的新闻信息,多个 Spider 则可能包含很多重复代码。 如果我们将各个站点的 Spider 的公共部分保留下来,不同的部分提取出来作为单独的配...

崔庆才 2019-12-06 9:30 527浏览 2评论 0喜欢