投稿    登录
欢迎来访~

 分类:Python

Python

[Python3网络爬虫开发实战] 15.1–Scrapyd 分布式部署

[Python3网络爬虫开发实战] 15.1–Scrapyd 分布式部署
15.1 Scrapyd 分布式部署 分布式爬虫完成并可以成功运行了,但是有个环节非常烦琐,那就是代码部署。 我们设想下面的几个场景。 如果采用上传文件的方式部署代码,我们首先将代码压缩,然后采用 SFTP 或 FTP 的方式将文件上传到服务器,之后再连接服务器将文件解压,每个...

崔庆才 2019-12-10 9:26 3928浏览 0评论 11喜欢

Python

[Python3网络爬虫开发实战] 14.1–分布式爬虫原理

[Python3网络爬虫开发实战] 14.1–分布式爬虫原理
14.1 分布式爬虫原理 我们在前面已经实现了 Scrapy 微博爬虫,虽然爬虫是异步加多线程的,但是我们只能在一台主机上运行,所以爬取效率还是有限的,分布式爬虫则是将多台主机组合起来,共同完成一个爬取任务,这将大大提高爬取的效率。 1. 分布式爬虫架构 在了解分布式爬虫架构之前...

崔庆才 2019-12-08 9:52 4641浏览 0评论 6喜欢