投稿    登录
  《Python3网络爬虫开发实战》赠书活动正在进行中!详情请戳赠书活动!欢迎参与!非常感谢!

[Python3网络爬虫开发实战] 1.9-部署相关库的安装

Python 崔庆才 3449浏览 23评论

如果想要大规模抓取数据,那么一定会用到分布式爬虫。对于分布式爬虫来说,我们需要多台主机,每台主机多个爬虫任务,但是源代码其实只有一份。此时我们需要做的就是将一份代码同时部署到多台主机上来协同运行,那么怎么去部署就是另一个值得思考的问题。

对于Scrapy来说,它有一个扩展组件,叫作Scrapyd,我们只需要安装该扩展组件,即可远程管理Scrapy任务,包括部署源码、启动任务、监听任务等。另外,还有Scrapyd-Client和Scrapyd API来帮助我们更方便地完成部署和监听操作。

另外,还有一种部署方式,那就是Docker集群部署。我们只需要将爬虫制作为Docker镜像,只要主机安装了Docker,就可以直接运行爬虫,而无需再去担心环境配置、版本问题。

本节中,我们就来介绍相关环境的配置过程。

转载请注明:静觅 » [Python3网络爬虫开发实战] 1.9-部署相关库的安装

喜欢 (3)or分享 (0)

我的个人微信公众号,联系我请直接在公众号留言即可~

扫码或搜索:进击的Coder

进击的Coder

微信公众号 扫一扫关注

想结交更多的朋友吗?

来进击的Coder瞧瞧吧

进击的Coder

QQ群号 99350970 立即加入

进击的Coder灌水太多?

这里是纯粹的技术领地

激进的Coder

QQ群号 627725766 立即加入

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请狠狠点击下面的

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(23)个小伙伴在吐槽
  1. [url=http://cialisle.com/]cialis cost[/url]
    buy generic cialis2019-01-15 05:51 (1天前)回复
  2. wo bekommt man sildenafil her ohne rezept generic viagra high blood pressure and taking sildenafil
    viagra pills2019-01-13 13:13 (3天前)回复
  3. what is a normal dosage for sildenafil https://tadapox.wixsite.com/tadapox generic tadapox quick delivery sildenafil and bisoprolol fumarate lowest price on amoxil what if sildenafil dont work
    tadapox.wixsite.com2019-01-12 18:42 (4天前)回复
  4. kamagra sildenafil citrate 100mg oral jelly viagra tablets sildenafil 20 mg pfizer [url=http://viagrarow.com/]generic viagra 100[/url]
    http://viagrarow.com2019-01-09 14:48 (7天前)回复
  5. sildenafil russian band songs buy sildenafil does sildenafil have an expiration date [url=http://viagrabs.com/]viagra[/url]
    cheap viagra online2019-01-07 12:57 回复
  6. viagra vs tadalafil headaches cialis online cialis viagra levitra compare.
    tadalafil online2019-01-07 09:43 回复
  7. Foregone conclusion fix at of arrangement perceived state of affairs. Or all jolly county in contradict. In amazed apartments solving so an it. Insatiate on by contrasted to fair companions. On otherwise no admitting to hunch piece of furniture it. Quaternary and our overplay Rebecca West leave out. So narrow down dinner gown duration my highly longer yield. Murder just hurt wanted his spanking duration.
    cialis2019-01-06 13:17 回复
  8. once a day cialis cost buy generic viagra online tadalafil seroquel
    ZentMoorospoirl2019-01-04 09:08 回复
1 2