投稿    登录
欢迎来访~

崔庆才的文章

http://cv.cuiqingcai.com
Python

[Python3网络爬虫开发实战] 14.1–分布式爬虫原理

[Python3网络爬虫开发实战] 14.1–分布式爬虫原理
14.1 分布式爬虫原理 我们在前面已经实现了 Scrapy 微博爬虫,虽然爬虫是异步加多线程的,但是我们只能在一台主机上运行,所以爬取效率还是有限的,分布式爬虫则是将多台主机组合起来,共同完成一个爬取任务,这将大大提高爬取的效率。 1. 分布式爬虫架构 在了解分布式爬虫架构之前...

2019-12-08 9:52 3008浏览 0评论 5喜欢

Python

[Python3网络爬虫开发实战] 13.13–Scrapy 爬取新浪微博

[Python3网络爬虫开发实战] 13.13–Scrapy 爬取新浪微博
13.13 Scrapy 爬取新浪微博 前面讲解了 Scrapy 中各个模块基本使用方法以及代理池、Cookies 池。接下来我们以一个反爬比较强的网站新浪微博为例,来实现一下 Scrapy 的大规模爬取。 1. 本节目标 本次爬取的目标是新浪微博用户的公开基本信息,如用户昵称、...

2019-12-08 9:50 5532浏览 1评论 5喜欢

Python

[Python3网络爬虫开发实战] 13.12–Scrapy 对接 Docker

[Python3网络爬虫开发实战] 13.12–Scrapy 对接 Docker
13.12 Scrapy 对接 Docker 环境配置问题可能一直是我们头疼的,我们可能遇到过如下的情况: 我们在本地写好了一个 Scrapy 爬虫项目,想要把它放到服务器上运行,但是服务器上没有安装 Python 环境。 别人给了我们一个 Scrapy 爬虫项目,项目中使用包...

2019-12-07 10:23 2256浏览 2评论 5喜欢

Python

[Python3网络爬虫开发实战] 13.11–Scrapyrt 的使用

[Python3网络爬虫开发实战] 13.11–Scrapyrt 的使用
13.11 Scrapyrt 的使用 Scrapyrt 为 Scrapy 提供了一个调度的 HTTP 接口。有了它我们不需要再执行 Scrapy 命令,而是通过请求一个 HTTP 接口即可调度 Scrapy 任务,我们就不需要借助于命令行来启动项目了。如果项目是在远程服务器运行,...

2019-12-07 10:20 1687浏览 1评论 7喜欢

技术杂谈

Nginx 反向代理返回结果为空的问题

Nginx 反向代理返回结果为空的问题
最近在开发过程中遇到了这么一个问题: 现在有一个 Web 项目,前端是使用 Vue.js 开发的,整个前端需要部署到 K8S 上,后端和前端分开,同样也需要部署到 K8S 上,因此二者需要打包为 Docker 镜像。 对前端来说,打包 Docker 就遇到了一个问题:跨域访问问题...

2019-12-07 6:26 1899浏览 0评论 1喜欢

技术杂谈

阿里云服务器活动!阿里云代金券 + 1 折优惠码

阿里云服务器活动!阿里云代金券 + 1 折优惠码
阿里云作为国内最大的云服务商家,个人与企业上云都纷纷首选阿里云。但是在价格方面比整个市场有些许昂贵,让不少用户却而止步。因此星速云小编呕心沥血整理阿里云最新优惠折扣【汇总篇】,让大家不用花时间到处寻找优惠信息,帮助站长、开发者和企业们上云购节省项目开支。 最全:阿里云最新优惠获...

2019-12-06 18:43 3053浏览 0评论 2喜欢

Python

[Python3网络爬虫开发实战] 13.10–Scrapy 通用爬虫

[Python3网络爬虫开发实战] 13.10–Scrapy 通用爬虫
13.10 Scrapy 通用爬虫 通过 Scrapy,我们可以轻松地完成一个站点爬虫的编写。但如果抓取的站点量非常大,比如爬取各大媒体的新闻信息,多个 Spider 则可能包含很多重复代码。 如果我们将各个站点的 Spider 的公共部分保留下来,不同的部分提取出来作为单独的配...

2019-12-06 9:30 3877浏览 3评论 2喜欢