Scrapy-Redis 是 Scrapy 分布式的扩展模块,有了它我们可以方便地实现 Scrapy 分布式爬虫的搭建,本节来介绍一下 Scrapy-Redis 的安装方式。
相关链接
- GitHub:https://github.com/rmax/scrapy-redis
- PyPi:https://pypi.python.org/pypi/scrapy-redis
- 官方文档:http://scrapy-redis.readthedocs.io
pip 安装
推荐使用 pip 安装,命令如下:
1 |
pip3 install scrapy-redis |
Wheel 安装
也可以到 PyPi 下载 Wheel 文件安装:https://pypi.org/project/scrapy-redis/#downloads,如当前最新版本为 0.7.1,则可以下载 scrapy_redis-0.7.1-py2.py3-none-any.whl ,然后 pip 安装即可。
1 |
pip3 install scrapy_redis-0.7.1-py2.py3-none-any.whl |
测试安装
安装完成之后,可以在 Python 命令行下测试。
1 |
$ python3 |
如果没有错误报出,则证明库已经安装好了。