0%

Python爬虫进阶二之PySpider框架安装配置

2022 年最新 Python3 网络爬虫教程

大家好,我是崔庆才,由于爬虫技术不断迭代升级,一些旧的教程已经过时、案例已经过期,最前沿的爬虫技术比如异步、JavaScript 逆向、安卓逆向、智能解析、WebAssembly、大规模分布式、Kubernetes 等技术层出不穷,我最近新出了一套最新最全面的 Python3 网络爬虫系列教程。

博主自荐:截止 2022 年,可以将最前沿最全面的爬虫技术都涵盖的教程,如异步、JavaScript 逆向、安卓逆向、智能解析、WebAssembly、大规模分布式、Kubernetes 等,市面上目前就这一套了。

最新教程对旧的爬虫技术内容进行了全面更新,搭建了全新的案例平台进行全面讲解,保证案例稳定有效不过期。

教程请移步:

【2022 版】Python3 网络爬虫学习教程

如下为原文。

关于

首先,在此附上项目的地址,以及官方文档 PySpider 官方文档

安装

1. pip

首先确保你已经安装了pip,若没有安装,请参照 pip安装

2. phantomjs

PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速、原生支持各种Web标准:DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。 安装 以上附有官方安装方式,如果你是 Ubuntu 或 Mac OS X用户,可以直接用命令来安装 Ubuntu:

1
sudo apt-get install phantomjs

Mac OS X:

1
brew install phantomjs

3. pyspider

直接利用 pip 安装即可

1
pip install pyspider

如果你是 Ubuntu 用户,请提前安装好以下支持类库

1
sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml

测试 如果安装过程没有提示任何错误,那就证明一些OK。 命令行输入

1
pyspider all

然后浏览器访问 http://localhost:5000 观察一下效果,如果可以正常出现 PySpider 的页面,那证明一切OK 在此附图一张,这是我写了几个爬虫之后的界面。 2016-02-11 20.55.36 好,接下来我会进一步介绍这个框架的使用。

常见错误

我曾遇到过的一个错误: PySpider HTTP 599: SSL certificate problem错误的解决方法 ,后来在作者那发了issue得到了答案,其他的暂时没什么问题。 不过发现有的小伙伴提了各种各样的问题啊,不过我确实都没遇到过,我再Win10,Linux Ubuntu,Linux CentOS,Mac OS X都成功运行。不过确实有些奇怪的问题,跑着跑着崩了,一点就崩了我也就比较纳闷了。 如果大家有问题,可以看看作者项目里面有没有类似的issue,另外也推荐大家直接到作者的GitHub上发issue。 毕竟,这个框架不是我写的。 在此附上Issue地址: PySpider Issue