投稿    登录
  您好,欢迎光临崔庆才的博客,祝大家新年快乐,鸡年大吉!

Python爬虫进阶二之PySpider框架安装配置

Python 崔庆才 34737浏览 40评论

关于

首先,在此附上项目的地址,以及官方文档

PySpider 官方文档

安装

1. pip

首先确保你已经安装了pip,若没有安装,请参照

pip安装

2. phantomjs

PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速、原生支持各种Web标准:DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。

安装

以上附有官方安装方式,如果你是 Ubuntu 或 Mac OS X用户,可以直接用命令来安装

Ubuntu:

Mac OS X:

3. pyspider

直接利用 pip 安装即可

如果你是 Ubuntu 用户,请提前安装好以下支持类库

测试

如果安装过程没有提示任何错误,那就证明一些OK。

命令行输入

然后浏览器访问 http://localhost:5000

观察一下效果,如果可以正常出现 PySpider 的页面,那证明一切OK

在此附图一张,这是我写了几个爬虫之后的界面。

2016-02-11 20.55.36

好,接下来我会进一步介绍这个框架的使用。

常见错误

我曾遇到过的一个错误:

PySpider HTTP 599: SSL certificate problem错误的解决方法 ,后来在作者那发了issue得到了答案,其他的暂时没什么问题。

不过发现有的小伙伴提了各种各样的问题啊,不过我确实都没遇到过,我再Win10,Linux Ubuntu,Linux CentOS,Mac OS X都成功运行。不过确实有些奇怪的问题,跑着跑着崩了,一点就崩了我也就比较纳闷了。

如果大家有问题,可以看看作者项目里面有没有类似的issue,另外也推荐大家直接到作者的GitHub上发issue。

毕竟,这个框架不是我写的。

在此附上Issue地址:

PySpider Issue

转载请注明:静觅 » Python爬虫进阶二之PySpider框架安装配置

喜欢 (64)or分享 (0)

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请狠狠点击下面的

  1. 我用的win10 64位系统,pyspider 和 phantomjs都安装好了,但pyspider all后出现 Web server running on port 25555,之后就一直没反应,这是为什么啊

  2. 我曾遇到过的一个错误:PySpider HTTP 599: SSL certificate problem错误的解决方法 ,后来在作者那发了issue得到了答案,其他的暂时没什么问题。不过发现有的小伙伴提了各种各样的问题啊,不过我确实都没遇到过,我再Win10,Linux Ubuntu,Linux CentOS,Mac OS X都成功运行。不过确实有些奇怪的问题,跑着跑着崩了,一点就崩了我也就比较纳闷了。如果大家有问题,可以看看作者项目里面有没有类似的issue,另外也推荐大家直接到作者的GitHub上发issue。毕竟,这个框架不是我写的。在此附上Issue地址:

  3. 请问楼主,pyspider的运行是不是暂时不支持centos 64位系统的安装?运行pip install pyspider –allow-external pyspider –allow-unverified pyspider的时候总会出错,并提示“Storing debug log for failure in /root/.pip/pip.log”

  4. lz救命~~Ubuntu 下基于python3安装,过程还顺利,我把pip和p有的 python 换成了3,安装后提示这样Successfully installed Flask-0.11.1 Flask-Login-0.3.2 Jinja2-2.8 MarkupSafe-0.23 Werkzeug-0.11.11 chardet-2.3.0 click-6.6 cssselect-0.9.2 itsdangerous-0.24 lxml-3.6.4 pycurl-7.43.0 pyquery-1.2.17 pyspider-0.3.8 requests-2.11.1 six-1.10.0 tornado-4.4.2 u-msgpack-python-2.3.0看出其中是有pyspider-0.3.8的,但完成后输入pyspider或者pyspider all没有反映,提示 pyspider:未找到命令我试着在python3中输入命令from pyspider.libs.base_handler import * 没有异常反应这是怎么回事啊?

    • sudo pyspider all 用这个命令试试,因为如果当初安装的路径在某些系统目录下的话,是需要管理员权限才能运行命令的。所以Localhost:5000打开不了,就是因为pyspider 没有运行。

  5. D:python2.7.9Scripts>pyspider all
    Traceback (most recent call last):
    File "D:python2.7.9Scriptspyspider-script.py", line 5, in <module>
    from pkg_resources import load_entry_point
    File "D:python2.7.9libsite-packagespkg_resources.py", line 2880, in <modul
    e>
    working_set = WorkingSet._build_master()
    File "D:python2.7.9libsite-packagespkg_resources.py", line 432, in _build_
    master
    ws.require(__requires__)
    File "D:python2.7.9libsite-packagespkg_resources.py", line 741, in require

    needed = self.resolve(parse_requirements(requirements))
    File "D:python2.7.9libsite-packagespkg_resources.py", line 626, in resolve

    raise DistributionNotFound(req)
    pkg_resources.DistributionNotFound: MarkupSafe

    请问这怎么解决?http://localhost:5000访问不了

  6. pip 安装的好像不完整… 去github下载源文件用 python setup.py install 安装就可以用了