投稿    登录
  《Python3网络爬虫开发实战》赠书活动正在进行中!详情请戳赠书活动!欢迎参与!非常感谢!

Python爬虫进阶二之PySpider框架安装配置

Python 崔庆才 74220浏览 26评论

关于

首先,在此附上项目的地址,以及官方文档

PySpider 官方文档

安装

1. pip

首先确保你已经安装了pip,若没有安装,请参照

pip安装

2. phantomjs

PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速、原生支持各种Web标准:DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。

安装

以上附有官方安装方式,如果你是 Ubuntu 或 Mac OS X用户,可以直接用命令来安装

Ubuntu:

Mac OS X:

3. pyspider

直接利用 pip 安装即可

如果你是 Ubuntu 用户,请提前安装好以下支持类库

测试

如果安装过程没有提示任何错误,那就证明一些OK。

命令行输入

然后浏览器访问 http://localhost:5000

观察一下效果,如果可以正常出现 PySpider 的页面,那证明一切OK

在此附图一张,这是我写了几个爬虫之后的界面。

2016-02-11 20.55.36

好,接下来我会进一步介绍这个框架的使用。

常见错误

我曾遇到过的一个错误:

PySpider HTTP 599: SSL certificate problem错误的解决方法 ,后来在作者那发了issue得到了答案,其他的暂时没什么问题。

不过发现有的小伙伴提了各种各样的问题啊,不过我确实都没遇到过,我再Win10,Linux Ubuntu,Linux CentOS,Mac OS X都成功运行。不过确实有些奇怪的问题,跑着跑着崩了,一点就崩了我也就比较纳闷了。

如果大家有问题,可以看看作者项目里面有没有类似的issue,另外也推荐大家直接到作者的GitHub上发issue。

毕竟,这个框架不是我写的。

在此附上Issue地址:

PySpider Issue

转载请注明:静觅 » Python爬虫进阶二之PySpider框架安装配置

喜欢 (112)or分享 (0)

我的个人微信公众号,联系我请直接在公众号留言即可~

扫码或搜索:进击的Coder

进击的Coder

微信公众号 扫一扫关注

想结交更多的朋友吗?

来进击的Coder瞧瞧吧

进击的Coder

QQ群号 99350970 立即加入

进击的Coder灌水太多?

这里是纯粹的技术领地

激进的Coder

QQ群号 627725766 立即加入

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请狠狠点击下面的

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(26)个小伙伴在吐槽
  1. mac os 的需要取消SIP机制 sudo的权限都不够[/流汗]
    _2017-08-11 15:10 回复
  2. 我这mac安装pyspider没报啥错,启动的时候报了错误! Exception in thread Thread-2: Traceback (most recent call last): File /System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py, line 810, in __bootstrap_inner self.run() File /System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py, line 763, in run self.__target(*self.__args, **self.__kwargs) File /Library/Python/2.7/site-packages/pyspider-0.3.10_dev-py2.7.egg/pyspider/scheduler/scheduler.py, line 679, in xmlrpc_run from pyspider.libs.wsgi_xmlrpc import WSGIXMLRPCApplication File /Library/Python/2.7/site-packages/pyspider-0.3.10_dev-py2.7.egg/pyspider/libs/wsgi_xmlrpc.py, line 18, in <module> from six.moves.xmlrpc_server import SimpleXMLRPCDispatcher ImportError: No module named xmlrpc_server 我尝试了pip install pyspider也尝试了sudo python setup.py install,启动pyspider都会出现上述的错误,百度也没有找到答案,有没有人知道怎么解决
    Sam2017-07-04 22:47 回复
  3. 研究了一会终于是可以了,分享一下,省得掉坑1.pip安装:http://zhidao.baidu.com/link?url=H-iPLUQKS_u_Udf82TW4jK0vTSk9Mz1UvJ3OfIOvpirCsQOBdvj0nRVushLAa9g7ozKiKjbt5ZruzdNpe9d6Xa2.phantomjs安装:如楼下所说,解压后放到python安装目录3. pyspider安装:我这直接安装 会报错 报的是没有 lxml (pip install lxml==3.4.2)      然后安装 就 OK       
    123.2016-09-14 14:09 回复
  4. 不是很懂的 支持一下
    金融法哥2016-08-31 20:50 回复
  5. http://www.tuicool.com/articles/eiM3Er3 windows下面安装Python和pip终极教程
    别问为什么2016-08-08 09:16 回复
  6. 遇到跟跟你相似的问题,你解决了吗? http://localhost:5000这个也打不开,搞了一天,没头绪。求大神指点
    默染灰首2016-08-03 15:42 回复
  7. 遇到跟跟你相似的问题,你解决了吗?<a href="http://localhost:5000这个也打不开,搞了一天,没头绪。求大神指点 " target="_blank" rel="nofollow">http://localhost:5000这个也打不开,搞了一天,没头绪。求大神指点
    默染灰首2016-08-03 15:41 回复
  8. D:python2.7.9Scripts>pyspider all Traceback (most recent call last): File "D:python2.7.9Scriptspyspider-script.py", line 5, in <module> from pkg_resources import load_entry_point File "D:python2.7.9libsite-packagespkg_resources.py", line 2880, in <modul e> working_set = WorkingSet._build_master() File "D:python2.7.9libsite-packagespkg_resources.py", line 432, in _build_ master ws.require(__requires__) File "D:python2.7.9libsite-packagespkg_resources.py", line 741, in require needed = self.resolve(parse_requirements(requirements)) File "D:python2.7.9libsite-packagespkg_resources.py", line 626, in resolve raise DistributionNotFound(req) pkg_resources.DistributionNotFound: MarkupSafe 请问这怎么解决?http://localhost:5000访问不了
    杨瑞2016-08-02 21:41 回复
  9. pip 安装的好像不完整... 去github下载源文件用 python setup.py install 安装就可以用了
    geek2016-08-01 15:50 回复
  10. 请问你解决这个问题了吗
    geek2016-08-01 11:25 回复
  11. pyspider all 提示failed to create process
    進擊de歪歪2016-07-16 20:07 回复
1 2