投稿    登录
  《Python3网络爬虫开发实战》赠书活动正在进行中!详情请戳赠书活动!欢迎参与!非常感谢!

[Python3网络爬虫开发实战] 1.8.1-pyspider的安装

Python 崔庆才 7514浏览 157评论

pyspider是国人binux编写的强大的网络爬虫框架,它带有强大的WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器,同时支持多种数据库后端、多种消息队列,另外还支持JavaScript渲染页面的爬取,使用起来非常方便,本节介绍一下它的安装过程。

1. 相关链接

2. 准备工作

pyspider是支持JavaScript渲染的,而这个过程是依赖于PhantomJS的,所以还需要安装PhantomJS(具体的安装过程详见1.2.5节)。

3. pip安装

这里推荐使用pip安装,命令如下:

命令执行完毕即可完成安装。

4. 常见错误

Windows下可能会出现这样的错误提示:

这是PyCurl安装错误,此时需要安装PyCurl库。从http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到对应的Python版本,然后下载相应的wheel文件即可。比如Windows 64位、Python 3.6,则需要下载pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl,随后用pip安装即可,命令如下:

如果在Linux下遇到PyCurl的错误,可以参考本文:https://imlonghao.com/19.html

5. 验证安装

安装完成之后,可以直接在命令行下启动pyspider:

此时控制台会有类似如图1-74所示的输出。

图1-74 控制台

这时pyspider的Web服务就会在本地5000端口运行。直接在浏览器中打开http://localhost:5000/,即可进入pyspider的WebUI管理页面,如图1-75所示,这证明pyspider已经安装成功了。

图1-75 管理页面

后面,我们会详细介绍pyspider的用法。

转载请注明:静觅 » [Python3网络爬虫开发实战] 1.8.1-pyspider的安装

喜欢 (7)or分享 (0)

我的个人微信公众号,联系我请直接在公众号留言即可~

扫码或搜索:进击的Coder

进击的Coder

微信公众号 扫一扫关注

想结交更多的朋友吗?

来进击的Coder瞧瞧吧

进击的Coder

QQ群号 99350970 立即加入

进击的Coder灌水太多?

这里是纯粹的技术领地

激进的Coder

QQ群号 627725766 立即加入

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请狠狠点击下面的

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(157)个小伙伴在吐槽
  1. The information mentioned in the post are some of the most beneficial accessible
    Tory Burch2019-01-16 07:54 (1分钟前)回复
  2. Every as soon as in a though we opt for blogs that we read. Listed below would be the most up-to-date web pages that we select
    Tory Burch2019-01-16 07:51 (3分钟前)回复
  3. please go to the web pages we adhere to, including this one, because it represents our picks through the web
    gucci bags2019-01-16 05:54 (2小时前)回复
  4. we came across a cool web site that you could possibly enjoy. Take a appear in case you want
    when was dubnium discovered2019-01-15 17:28 (14小时前)回复
  5. Wonderful story, reckoned we could combine some unrelated information, nonetheless truly worth taking a look, whoa did a single discover about Mid East has got a lot more problerms at the same time
    пассаж в литературе2019-01-15 11:11 (21小时前)回复
  6. please stop by the web pages we stick to, like this one, as it represents our picks in the web
  7. Thank you ever so for you blog.Much thanks again. Great.
    g spot sex toy2019-01-15 08:34 (23小时前)回复
1 9 10 11