投稿    登录
  《Python3网络爬虫开发实战》赠书活动正在进行中!详情请戳赠书活动!欢迎参与!非常感谢!

Python爬虫进阶三之Scrapy框架安装配置

Python 崔庆才 420519浏览 4948评论

初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此整理如下。

Windows 平台:

我的系统是 Win7,首先,你要有Python,我用的是2.7.7版本,Python3相仿,只是一些源文件不同。

官网文档:http://doc.scrapy.org/en/latest/intro/install.html,最权威哒,下面是我的亲身体验过程。

1.安装Python

安装过程我就不多说啦,我的电脑中已经安装了 Python 2.7.7 版本啦,安装完之后记得配置环境变量,比如我的安装在D盘,D:\python2.7.7,就把以下两个路径添加到Path变量中

配置好了之后,在命令行中输入 python –version,如果没有提示错误,则安装成功

QQ截图20150211171953

2.安装pywin32

在windows下,必须安装pywin32,安装地址:http://sourceforge.net/projects/pywin32/

下载对应版本的pywin32,直接双击安装即可,安装完毕之后验证:

QQ截图20150211171713

在python命令行下输入

import win32com

如果没有提示错误,则证明安装成功

3.安装pip

pip是用来安装其他必要包的工具,首先下载 get-pip.py

下载好之后,选中该文件所在路径,执行下面的命令

执行命令后便会安装好pip,并且同时,它帮你安装了setuptools

安装完了之后在命令行中执行

如果提示如下,说明就安装成功了,如果提示不是内部或外部命令,那么就检查一下环境变量有没有配置好吧,有两个路径。

QQ截图20150211171001

4.安装pyOPENSSL

在Windows下,是没有预装pyOPENSSL的,而在Linux下是已经安装好的。

安装地址:https://launchpad.net/pyopenssl

5.安装 lxml

lxml的详细介绍 点我 ,是一种使用 Python 编写的库,可以迅速、灵活地处理 XML

直接执行如下命令

就可完成安装,如果提示 Microsoft Visual C++库没安装,则 点我 下载支持的库。

6.安装Scrapy

最后就是激动人心的时刻啦,上面的铺垫做好了,我们终于可以享受到胜利的果实啦!

执行如下命令

QQ截图20150211172637

pip 会另外下载其他依赖的包,这些就不要我们手动安装啦,等待一会,大功告成!

7.验证安装

输入 Scrapy

如果提示如下命令,就证明安装成功啦,如果失败了,请检查上述步骤有何疏漏。

QQ截图20150211172456

Linux Ubuntu 平台:

Linux 下安装非常简单,只需要执行几条命令几个

1.安装Python

2.安装 pip

首先下载 get-pip.py

下载好之后,选中该文件所在路径,执行下面的命令

3.直接安装 Scrapy

由于 Linux下已经预装了 lxml 和 OPENSSL

如果想验证 lxml ,可以分别输入

出现下面的提示这证明已经安装成功

如果想验证 openssl,则直接输入openssl 即可,如果跳转到 OPENSSL 命令行,则安装成功。

接下来直接安装 Scrapy 即可

安装完毕之后,输入 scrapy

注意,这里linux下不要输入Scrapy,linux依然严格区分大小写的,感谢kamen童鞋提醒。

如果出现如下提示,这证明安装成功

截图如下

2015-02-12 01:00:22 的屏幕截图

如有问题,欢迎留言!祝各位小伙伴顺利安装!

转载请注明:静觅 » Python爬虫进阶三之Scrapy框架安装配置

喜欢 (161)or分享 (0)

想学更多爬虫知识?《Python3网络爬虫开发实战》这本书也许更适合你~

了解详情or立即购买

我的个人微信公众号

扫码或搜索:进击的Coder

进击的Coder

微信公众号 扫一扫关注

想结交更多的朋友吗?

来进击的Coder瞧瞧吧

进击的Coder

QQ群号 99350970 立即加入

进击的Coder灌水太多?

这里是纯粹的技术领地

激进的Coder

QQ群号 627725766 立即加入

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请狠狠点击下面的

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(4948)个小伙伴在吐槽
  1. prodotto 76 buy viagra online
    weehymn2018-10-18 15:31 (1分钟前)回复
  2. pet doxycyline where to buy cheap viagra
    shiepay2018-10-18 13:36 (2小时前)回复
  3. best price on brand viagra buy generic viagra online
    shiepay2018-10-18 12:58 (3小时前)回复
  4. sildenafil prezzo buy generic viagra online
    TopeDown2018-10-18 10:13 (5小时前)回复
  5. I needed to draft you one very small observation to say thanks once again about the superb views you have provided at this time. This is really extremely open-handed of people like you to allow openly what many people could possibly have sold for an e book to make some bucks for their own end, most notably considering that you could have done it in case you considered necessary. The tricks as well acted as the great way to comprehend other people have similar keenness just as my very own to see more with respect to this problem. I am certain there are a lot more enjoyable sessions ahead for people who scan your website.
    jordan shoes2018-10-12 23:49 (6天前)回复
1 327 328 329