投稿    登录
  博主录制的Python3爬虫视频教程已发布!详情请戳Python3爬虫视频教程!希望大家支持!非常感谢!

PySpider HTTP 599: SSL certificate problem错误的解决方法

Python 崔庆才 13527浏览 35评论

前言

最近发现许多小伙伴在用 PySpider 爬取 https 开头的网站的时候遇到了 HTTP 599: SSL certificate problem: self signed certificate in certificate chain 的错误。

经过一番排查,解决方案总结如下

错误原因

这个错误会发生在请求 https 开头的网址,SSL 验证错误,证书有误。

报错如下

pGIhFsz_png

解决方案

最简单的解决方法是:

在 crawl 方法中加入忽略证书验证的参数,validate_cert=False,即

以上方法基本可以解决问题。

如果出现了

的错误,即无法匹配到 validate_cert 参数,那么则是 PySpider 本身的问题。

目前的最新发行版是 0.3.6(2016/3/29),不过 GitHub 最新版本目前是 0.4.0

可以更新到最新版本,即更新到 master 分支。

因为包还没有发行,所以我们就手动来更新。

PySpider

可以点击右侧下载 zip 包。

QQ20160329-0@2x

Mac OS X

以 Mac OS X为例,找到 pyspider 库所在的路径。我的是在

打开之后发现如下的结构。

QQ20160329-1@2x

把刚才的包下载下来之后,解压缩,打开文件夹,发现目录结构是这样的。

QQ20160329-2@2x

然后进入 pyspider 文件夹,观察一下,发现和我们之前安装的 pyspider 目录结构是一样的,没错,就是它了!

QQ20160329-3@2x

嗯,把所有的文件都更新到 site-packages/pyspider 目录中。

可以手动拖动替换,可以使用命令

更新之后,然后重新启动 pyspider 。

再加入 validate_cert=False 参数,发现就不会出现刚才的问题了。

Linux

方法同上,pyspider 路径应该在

替换一下下载下来的文件。

同样也可以使用命令

Windows

方法同上,pyspider 路径应该在

同样替换下载下来的文件即可。

命令同上

结语

通过以上配置,我们解决了 PySpider 的 599 错误以及 validate_cert 参数不匹配的问题。

希望对大家有帮助!

转载请注明:静觅 » PySpider HTTP 599: SSL certificate problem错误的解决方法

喜欢 (57)or分享 (0)

想结交更多的朋友吗?

来进击的Coder瞧瞧吧

进击的Coder

QQ群号 99350970 立即加入

进击的Coder灌水太多?

这里是纯粹的技术领地

激进的Coder

QQ群号 627725766 立即加入

想找人聊天解闷?想要学习干货?

微信公众号进击的Coder为你打造

进击的Coder

微信公众号 扫一扫关注

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请狠狠点击下面的

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(35)个小伙伴在吐槽
  1. good
    陶然村民2016-06-17 20:19 回复
    • blog.zfuyun.top
      陶然村民2016-06-17 20:20 回复
  2. frfr
    匿名2016-05-27 14:04 回复
  3. frfr
    啊呜说2016-05-27 14:04 回复
  4. 兄弟,交换链接吗?
    嘘嘘2016-05-13 07:40 回复
    • 可以,您链接是?
      静觅博客2016-05-20 22:28 回复
      • http://www.laodong.me 老董博客 已添加贵站链接。合作愉快。
        嘘嘘2016-05-25 08:28 回复
  5. 请问这是什么错误?加入忽略证书那个代码无效... ----- [E 160506 15:55:44 base_handler:195] HTTP 599: SSL certificate problem: unable to get local issuer certificate Traceback (most recent call last): File "d:\anaconda2\lib\site-packages\pyspider\libs\base_handler.py", line 188, in run_task result = self._run_task(task, response) File "d:\anaconda2\lib\site-packages\pyspider\libs\base_handler.py", line 167, in _run_task response.raise_for_status() File "d:\anaconda2\lib\site-packages\pyspider\libs\response.py", line 190, in raise_for_status raise http_error HTTPError: HTTP 599: SSL certificate problem: unable to get local issuer certificate
    许冠英2016-05-06 15:56 回复
  6. 不对,我发现加了这个validate_cert=False当场是没效的,但是重新打开这个页面就可以了,所以没事了
    血色玫瑰2016-04-27 10:14 回复
  7. 我有拉了最新的master分支的代码,但是加了validate_cert=False还是报HTTP 599: SSL certificate problem,代码在这http://117.28.237.21:29952/debug/taobaomm能帮个忙看下吗
    静觅网友2016-04-27 10:13 回复
  8. 我有拉了最新的master分支的代码,但是加了validate_cert=False还是报HTTP 599: SSL certificate problem,代码在这http://117.28.237.21:29952/debug/taobaomm能帮个忙看下吗
    血色玫瑰2016-04-27 10:13 回复
  9. 我也是这个问题,你解决了吗[/可怜]
    匿名2016-04-12 10:31 回复
  10. 棒!Windows平台已解决
    SilenceOBLoL2016-04-09 02:56 回复
  11. linux下git源码,手动安装就可以了解决
    广告太没节操了2016-04-02 17:01 回复
    • 1.git clone 2.cd /pyspider 3.sudo python setup.py install
      广告太没节操了2016-04-02 17:05 回复
  12. connect to scheduler rpc error: error(10061, '') 这个错误是什么... 点击run后控制台一直输出这个
    匿名2016-03-30 20:55 回复
  13. connect to scheduler rpc error: error(10061, '') 这个错误是什么... 点击run后控制台一直输出这个
    黄宏达v2016-03-30 20:55 回复
    • 我也是这个问题,你解决了吗[/可怜]
      ICAN2016-04-12 10:31 回复
  14. 十分感谢 问题得到解决了
    匿名2016-03-30 09:00 回复
  15. 十分感谢 问题得到解决了
    无耻混蛋zzz2016-03-30 09:00 回复
1 2