投稿    登录
  博主录制的Python3爬虫视频教程已发布!详情请戳Python3爬虫视频教程!希望大家支持!非常感谢!

哎哟卧槽的文章

Python

小白进阶之Scrapy第二篇(登录篇)

小白进阶之Scrapy第二篇(登录篇)
  其实拿这个网站当教程刚开始我是拒绝、换其他网站吧,又没什么动力···· 然后就··········· 上一篇Scrapy带大家玩了 Spider 今天带带大家玩的东西有两点、第一CrawlSpider、第二Scrapy登录。 目标站点:www.haoduofuli...

9个月前 (01-22) 21696浏览 22评论 33喜欢

Python

小白进阶之Scrapy第一篇

小白进阶之Scrapy第一篇
这博文写得我懒癌犯了,最后的那个章节内容排序,我没有实验是否是正确的,不过这只是个教大家用Scrapy的教程,正确与否并不重要···  如果不正确,记得留言;等我懒癌过了,我再改改······ 还有其它的问题也是一样··· ,把问题留言下; 等我懒癌过了·· 我改回来!嗯!是等我...

11个月前 (12-07) 94506浏览 115评论 122喜欢

Python

小白爬虫第四弹之爬虫快跑(多进程+多线程)

小白爬虫第四弹之爬虫快跑(多进程+多线程)
PS:使用多线程时好像在目录切换的问题上存在问题,可以给线程加个锁试试 Hello 大家好!我又来了。 你是不是发现下载图片速度特别慢、难以忍受啊!对于这种问题 一般解决办法就是多进程了!一个进程速度慢!我就用十个进程,相当于十个人一起干。速度就会快很多啦!(为什么不说多线程?...

11个月前 (11-20) 20358浏览 39评论 110喜欢

Python

小白爬虫第三弹之去重去重

小白爬虫第三弹之去重去重
好了!开头要说点啥,我想你们已经知道了! 没错!我又来装逼了·· 前面两篇博文,不知道大家消化得怎么了。不知道各位有没注意到,前面两篇博文完成的工作,只能保证下载;你电脑不能关机,不能断网,总之不能出意外!否则啊!!! !!!!你就得重头开始啊!!!! 今天,我们来想想办法...

12个月前 (11-05) 18594浏览 42评论 78喜欢

Python

小白爬虫第二弹之健壮的小爬虫

小白爬虫第二弹之健壮的小爬虫
我又来装逼了!上次教大家写了一个下载www.mzitu.com全站图片的小爬虫练手、不知道大家消化得怎么样? 大家在使用的时候会发现,跑着跑着 就断掉了!报错了啊!丢失连接之类的。幸幸苦苦的抓了半天又得从头来,心累啊! 这就是网站的反爬虫在起作用了,一个IP访问次数过于频繁就先...

12个月前 (10-30) 28224浏览 59评论 216喜欢

Python

小白爬虫第一弹之抓取妹子图

小白爬虫第一弹之抓取妹子图
2017年8月30日:mzitu.com 更新了防盗链导致下载图片全部失效,已更新处理办法: scrapy 版本也已更新   2017年4月24日:用scrapy重写了一个mzitu的全站爬虫: 小白进阶之Scrapy第四篇(图片下载管道篇)   2017年...

12个月前 (10-28) 117628浏览 149评论 1285喜欢