投稿    登录
  您好,欢迎光临崔庆才的博客,祝大家新年快乐,鸡年大吉!

 分类:Python

Python

小白进阶之Scrapy第二篇(登录篇)

小白进阶之Scrapy第二篇(登录篇)
  其实拿这个网站当教程刚开始我是拒绝、换其他网站吧,又没什么动力···· 然后就··········· 上一篇Scrapy带大家玩了 Spider 今天带带大家玩的东西有两点、第一CrawlSpider、第二Scrapy登录。 目标站点:www.haoduofuli...

哎哟卧槽 4周前 (01-22) 2876浏览 6评论 13喜欢

Python

小白进阶之Scrapy第一篇

小白进阶之Scrapy第一篇
这博文写得我懒癌犯了,最后的那个章节内容排序,我没有实验是否是正确的,不过这只是个教大家用Scrapy的教程,正确与否并不重要···  如果不正确,记得留言;等我懒癌过了,我再改改······ 还有其它的问题也是一样··· ,把问题留言下; 等我懒癌过了·· 我改回来!嗯!是等我...

哎哟卧槽 2个月前 (12-07) 15727浏览 29评论 45喜欢

Python

Python爬虫进阶七之设置ADSL拨号服务器代理

Python爬虫进阶七之设置ADSL拨号服务器代理
那夜 那是一个寂静的深夜,科比还没起床练球,虽然他真的可能不练了。 我废了好大劲,爬虫终于写好了!BUG也全部调通了!心想,终于可以坐享其成了! 泡杯茶,安静地坐在椅子上看着屏幕上一行行文字在控制台跳出,一条条数据嗖嗖进入我的数据库,一张张图片悄悄存入我的硬盘。人生没有几个比这更...

崔庆才 3个月前 (11-21) 4265浏览 17评论 23喜欢

Python

小白爬虫第四弹之爬虫快跑(多进程+多线程)

小白爬虫第四弹之爬虫快跑(多进程+多线程)
PS:使用多线程时好像在目录切换的问题上存在问题,可以给线程加个锁试试 Hello 大家好!我又来了。 你是不是发现下载图片速度特别慢、难以忍受啊!对于这种问题 一般解决办法就是多进程了!一个进程速度慢!我就用十个进程,相当于十个人一起干。速度就会快很多啦!(为什么不说多线程?...

哎哟卧槽 3个月前 (11-20) 6096浏览 19评论 52喜欢

Python

Python爬虫进阶六之多进程的用法

Python爬虫进阶六之多进程的用法
前言 在上一节中介绍了thread多线程库。python中的多线程其实并不是真正的多线程,并不能做到充分利用多核CPU资源。 如果想要充分利用,在python中大部分情况需要使用多进程,那么这个包就叫做 multiprocessing。 借助它,可以轻松完成从单进程到并发执行的转...

崔庆才 3个月前 (11-13) 4845浏览 6评论 16喜欢

Python

小白爬虫第三弹之去重去重

小白爬虫第三弹之去重去重
好了!开头要说点啥,我想你们已经知道了! 没错!我又来装逼了·· 前面两篇博文,不知道大家消化得怎么了。不知道各位有没注意到,前面两篇博文完成的工作,只能保证下载;你电脑不能关机,不能断网,总之不能出意外!否则啊!!! !!!!你就得重头开始啊!!!! 今天,我们来想想办法...

哎哟卧槽 4个月前 (11-05) 5750浏览 31评论 34喜欢

Python

Python爬虫进阶五之多线程的用法

Python爬虫进阶五之多线程的用法
前言 我们之前写的爬虫都是单个线程的?这怎么够?一旦一个地方卡到不动了,那不就永远等待下去了?为此我们可以使用多线程或者多进程来处理。 首先声明一点! 多线程和多进程是不一样的!一个是 thread 库,一个是 multiprocessing 库。而多线程 thread 在 Py...

崔庆才 4个月前 (11-03) 4992浏览 5评论 9喜欢

Python

小白爬虫第二弹之健壮的小爬虫

小白爬虫第二弹之健壮的小爬虫
我又来装逼了!上次教大家写了一个下载www.mzitu.com全站图片的小爬虫练手、不知道大家消化得怎么样? 大家在使用的时候会发现,跑着跑着 就断掉了!报错了啊!丢失连接之类的。幸幸苦苦的抓了半天又得从头来,心累啊! 这就是网站的反爬虫在起作用了,一个IP访问次数过于频繁就先...

哎哟卧槽 4个月前 (10-30) 8889浏览 30评论 96喜欢