投稿    登录
  您好,欢迎光临崔庆才的博客,最近博主在忙复习考试,可能评论和友链不能及时回应,请谅解,至17.1.12解除!

 分类:Python

Python

小白进阶之Scrapy第一篇

小白进阶之Scrapy第一篇
这博文写得我懒癌犯了,最后的那个章节内容排序,我没有实验是否是正确的,不过这只是个教大家用Scrapy的教程,正确与否并不重要···  如果不正确,记得留言;等我懒癌过了,我再改改······ 还有其它的问题也是一样··· ,把问题留言下; 等我懒癌过了·· 我改回来!嗯!是等我...

哎哟卧槽 1个月前 (12-07) 8586浏览 19评论 28喜欢

Python

Python爬虫进阶七之设置ADSL拨号服务器代理

Python爬虫进阶七之设置ADSL拨号服务器代理
那夜 那是一个寂静的深夜,科比还没起床练球,虽然他真的可能不练了。 我废了好大劲,爬虫终于写好了!BUG也全部调通了!心想,终于可以坐享其成了! 泡杯茶,安静地坐在椅子上看着屏幕上一行行文字在控制台跳出,一条条数据嗖嗖进入我的数据库,一张张图片悄悄存入我的硬盘。人生没有几个比这更...

崔庆才 2个月前 (11-21) 2900浏览 9评论 18喜欢

Python

小白爬虫第四弹之爬虫快跑(多进程+多线程)

小白爬虫第四弹之爬虫快跑(多进程+多线程)
PS:使用多线程时好像在目录切换的问题上存在问题,可以给线程加个锁试试 Hello 大家好!我又来了。 你是不是发现下载图片速度特别慢、难以忍受啊!对于这种问题 一般解决办法就是多进程了!一个进程速度慢!我就用十个进程,相当于十个人一起干。速度就会快很多啦!(为什么不说多线程?...

哎哟卧槽 2个月前 (11-20) 4150浏览 18评论 37喜欢

Python

Python爬虫进阶六之多进程的用法

Python爬虫进阶六之多进程的用法
前言 在上一节中介绍了thread多线程库。python中的多线程其实并不是真正的多线程,并不能做到充分利用多核CPU资源。 如果想要充分利用,在python中大部分情况需要使用多进程,那么这个包就叫做 multiprocessing。 借助它,可以轻松完成从单进程到并发执行的转...

崔庆才 2个月前 (11-13) 3405浏览 4评论 13喜欢

Python

小白爬虫第三弹之去重去重

小白爬虫第三弹之去重去重
好了!开头要说点啥,我想你们已经知道了! 没错!我又来装逼了·· 前面两篇博文,不知道大家消化得怎么了。不知道各位有没注意到,前面两篇博文完成的工作,只能保证下载;你电脑不能关机,不能断网,总之不能出意外!否则啊!!! !!!!你就得重头开始啊!!!! 今天,我们来想想办法...

哎哟卧槽 2个月前 (11-05) 4084浏览 18评论 28喜欢

Python

Python爬虫进阶五之多线程的用法

Python爬虫进阶五之多线程的用法
前言 我们之前写的爬虫都是单个线程的?这怎么够?一旦一个地方卡到不动了,那不就永远等待下去了?为此我们可以使用多线程或者多进程来处理。 首先声明一点! 多线程和多进程是不一样的!一个是 thread 库,一个是 multiprocessing 库。而多线程 thread 在 Py...

崔庆才 2个月前 (11-03) 3680浏览 5评论 7喜欢

Python

小白爬虫第二弹之健壮的小爬虫

小白爬虫第二弹之健壮的小爬虫
我又来装逼了!上次教大家写了一个下载www.mzitu.com全站图片的小爬虫练手、不知道大家消化得怎么样? 大家在使用的时候会发现,跑着跑着 就断掉了!报错了啊!丢失连接之类的。幸幸苦苦的抓了半天又得从头来,心累啊! 这就是网站的反爬虫在起作用了,一个IP访问次数过于频繁就先...

哎哟卧槽 3个月前 (10-30) 6360浏览 25评论 79喜欢

Python

小白爬虫第一弹之抓取妹子图

小白爬虫第一弹之抓取妹子图
PS:各位小伙伴儿、请把脚本放在D盘!如需要放在其他盘、请更改 mkdir函数里面的文件路径  和 os.chdir() 的参数!   这是一篇完全给新手写的爬虫教程、也是我第一次写博文···也不知道怎么写(我也是个菜鸟啊!各路大神拍砖轻点儿啊!)由于经常在群里装逼加上...

哎哟卧槽 3个月前 (10-28) 23034浏览 67评论 1030喜欢