投稿    登录
  博主录制的Python3爬虫视频教程已发布!详情请戳Python3爬虫视频教程!希望大家支持!非常感谢!

 分类:技术杂谈

Python

小白爬虫第四弹之爬虫快跑(多进程+多线程)

小白爬虫第四弹之爬虫快跑(多进程+多线程)
PS:使用多线程时好像在目录切换的问题上存在问题,可以给线程加个锁试试 Hello 大家好!我又来了。 你是不是发现下载图片速度特别慢、难以忍受啊!对于这种问题 一般解决办法就是多进程了!一个进程速度慢!我就用十个进程,相当于十个人一起干。速度就会快很多啦!(为什么不说多线程?...

哎哟卧槽 9个月前 (11-20) 17359浏览 37评论 99喜欢

Python

Python爬虫进阶六之多进程的用法

Python爬虫进阶六之多进程的用法
前言 在上一节中介绍了thread多线程库。python中的多线程其实并不是真正的多线程,并不能做到充分利用多核CPU资源。 如果想要充分利用,在python中大部分情况需要使用多进程,那么这个包就叫做 multiprocessing。 借助它,可以轻松完成从单进程到并发执行的转...

崔庆才 9个月前 (11-13) 15667浏览 9评论 47喜欢

Python

小白爬虫第三弹之去重去重

小白爬虫第三弹之去重去重
好了!开头要说点啥,我想你们已经知道了! 没错!我又来装逼了·· 前面两篇博文,不知道大家消化得怎么了。不知道各位有没注意到,前面两篇博文完成的工作,只能保证下载;你电脑不能关机,不能断网,总之不能出意外!否则啊!!! !!!!你就得重头开始啊!!!! 今天,我们来想想办法...

哎哟卧槽 10个月前 (11-05) 16178浏览 42评论 73喜欢

Python

Python爬虫进阶五之多线程的用法

Python爬虫进阶五之多线程的用法
前言 我们之前写的爬虫都是单个线程的?这怎么够?一旦一个地方卡到不动了,那不就永远等待下去了?为此我们可以使用多线程或者多进程来处理。 首先声明一点! 多线程和多进程是不一样的!一个是 thread 库,一个是 multiprocessing 库。而多线程 thread 在 Py...

崔庆才 10个月前 (11-03) 14998浏览 7评论 23喜欢

Other

腾讯云ubuntu账号更改为root登录的方法

腾讯云ubuntu账号更改为root登录的方法
需求分析 有需求才有动力! 腾讯云有个比较坑的地方,Ubuntu的机子必须要用ubuntu账号来登录,给我的统一管理带来了很大的麻烦。 在这里我想把它的账号名称改成root来统一登录。 步骤 首先用ubuntu账号登录主机。 然后输入 ...

崔庆才 10个月前 (10-31) 2053浏览 4评论 4喜欢

Other

配置SSH免密码登录远程服务器

配置SSH免密码登录远程服务器
需求分析 有需求才有动力! 最近有不少服务器,但是管理起来还需要输入密码,而且有的还不一样,太麻烦了,所以就利用SSH配置免密码登录服务器。 流程 生成秘钥 首先在自己的电脑上生成SSH秘钥。 ssh-keygen –...

崔庆才 10个月前 (10-31) 2239浏览 2评论 5喜欢

Python

小白爬虫第二弹之健壮的小爬虫

小白爬虫第二弹之健壮的小爬虫
我又来装逼了!上次教大家写了一个下载www.mzitu.com全站图片的小爬虫练手、不知道大家消化得怎么样? 大家在使用的时候会发现,跑着跑着 就断掉了!报错了啊!丢失连接之类的。幸幸苦苦的抓了半天又得从头来,心累啊! 这就是网站的反爬虫在起作用了,一个IP访问次数过于频繁就先...

哎哟卧槽 10个月前 (10-30) 24606浏览 57评论 197喜欢

HTML

利用Sass自动生成padding和margin边距样式

利用Sass自动生成padding和margin边距样式
需求分析 有需求才有动力! 写CSS的时候,你经常会遇到要设置一个小边距,比如设置: 所有内边距10px,外左边距20px,内右边距0,上下内边距50px,外左右边距自动…. 而你是不是又不想自己单独为它们定义一个class,然后把padding, margin之类的...

崔庆才 10个月前 (10-29) 1039浏览 1评论 4喜欢

HTML

BootStrap4提取并编译Flexbox Grid系统

BootStrap4提取并编译Flexbox Grid系统
前言 首先Flexbox是什么?它是Bootstrap4新出的一个布局格式,对移动端开发非常方便。 说一下我为什么要提取Flexbox。有需求才有动力,首先是需求,最近在开发一个移动端适配的网站,使用了materi-ui框架,基于React。使用materi-ui时,已经内置了许...

崔庆才 10个月前 (10-29) 1163浏览 0评论 8喜欢

Python

小白爬虫第一弹之抓取妹子图

小白爬虫第一弹之抓取妹子图
2017年4月24日:用scrapy重写了一个mzitu的全站爬虫: 小白进阶之Scrapy第四篇(图片下载管道篇)   2017年3月31号 更新   http://www.mzitu.com/all 这个地址已经被站长屏蔽了。下面的代码没法使了哦!仅提供学习方法。 ...

哎哟卧槽 10个月前 (10-28) 101114浏览 144评论 1262喜欢