投稿    登录
欢迎来访~

崔庆才的文章

http://cv.cuiqingcai.com
技术杂谈

利用深度学习识别验证码缺口

利用深度学习识别验证码缺口
做爬虫的同学肯定或多或少会为验证码苦恼过,在最初的时候,大部分验证码都是图形验证码。但是前几年「极验」验证码横空出世,行为验证码变得越来越流行,其中之一的形式便是滑块验证码。 滑块验证码是怎样的呢?如图所示,验证码是一张矩形图,图片左侧会出现一个滑块,右侧会出现一个缺口,下侧会出...

2019-11-08 18:38 1552浏览 4评论 12喜欢

Python

[Python3网络爬虫开发实战] 9.5-使用代理爬取微信公众号文章

[Python3网络爬虫开发实战] 9.5-使用代理爬取微信公众号文章
前面讲解了代理池的维护和付费代理的相关使用方法,接下来我们进行一下实战演练,利用代理来爬取微信公众号的文章。 1. 本节目标 我们的主要目标是利用代理爬取微信公众号的文章,提取正文、发表日期、公众号等内容,爬取来源是搜狗微信,其链接为 http://weixin.sogou.co...

2019-10-20 14:15 8268浏览 8评论 42喜欢

技术杂谈

[Python3网络爬虫开发实战] 9.4-ADSL 拨号代理

[Python3网络爬虫开发实战] 9.4-ADSL 拨号代理
我们尝试维护过一个代理池。代理池可以挑选出许多可用代理,但是常常其稳定性不高、响应速度慢,而且这些代理通常是公共代理,可能不止一人同时使用,其 IP 被封的概率很大。另外,这些代理可能有效时间比较短,虽然代理池一直在筛选,但如果没有及时更新状态,也有可能获取到不可用的代理。 如果...

2019-10-20 13:36 2257浏览 1评论 9喜欢

技术杂谈

JSON-RPC 2.0 的一些规范

JSON-RPC 2.0 的一些规范
本文为转载文章,旨在记录一些有用的知识点。 作者: JSON-RPC 工作组< json-rpc@googlegroups.com > 原文链接: http://www.jsonrpc.org/specification 翻译: leozvc < xxfs91...

2019-10-17 10:54 1072浏览 0评论 9喜欢

技术杂谈

Python 中更优雅的日志记录方案 loguru

Python 中更优雅的日志记录方案 loguru
在 Python 中,一般情况下我们可能直接用自带的 logging 模块来记录日志,包括我之前的时候也是一样。在使用时我们需要配置一些 Handler、Formatter 来进行一些处理,比如把日志输出到不同的位置,或者设置一个不同的输出格式,或者设置日志分块和备份。但其实个人...

2019-10-17 10:52 2673浏览 5评论 8喜欢

技术杂谈

如何用 nativefier 将网页打包成客户端 App

如何用 nativefier 将网页打包成客户端 App
大家有没有一种感觉,很多网站其实做得非常优秀,但是它们就是没有开发 PC (电脑)版的客户端,比如知乎、GitHub、微信公众号。 如果我们大多数时间都是使用 PC 开发或者办公的,每次开始时我们都需要打开浏览器输入它们的网址,进入对应的页面。另外一个浏览器中我们可能会开各种各样...

2019-10-10 10:02 2195浏览 0评论 9喜欢

技术杂谈

利用 GitHub + Hexo + Next 从零搭建一个博客

利用 GitHub + Hexo + Next 从零搭建一个博客
趁着周末,搭建了一下 NightTeam 的官方博客和官方主页,耗时数个小时,两个站点终于完工了。 由于 NightTeam 的域名是 nightteam.cn,所以这里官方博客使用了二级域名 blog.nightteam.cn,官方主页使用了根域名 nightteam.cn,现...

2019-09-30 10:41 5086浏览 7评论 18喜欢

技术杂谈

谈一谈博客的关注解锁文章功能

谈一谈博客的关注解锁文章功能
在这个互联网时代,拥有流量就仿佛于拥有了一切。 我大约在 2014 年底开了自己的个人博客,当时就是想自己记录点学习总结,一个是方便查阅,二是锻炼一下自己写总结或者文章的能力,最初就是记录一些日常生活、编程学习的小知识点什么的。 一次偶然的机会我接触了爬虫,当时用 Python ...

2019-09-15 0:00 5780浏览 17评论 31喜欢

技术杂谈

今天,大佬云集的夜幕团队正式成立了!

今天,大佬云集的夜幕团队正式成立了!
今天这篇文章是要告诉你,业内多名实力强劲的开发者组建了一个服务于广大开发者的团队。现在,你可能会有下面这些疑问: 为什么要组成团队呢? 这个团队将会给广大开发者带来什么? 团队成员有哪些? 好了,接下来用 3 分钟时间去了解这个团队吧! 夜幕团队简介 夜幕团队 Night...

2019-09-12 12:25 3846浏览 3评论 22喜欢

技术杂谈

爬虫智能解析库 Readability 和 Newspaper 的用法

爬虫智能解析库 Readability 和 Newspaper 的用法
舆情爬虫是网络爬虫一个比较重要的分支,舆情爬虫往往需要爬虫工程师爬取几百几千个新闻站点。比如一个新闻页面我们需要爬取其标题、正文、时间、作者等信息,如果用传统的方式来实现,每一个站点都要配置非常多的规则,如果要维护一个几百上千的站点,那人力成本简直太高了。 如果有一种方式可以在保...

2019-09-12 9:37 4004浏览 0评论 13喜欢