做爬虫的同学肯定或多或少会为验证码苦恼过，在最初的时候，大部分验证码都是图形验证码。但是前几年「极验」验证码横空出世，行为验证码变得越来越流行，其中之一的形式便是滑块验证码。
滑块验证码是怎样的呢？如图所示，验证码是一张矩形图，图片左侧会出现一个滑块，右侧会出现一个缺口，下侧会出...
崔庆才
2019-11-08 18:38 1281浏览 4评论
9喜欢
人工智能技术（以下称 AI）是人类优秀的发现和创造之一，它代表着至少几十年的未来。在传统的编程中，工程师将自己的想法和业务变成代码，计算机会根据代码设定的逻辑运行。与之不同的是，AI 使计算机有了「属于自己的思想」，它就像生物一样，能够「看」、「听」、「说」、「动」、「理解」、「...
韦世东学算法和反爬虫
2019-11-05 19:56 1354浏览 2评论
7喜欢
前面讲解了代理池的维护和付费代理的相关使用方法，接下来我们进行一下实战演练，利用代理来爬取微信公众号的文章。
1. 本节目标
我们的主要目标是利用代理爬取微信公众号的文章，提取正文、发表日期、公众号等内容，爬取来源是搜狗微信，其链接为 http://weixin.sogou.co...
崔庆才
2019-10-20 14:15 7940浏览 8评论
42喜欢
我们尝试维护过一个代理池。代理池可以挑选出许多可用代理，但是常常其稳定性不高、响应速度慢，而且这些代理通常是公共代理，可能不止一人同时使用，其 IP 被封的概率很大。另外，这些代理可能有效时间比较短，虽然代理池一直在筛选，但如果没有及时更新状态，也有可能获取到不可用的代理。
如果...
崔庆才
2019-10-20 13:36 2202浏览 1评论
9喜欢
爬虫是大数据时代不可或缺的数据获取手段，它是综合技术的应用体现。
有取就有失，有攻就有防。开发者为了保护数据，不得已想出了很多办法来限制爬虫对数据的获取。WEB 网站的构成使得 JavaScript 成为了开发者阻挡爬虫的最佳选择。
作为一名爬虫工程师，解决目标...
韦世东学算法和反爬虫
2019-10-19 8:44 3140浏览 1评论
13喜欢
本文为转载文章，旨在记录一些有用的知识点。
作者: JSON-RPC 工作组< json-rpc@googlegroups.com >
原文链接: http://www.jsonrpc.org/specification
翻译: leozvc < xxfs91...
崔庆才
2019-10-17 10:54 1035浏览 0评论
9喜欢
在 Python 中，一般情况下我们可能直接用自带的 logging 模块来记录日志，包括我之前的时候也是一样。在使用时我们需要配置一些 Handler、Formatter 来进行一些处理，比如把日志输出到不同的位置，或者设置一个不同的输出格式，或者设置日志分块和备份。但其实个人...
崔庆才
2019-10-17 10:52 2563浏览 5评论
8喜欢
在夜幕读者群和算法反爬虫群的朋友都知道，我的新书《Python3 反爬虫原理与绕过实战》很快就要印刷出版了。
出版社的小姐姐们为本书设计了很多款封面
但目前暂未选定封面
之前我也有放出大章目录和配套代码，但详细目录和最新进展一直没机会公开。配套代码放在 GitHub 仓库，大章...
韦世东学算法和反爬虫
2019-10-10 17:57 6373浏览 4评论
40喜欢
大家有没有一种感觉，很多网站其实做得非常优秀，但是它们就是没有开发 PC （电脑）版的客户端，比如知乎、GitHub、微信公众号。
如果我们大多数时间都是使用 PC 开发或者办公的，每次开始时我们都需要打开浏览器输入它们的网址，进入对应的页面。另外一个浏览器中我们可能会开各种各样...
崔庆才
2019-10-10 10:02 2131浏览 0评论
9喜欢
趁着周末，搭建了一下 NightTeam 的官方博客和官方主页，耗时数个小时，两个站点终于完工了。
由于 NightTeam 的域名是 nightteam.cn，所以这里官方博客使用了二级域名 blog.nightteam.cn，官方主页使用了根域名 nightteam.cn，现...
崔庆才
2019-09-30 10:41 4977浏览 7评论
18喜欢
![[Python3网络爬虫开发实战] 9.5-使用代理爬取微信公众号文章](https://cuiqingcai.com/wp-content/themes/Yusi/timthumb.php?src=https://qiniu.cuiqingcai.com/wp-content/uploads/2019/01/ti333mg.jpeg&h=123&w=200&q=90&zc=1&ct=1)
![[Python3网络爬虫开发实战] 9.4-ADSL 拨号代理](https://cuiqingcai.com/wp-content/themes/Yusi/timthumb.php?src=https://qiniu.cuiqingcai.com/wp-content/uploads/2015/08/wallpaper_5269088.jpg&h=123&w=200&q=90&zc=1&ct=1)
