静觅 崔庆才的个人站点 - Python爬虫教程

Appium 是移动端的自动化测试工具，类似于前面所说的 Selenium，利用它我们可以驱动 Android、iOS 等设备完成自动化测试，比如模拟点击、滑动、输入等操作，其官方网站为：http://appium.io/，本节来了解一下 Appium 的安装方式。

相关链接

• GitHub：https://github.com/appium/appium
• 官方网站：http://appium.io
• 官方文档：http://appium.io/introduction.html
• 下载链接：https://github.com/appium/appium-desktop/releases
• Python Client：https://github.com/appium/python-client

安装 Appium

首先我们需要安装 Appium，Appium 负责驱动移动端来完成一系列操作，对 iOS 设备来说，它使用苹果的 UIAutomation 来实现驱动，对于 Android 来说，它使用 UiAutomator 和 Selendroid 来实现驱动。

同时 Appium 也相当于一个服务器，我们可以向 Appium 发送一些操作指令，Appium 就会根据不同的指令对移动设备进行驱动，完成不同的动作。

安装 Appium 有两种方式，一种是直接下载安装包 Appium Desktop 来安装，另外一种是通过 Node.js 来安装，下面我们各自介绍一下两种安装方式。

Appium Desktop

Appium Desktop 支持全平台的安装，我们直接从 GitHub 的 Releases 里面安装即可，链接为：https://github.com/appium/appium-desktop/releases，目前的最新版本是 1.22，最新版本以网站为准，下载页面如图所示：

Windows 平台可以下载 exe 安装包如 Appium-Server-GUI-windows-1.22.0.exe，Mac 平台可以下载 dmg 安装包如 Appium-Server-GUI-mac-1.22.0.dmg，Linux 平台可以选择下载源码，但是更推荐用下文的 Node.js 安装方式。

安装完成之后运行之后页面如图所示：

如果出现此页面则证明安装成功。

Node.js

首先需要安装 Node.js，具体的安装方式可以参见：http://www.runoob.com/nodejs/nodejs-install-setup.html，安装完成之后就可以使用 npm 命令了。

接下来使用 npm 命令全局安装 Appium 即可，命令如下：

1

npm install -g appium

等待命令执行执行完成即可，这样就成功安装了 Appium。

Android 开发环境配置

如果我们要使用 Android 设备做 App 抓取的话，还需要下载和配置 Android SDK，在这里推荐直接安装 Android Studio，其下载地址为：https://developer.android.com/studio/index.html?hl=zh-cn，下载之后直接安装即可。

完成之后我们还需要下载 Android SDK，直接打开首选项里面的 Android SDK 设置页面，勾选要安装的 SDK 版本，点击确定即可开始下载和安装勾选的 SDK 版本，如图所示：

另外还需要配置一下环境变量，添加 ANDROID_HOME 为 Android SDK 所在路径，然后再添加 SDK 文件夹下的 tools 和 platform-tools 文件夹到 PATH 中。

更详细的配置可以参考 Android Studio 的官方文档：https://developer.android.com/studio/intro/index.html。

iOS 开发环境配置

首先需要声明的是，Appium 是一个做自动化测试的工具，用它来测试我们自己开发的 App 是完全没问题的，它携带的是开发者证书（Development Certificate）。但如果我们想拿 iOS 设备来做数据爬取的话又是另外一回事了，一般我们做数据爬取都是使用现有的 APP，在 iOS 上一般都是通过 App Store 下载的，它携带的是分发证书（Distribution Certificate），而携带这种证书的应用都是禁止被测试的，所以只有获取 ipa 安装包再重新签名之后才可以被 Appium 测试，具体的方法不再展开阐述，如感兴趣可以搜索相关资料。

因此在这里推荐直接使用 Android 来进行测试，如果你可以完成上述操作重签名操作，那么可以参考如下内容配置 iOS 开发环境。

Appium 驱动 iOS 设备必须要在 Mac 下进行，Windows 和 Linux 是平台是无法完成的，下面只介绍一下 Mac 平台的相关配置。

Mac 平台需要的配置如下：

• Mac OS X 10.12 及更高版本
• XCode 8 及更高版本

配置满足要求之后执行如下命令即可配置开发依赖的一些库和工具：

1

xcode-select --install

这样 iOS 部分开发环境就配置完成了，我们就可以用 iOS 模拟器来进行测试和数据抓取了。

如果想要用真机进行测试和数据抓取，还需要额外配置一下其他的环境，可以参考：https://github.com/appium/appium/blob/master/docs/en/appium-setup/real-devices-ios.md。

结语

以上是 Appium 开发环境的搭建，在后文我们会用它来抓取微信朋友圈的内容。

Docker 是一种容器技术，它可以将应用和环境等进行打包，形成一个独立的，类似于 iOS 的 APP 形式的「应用」，这个应用可以直接被分发到任意一个支持 Docker 的环境中，通过简单的命令即可启动运行。Docker 是一种最流行的容器化实现方案。和虚拟化技术类似，它极大的方便了应用服务的部署；又与虚拟化技术不同，它以一种更轻量的方式实现了应用服务的打包。使用 Docker 可以让每个应用彼此相互隔离，在同一台机器上同时运行多个应用，不过他们彼此之间共享同一个操作系统。Docker 的优势在于，它可以在更细的粒度上进行资源的管理，也比虚拟化技术更加节约资源。

本段参考：DaoCloud 官方文档

对于爬虫来说，如果我们需要大规模部署爬虫系统的话，用 Docker 会大大提高效率，工欲善其事，必先利其器。

本节来介绍一下三大平台下 Docker 的安装方式。

相关链接

• 官方网站：https://www.docker.com
• GitHub：https://github.com/docker
• Docker Hub：https://hub.docker.com
• 官方文档：https://docs.docker.com
• DaoCloud：http://www.daocloud.io
• 中文社区：http://www.docker.org.cn
• 中文教程：http://www.runoob.com/docker/docker-tutorial.html
• 推荐书籍：https://yeasy.gitbooks.io/docker_practice

Windows 下的安装

如果你的系统是 Windows10 64 位，那么推荐使用 Docker for Windows，直接从 Docker 官方网站下载最新的 Docker for Windows 安装包即可：https://docs.docker.com/docker-for-windows/install/

如果不是 Windows10 64 位系统，则可以下载 Docker Toolbox：https://docs.docker.com/toolbox/toolbox_install_windows/。

安装包下载之后直接双击安装即可，安装详细过程可以参考文档说明，安装完成之后，进入命令行。

运行 Docker 命令测试：

1

docker

运行结果如图所示：

如果出现类似上述输出就证明 Docker 安装成功了。

Linux 下的安装

详细的分步骤的安装说明可以参见官方文档：https://docs.docker.com/engine/installation/linux/ubuntu/。

在官方文档中详细说明了不同 Linux 系统的安装方法，安装流程根据文档一步步执行即可安装成功。

但是为了使得安装更加方便，Docker 官方还提供了一键安装脚本，使用它会使得安装更加便捷，不用再去一步步执行命令安装了，在此介绍一下一键脚本安装方式。

首先是 Docker 官方提供的安装脚本，相比其他脚本，官方提供的一定更靠谱，安装命令如下：

1

curl -sSL https://get.docker.com/ | sh

只要执行如上一条命令，等待一会儿 Docker 便会安装完成，非常方便。

但是官方脚本安装有一个缺点，那就是慢，也可能下载超时，所以为了加快下载速度，我们可以使用国内的镜像来安装，所以在这里还有阿里云和 DaoCloud 的安装脚本。

阿里云安装脚本：

1

curl -sSL http://acs-public-mirror.oss-cn-hangzhou.aliyuncs.com/docker-engine/internet | sh -

DaoCloud 安装脚本：

1

curl -sSL https://get.daocloud.io/docker | sh

两个脚本可以任选其一，速度都非常不错。

等待脚本执行完毕之后，就可以使用 Docker 相关命令了，如运行测试 Hello World 镜像：

1

docker run hello-world

运行结果：

1
2
3
4
5
6
7

Unable to find image 'hello-world:latest' locally
latest: Pulling from library/hello-world
78445dd45222: Pull complete
Digest: sha256:c5515758d4c5e1e838e9cd307f6c6a0d620b5e07e6f927b07d05f6d12a1ac8d7
Status: Downloaded newer image for hello-world:latest
Hello from Docker!
This message shows that your installation appears to be working correctly.

如果出现上文类似提示内容则证明 Docker 可以正常使用了。

Mac 下的安装

Mac 平台同样有两种选择，Docker for Mac 和 Docker Toolbox。

Docker for Mac 要求系统为 OS X EI Captain 10.11 或更新，至少 4GB 内存，如果你的系统满足此要求，则强烈建议安装 Docker for Mac。

可以使用 HomeBrew 安装，安装命令如下：

1

brew cask install docker

另外也可以手动下载安装包安装，安装包下载地址为：https://download.docker.com/mac/stable/Docker.dmg

下载完成之后直接双击安装包，然后将程序拖动到应用程序中即可。

点击程序图标运行 Docker，会发现在菜单栏中出现了 Docker 的图标，如图中的第三个小鲸鱼图标：

点击图标展开菜单之后，再点击 Start 按钮即可启动 Docker，启动成功便会提示 Docker is running，如图所示：

随后我们就可以在命令行下使用 Docker 命令了。

可以使用如下命令测试运行：

1

sudo docker run hello-world

运行结果如图所示：

如果出现类似输出则证明 Docker 已经成功安装。

如果系统不满足要求，可以下载 Docker Toolbox，其安装说明为：https://docs.docker.com/toolbox/overview/。

关于 Docker for Mac 和 Docker Toolbox 的区别，可以参见：https://docs.docker.com/docker-for-mac/docker-toolbox/。

镜像加速

安装好 Docker 之后，在运行测试命令时，我们会发现它首先会下载一个 Hello World 的镜像，然后将其运行，但是下载速度有时候会非常慢，这是因为它默认还是从国外的 Docker Hub 下载的，所以为了提高镜像的下载速度，我们还可以使用国内镜像来加速下载，所以这就有了 Docker 加速器一说。

推荐的 Docker 加速器有 DaoCloud 和阿里云。

DaoCloud：https://www.daocloud.io/mirror

阿里云：https://cr.console.aliyun.com/#/accelerator

不同平台的镜像加速方法配置可以参考 DaoCloud 的官方文档：http://guide.daocloud.io/dcs/daocloud-9153151.html。

配置完成之后，可以发现镜像的下载速度会快非常多。

以上便是 Docker 的安装方式说明。

mitmproxy 是一个支持 HTTP 和 HTTPS 的抓包程序，类似 Fiddler、Charles 的功能，只不过它是一个控制台的形式操作。

同时 mitmproxy 还有两个关联组件，一个是 mitmdump，它是 mitmproxy 的命令行接口，利用它我们可以对接 Python 脚本，用 Python 实现监听后的处理。另一个是 mitmweb，它是一个 Web 程序，通过它我们可以清楚地观察到 mitmproxy 捕获的请求。

本节我们来了解一下 mitmproxy、mitmdump、mitmweb 的安装方式。

相关链接

• GitHub：https://github.com/mitmproxy/mitmproxy
• 官方网站：https://mitmproxy.org
• PyPi：https://pypi.python.org/pypi/mitmproxy
• 官方文档：http://docs.mitmproxy.org
• mitmdump 脚本：http://docs.mitmproxy.org/en/stable/scripting/overview.html
• 下载地址：https://github.com/mitmproxy/mitmproxy/releases
• DockerHub：https://hub.docker.com/r/mitmproxy/mitmproxy

pip 安装

最简单的安装方式还是使用 pip，直接执行如下命令即可安装：

1

pip3 install mitmproxy

这是最简单和通用的安装方式，执行完毕之后即可完成 mitmproxy 的安装，另外还安装了 mitmdump、mitmweb 两个组件，如果不想用此种方式安装也可以选择下文列出的专门针对各个平台的安装方式或者 Docker 安装方式。

Windows 下的安装

可以到 https://mitmproxy.org/ 获取安装包，如图所示：

下载之后直接双击安装包即可安装。

注意在 Windows 上不支持 mitmproxy 的控制台接口，但是可以使用 mitmdump 和 mitmweb。

Linux 下的安装

Linux 可以下载编译好的二进制包，此发行包一般是最新版本，它包含了最新版本的 mitmproxy 和内置的 Python3 环境还有最新的 OpenSSL 环境。

如果你的环境里没有 Python3 和 OpenSSL 环境，建议使用此种方式安装，如图所示，下载安装包即可：

下载之后需要解压然后将其配置到环境变量。

1
2

tar -zxvf mitmproxy-*-linux.tar.gz
sudo mv mitmproxy mitmdump mitmweb /usr/bin

这样就可以将三个可执行文件移动到了 /usr/bin 目录，而一般 /usr/bin 目录都已经配置在了环境变量下，所以接下来我们就可以直接调用这三个工具了。

Mac 下的安装

Mac 的安装非常简单，使用 HomeBrew 即可，命令如下：

1

brew install mitmproxy

执行命令后即可完成 mitmproxy 的安装。

Docker 安装

mitmproxy 也支持 Docker，其 Docker Hub 的地址为：https://hub.docker.com/r/mitmproxy/mitmproxy/

Docker 下 mitmproxy 的安装命令为：

1

docker run --rm -it -p 8080:8080 mitmproxy/mitmproxy mitmdump

这样就在 8080 端口上启动了 mitmproxy 和 mitmdump。

如果想要获取 CA 证书，可以选择挂载磁盘选项，命令如下：

1

docker run --rm -it -v ~/.mitmproxy:/home/mitmproxy/.mitmproxy -p 8080:8080 mitmproxy/mitmproxy mitmdump

这样可以在 ~/.mitmproxy 目录找到 CA 证书。

另外还可以在 8081 端口上启动 mitmweb，命令如下：

1

docker run --rm -it -p 8080:8080 -p 127.0.0.1:8081:8081 mitmproxy/mitmproxy mitmweb

更多启动方式可以参考 Docker Hub 的安装说明。

证书配置

对于 mitmproxy 来说，如果想要截获 HTTPS 请求，我们就需要设置证书，mitmproxy 在安装后会提供一套 CA 证书，只要客户端信任了 mitmproxy 提供的证书，我们就可以通过 mitmproxy 获取 HTTPS 请求的具体内容，否则 mitmproxy 是无法解析 HTTPS 请求的。

首先运行一下命令产生 CA 证书，启动 mitmdump 即可：

1

mitmdump

这样即可启动 mitmdump，接下来我们就可以在用户目录下的 .mitmproxy 目录里面找到 CA 证书，如图所示：

证书一共五个，下面是对这五个证书的说明：

下面我们介绍一下 Windows、Mac、iOS、Android 平台下的证书配置过程。

Windows

双击 mitmproxy-ca.p12，就会出现导入证书的引导页，如图所示：

直接点击下一步即可，接下来会出现密码设置提示，如图所示：

不需要设置密码，直接点击下一步即可。

接下来需要选择证书的存储区域，如图所示：

点击第二个选项“将所有证书放入下列存储”，然后点击浏览，再选择证书存储位置为“受信任的根证书颁发机构”，确定，点击下一步。

最后如果有安全警告均点击“是”即可，如图所示：

这样就配置完成 Windows 下信任 CA 证书了。

Mac

Mac 下双击 mitmproxy-ca-cert.pem 即可弹出钥匙串管理页面，然后找到 mitmproxy 证书，点击打开其设置选项，选择始终信任即可，如图所示：

这样就配置完成 Mac 下信任 CA 证书了。

iOS

将 mitmproxy-ca-cert.pem 文件发送到 iPhone 上，推荐使用邮件的方式发送，iPhone 上可以直接点击附件并识别安装，如图所示：

点击之后会跳到安装描述文件的页面，点击右上角的安装按钮即可安装，此处会有警告提示，如图所示：

继续点击右上角的安装即可，安装成功之后会有已安装的提示，如图所示：

如果你的 iOS 版本是 10.3 以下的话，此处信任 CA 证书的流程就已经完成了。

如果你的 iOS 版本是 10.3 及以上，还需要在设置->通用->关于本机->证书信任设置将证书添加完全信任，如图所示：

在这里将 mitmproxy 的完全信任开关打开即可。

这样 iOS 上配置信任 CA 证书的流程就结束了。

Android

Android 手机同样需要将证书 mitmproxy-ca-cert.pem 文件发送到手机上，例如直接拷贝文件。

接下来点击证书便会出现一个提示窗口，如图所示：

这时输入证书的名称，然后点击确定即可完成安装。

结语

本节我们了解了 mitmproxy、mitmdump、mitmweb 的安装方式。

安装好了 Scrapyd 之后，我们可以直接请求它提供的 API 即可获取当前主机的 Scrapy 任务运行状况。

如某台主机的 IP 为 192.168.1.1，则可以直接运行如下命令获取当前主机的所有 Scrapy 项目：

1

curl http://localhost:6800/listprojects.json

运行结果：

1

{"status": "ok", "projects": ["myproject", "otherproject"]}

返回结果是 JSON 字符串，通过解析这个字符串我们便可以得到当前主机所有项目。

但是用这种方式来获取任务状态还是有点繁琐，所以 ScrapydAPI 就为它做了一层封装，下面我们来看下它的安装方式。

相关链接

• GitHub：https://pypi.python.org/pypi/python-scrapyd-api/
• PyPi：https://pypi.python.org/pypi/python-scrapyd-api
• 官方文档：http://python-scrapyd-api.readthedocs.io/en/latest/usage.html

pip 安装

推荐使用 Pip 安装，命令如下：

1

pip install python-scrapyd-api

验证安装

安装完成之后便可以使用 Python 来获取主机状态了，所以如上的操作便可以用 Python 代码实现：

1
2
3

from scrapyd_api import ScrapydAPI
scrapyd = ScrapydAPI('http://localhost:6800')
print(scrapyd.list_projects())

运行结果：

1

["myproject", "otherproject"]

这样我们便可以用 Python 直接来获取各个主机上 Scrapy 任务的运行状态了。

Gerapy 是一个 Scrapy 分布式管理模块，本节来介绍一下 Gerapy 的安装方式。

相关链接

• GitHub：https://github.com/Gerapy
• 文档：https://docs.gerapy.com

pip 安装

推荐使用 pip 安装，命令如下：

1

pip3 install gerapy

测试安装

安装完成之后，可以在 Python 命令行下测试。

1
2

$ python3
>>> import gerapy

如果没有错误报出，则证明库已经安装好了。

在将 Scrapy 代码部署到远程 Scrapyd 的时候，其第一步就是要将代码打包为 Egg 文件，其次需要将 Egg 文件上传到远程主机，这个过程如果我们用程序来实现是完全可以的，但是我们并不需要做这些工作，因为 Scrapyd-Client 已经为我们实现了这些功能。

下面我们就来来一下 Scrapyd-Client 的安装过程。

相关链接

• GitHub：https://github.com/scrapy/scrapyd-client
• PyPi：https://pypi.python.org/pypi/scrapyd-client
• 使用说明：https://github.com/scrapy/scrapyd-client#scrapyd-deploy

pip 安装

推荐使用 pip 安装，命令如下：

1

pip3 install scrapyd-client

验证安装

安装成功后会有一个可用命令，叫做 scrapyd-deploy，即部署命令。

我们可以输入如下测试命令测试 Scrapyd-Client 是否安装成功：

1

scrapyd-deploy -h

如果出现如图类似输出则证明 Scrapyd-Client 已经成功安装:

Scrapyd 是一个用于部署和运行 Scrapy 项目的工具。有了它，你可以将写好的 Scrapy 项目上传到云主机并通过 API 来控制它的运行。

既然是 Scrapy 项目部署，所以基本上都使用 Linux 主机，所以本节的安装是针对于 Linux 主机的。

相关链接

• GitHub：https://github.com/scrapy/scrapyd
• PyPi：https://pypi.python.org/pypi/scrapyd
• 官方文档：https://scrapyd.readthedocs.io

pip 安装

推荐使用 pip 安装，命令如下：

1

pip3 install scrapyd

配置

安装完毕之后需要新建一个配置文件 /etc/scrapyd/scrapyd.conf，Scrapyd 在运行的时候会读取此配置文件。

在 Scrapyd 1.2 版本之后不会自动创建该文件，需要我们自行添加。

执行命令新建文件：

1
2

sudo mkdir /etc/scrapyd
sudo vi /etc/scrapyd/scrapyd.conf

写入如下内容：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 10
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root

[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus

配置文件的内容可以参见官方文档：https://scrapyd.readthedocs.io/en/stable/config.html#example-configuration-file，在这里的配置文件有所修改，其中之一是 max_proc_per_cpu 官方默认为 4，即一台主机每个 CPU 最多运行 4 个 Scrapy Job，在此提高为 10，另外一个是 bind_address，默认为本地 127.0.0.1，在此修改为 0.0.0.0，以使外网可以访问。

后台运行

由于 Scrapyd 是一个纯 Python 项目，在这里可以直接调用 scrapyd 来运行，为了使程序一直在后台运行，Linux 和 Mac 可以使用如下命令：

1

(scrapyd > /dev/null &)

这样 Scrapyd 就会在后台持续运行了，控制台输出直接忽略，当然如果想记录输出日志可以修改输出目标，如：

1

(scrapyd > ~/scrapyd.log &)

则会输出 Scrapyd 运行输出到 ~/scrapyd.log 文件中。

运行之后便可以在浏览器的 6800 访问 WebUI 了，可以简略看到当前 Scrapyd 的运行 Job、Log 等内容，如图所示：

当然运行 Scrapyd 更佳的方式是使用 Supervisor 守护进程运行，如果感兴趣可以参考：http://supervisord.org/。

访问认证

限制配置完成之后 Scrapyd 和它的接口都是可以公开访问的，如果要想配置访问认证的话可以借助于 Nginx 做反向代理，在这里需要先安装 Nginx 服务器。

在此以 Ubuntu 为例进行说明，安装命令如下：

1

sudo apt-get install nginx

然后修改 Nginx 的配置文件 nginx.conf，增加如下配置：

1
2
3
4
5
6
7
8
9
10

http {
    server {
        listen 6801;
        location / {
            proxy_pass    http://127.0.0.1:6800/;
            auth_basic    "Restricted";
            auth_basic_user_file    /etc/nginx/conf.d/.htpasswd;
        }
    }
}

在这里使用的用户名密码配置放置在 /etc/nginx/conf.d 目录，我们需要使用 htpasswd 命令创建，例如创建一个用户名为 admin 的文件，命令如下：

1

htpasswd -c .htpasswd admin

接下就会提示我们输入密码，输入两次之后，就会生成密码文件，查看一下内容：

1
2

cat .htpasswd
admin:5ZBxQr0rCqwbc

配置完成之后我们重启一下 Nginx 服务，运行如下命令：

1

sudo nginx -s reload

这样就成功配置了 Scrapyd 的访问认证了。

PySpider 是国人 binux 编写的强大的网络爬虫框架，它带有强大的 WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器，同时它支持多种数据库后端、多种消息队列，另外它还支持 JavaScript 渲染页面的爬取，使用起来非常方便，本节介绍一下它的安装过程。

相关链接

• 官方文档：http://docs.pyspider.org/
• PyPi：https://pypi.python.org/pypi/pyspider
• GitHub：https://github.com/binux/pyspider
• 官方教程：http://docs.pyspider.org/en/latest/tutorial
• 在线实例：http://demo.pyspider.org

准备工作

PySpider 是支持 JavaScript 渲染的，而这个过程是依赖于 PhantomJS 的，所以还需要安装 PhantomJS，所以在安装之前请安装好 PhantomJS，参考 https://setup.scrape.center/phantomjs。

pip 安装

推荐使用 pip 安装，命令如下：

1

pip3 install pyspider

命令执行完毕即可完成安装。

常见错误

Windows 下可能会出现这样的错误提示：Command “python setup.py egg_info” failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl

这个是 PyCurl 安装错误，一般会出现在 Windows 下，需要安装 PyCurl 库，下载链接为：http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl，找到对应 Python 版本然后下载相应的 Wheel 文件。

如 Windows 64 位，Python3.6 则下载 pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl，随后用 Pip 安装即可，命令如下：

1

pip3 install pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl

Linux 下如果遇到 PyCurl 的错误可以参考本文：https://imlonghao.com/19.html

验证安装

安装完成之后，可以直接在命令行下启动 PySpider：

1

pyspider all

控制台会有类似如下输出，如图所示：

这时 PySpider 的 Web 服务就会在本地 5000 端口运行，直接在浏览器打开：http://localhost:5000/ 即可进入 PySpider 的 WebUI 管理页面，如图所示：

如果出现类似页面那证明 PySpider 已经安装成功了。

Scrapy 是一个十分强大的爬虫框架，依赖的库比较多，至少需要依赖库有 Twisted，lxml，pyOpenSSL。而在不同平台环境又各不相同，所以在安装之前最好确保把一些基本库安装好，尤其是 Windows。本节介绍一下 Scrapy 在不同平台的安装方法。

相关链接

• 官方网站：https://scrapy.org
• 官方文档：https://docs.scrapy.org
• PyPi：https://pypi.python.org/pypi/Scrapy
• GitHub：https://github.com/scrapy/scrapy
• 中文文档：http://scrapy-chs.readthedocs.io

Anaconda 安装

这种方法是一种比较简单的安装 Scrapy 的方法（尤其是对 Windows 来说），如果你的 Python 是使用 Anaconda 安装的，或者还没有安装 Python 的话，可以使用该方法安装，简单省力，当然如果你的 Python 不是通过 Anaconda 安装的，可以继续查看下文中各平台直接安装方法。

Anaconda 的安装方式可以查看 https://setup.scrape.center/python，在此不再赘述。

如果已经安装好了 Anaconda，那么可以通过 conda 命令安装 Scrapy，安装命令如下：

1

conda install Scrapy

运行之后便可以完成 Scrapy 的安装。

Windows 下的安装

如果你的 Python 不是使用 Anaconda 安装的，可以参考如下方式来一步步完成 Scrapy 的安装。

首先尝试直接使用 pip3 安装，命令如下：

1

pip3 install scrapy

如果安装过程一切顺利，那就可以忽略后续步骤，否则，请参阅后续步骤一点点安装。

安装 lxml

lxml 的安装过程请参见 https://setup.scrape.center/lxml，在此不再赘述，此库非常重要，请一定要安装成功。

安装 pyOpenSSL

官方网站下载 Wheel 文件，https://pypi.python.org/pypi/pyOpenSSL#downloads，如当前最新版本名称是 pyOpenSSL-21.0.0-py2.py3-none-any.whl ，直接下载，下载后利用 pip 安装即可：

1

pip3 install pyOpenSSL-17.2.0-py2.py3-none-any.whl

安装 Twisted

到 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载 Wheel 文件，利用 pip 安装即可。
如 Python 3.6 版本，Windows 64 位系统，当前最新版本为 Twisted‑20.3.0‑cp36‑cp36m‑win_amd64.whl，直接下载即可，如图所示，最新版本以网站为准。

然后 pip 安装即可：

1

pip3 install Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl

安装 PyWin32

从官方网站下载对应版本的安装包即可，链接为：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/，如图所示：

如 Python 3.6 版本可以选择下载 pywin32-221.win-amd64-py3.6.exe，下载完毕之后双击安装即可。

注意这里使用的是 Build 221 版本，随着时间推移，版本肯定会继续更新，最新的版本可以查看：https://sourceforge.net/projects/pywin32/files/pywin32/，查找最新的版本安装即可。

安装 Scrapy

安装好了以上的依赖库，最后安装 Scrapy 就非常简单了，依然使用 pip，命令如下：

1

pip3 install scrapy

等待命令结束没有报错，就证明 Scrapy 已经安装好了。

Linux 下的安装

在 Linux 上的安装方式依然分为两类平台介绍。

CentOS、RedHat

首先确保一些依赖库已经安装，运行如下命令：

1
2

sudo yum groupinstall -y development tools
sudo yum install -y epel-release libxslt-devel libxml2-devel openssl-devel

最后利用 pip 安装 Scrapy 即可，运行如下命令：

1

pip3 install Scrapy

Ubuntu、Debian、Deepin

首先确保一些依赖库已经安装，运行如下命令：

1

sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev

然后利用 Pip 安装 Scrapy 即可，运行如下命令：

1

pip3 install Scrapy

运行完毕之后即可完成 Scrapy 的安装。

Mac 下的安装

在 Mac 下首先也是进行依赖库的安装。

在 Mac 上构建 Scrapy 的依赖库需要 C 编译器以及开发头文件，它一般由 Xcode 提供，运行如下命令安装即可：

1

xcode-select --install

随后利用 Pip 安装 Scrapy 即可，运行如下命令：

1

pip3 install Scrapy

运行完毕之后即可完成 Scrapy 的安装。

验证安装

安装之后，在命令行下输入 scrapy，如果出现类似下方的结果，就证明 Scrapy 安装成功，如图所示：

常见错误

pkg_resources.VersionConflict: (six 1.5.2 (/usr/lib/python3/dist-packages), Requirement.parse(‘six>=1.6.0’))

six 包版本过低，six 包是一个提供兼容 Python2 和 Python3 的库，升级 six 包即可：

1

sudo pip3 install -U six

c/_cffi_backend.c:15:17: fatal error: ffi.h: No such file or directory

这是在 Linux 下常出现的错误，缺少 Libffi 这个库。什么是 libffi？“FFI” 的全名是 Foreign Function Interface，通常指的是允许以一种语言编写的代码调用另一种语言的代码。而 Libffi 库只提供了最底层的、与架构相关的、完整的”FFI”。

安装相应的库即可。

Ubuntu、Debian：

1

sudo apt-get install build-essential libssl-dev libffi-dev python3-dev

CentOS、RedHat:

1

sudo yum install gcc libffi-devel python-devel openssl-devel

Command “python setup.py egg_info” failed with error code 1 in /tmp/pip-build/cryptography/

这是缺少加密的相关组件，利用 Pip 安装即可。

1

pip3 install cryptography

ImportError: No module named ‘packaging’

缺少 packaging 这个包，它提供了 Python 包的核心功能，利用 Pip 安装即可。

ImportError: No module named ‘_cffi_backend’

缺少 cffi 包，使用 Pip 安装即可：

1

pip3 install cffi

ImportError: No module named ‘pyparsing’

缺少 pyparsing 包，使用 Pip 安装即可：

1

pip3 install pyparsing appdirs

Scrapy-Redis 是 Scrapy 分布式的扩展模块，有了它我们可以方便地实现 Scrapy 分布式爬虫的搭建，本节来介绍一下 Scrapy-Redis 的安装方式。

相关链接

• GitHub：https://github.com/rmax/scrapy-redis
• PyPi：https://pypi.python.org/pypi/scrapy-redis
• 官方文档：http://scrapy-redis.readthedocs.io

pip 安装

推荐使用 pip 安装，命令如下：

1

pip3 install scrapy-redis

Wheel 安装

也可以到 PyPi 下载 Wheel 文件安装：https://pypi.org/project/scrapy-redis/#downloads，如当前最新版本为 0.7.1，则可以下载 scrapy_redis-0.7.1-py2.py3-none-any.whl ，然后 pip 安装即可。

1

pip3 install scrapy_redis-0.7.1-py2.py3-none-any.whl

测试安装

安装完成之后，可以在 Python 命令行下测试。

1
2

$ python3
>>> import scrapy_redis

如果没有错误报出，则证明库已经安装好了。

对于 Redis 来说，我们要使用 redis-py 库来与其交互，本节我们来介绍一下 redis-py 的安装方法。

相关链接

• GitHub：https://github.com/andymccurdy/redis-py
• 官方文档：https://redis-py.readthedocs.io/

安装方法

pip 安装

推荐使用 pip3 安装，命令如下：

1

pip3 install redis

运行完毕之后即可完成 redis-py 的安装。

验证安装

为了验证库是否已经安装成功，可以在命令行下测试一下：

1
2
3
4
5

$ python3
>>> import redis
>>> redis.VERSION
(2, 10, 6)
>>>

在命令行首先输入 python3，进入命令行模式，输入如上内容，如果成功输出了其版本内容，那么证明 redis-py 成功安装。

Scrapy-Splash 是一个 Scrapy 中支持 JavaScript 渲染的工具，本节来介绍一下它的安装方式。

Scrapy-Splash 的安装分为两部分，一个是是 Splash 服务的安装，安装方式是通过 Docker，安装之后会启动一个 Splash 服务，我们可以通过它的接口来实现 JavaScript 页面的加载。另外一个是 ScrapySplash 的 Python 库的安装，安装之后即可在 Scrapy 中使用 Splash 服务。

相关链接

• GitHub：https://github.com/scrapy-plugins/scrapy-splash
• PyPi：https://pypi.python.org/pypi/scrapy-splash
• 使用说明：https://github.com/scrapy-plugins/scrapy-splash#configuration
• Splash 官方文档：http://splash.readthedocs.io

安装 Splash

Scrapy-Splash 会使用 Splash 的 HTTP API 进行页面渲染，所以我们需要安装 Splash 来提供渲染服务，安装教程参考：https://setup.scrape.center/splash。

Scrapy-Splash 的安装

成功安装了 Splash 之后，我们接下来再来安装一下其 Python 库，安装命令如下：

1

pip3 install scrapy-splash

命令运行完毕后就会成功安装好此库。

完毕！

成功安装好了 Selenium 库，但是它是一个自动化测试工具，需要浏览器来配合它使用，那么本节我们就介绍一下 Chrome 浏览器及 ChromeDriver 驱动的配置。

首先需要下载一个 Chrome 浏览器，方法多样，在此不再赘述。

随后我们需要安装一个 ChromeDriver 才能驱动 Chrome 浏览器完成相应的操作，下面我们来介绍下怎样安装 ChromeDriver。

相关链接

• 官方网站：https://sites.google.com/a/chromium.org/chromedriver
• 下载地址：https://chromedriver.storage.googleapis.com/index.html

准备工作

在这之前请确保已经正确安装好了 Chrome 浏览器并可以正常运行，安装过程不再赘述。

查看版本

点击 Chrome 的菜单，帮助->关于 Chrome，即可查看 Chrome 的版本号，在这里我的版本是 94.0.4606，如图所示：

请记住 Chrome 版本号，在后面选择 ChromeDriver 版本时需要用到。

下载 ChromeDriver

打开 ChromeDriver 的官方网站，链接为：https://sites.google.com/chromium.org/driver/downloads。可以看到到目前为止最新支持的 Chrome 浏览器版本为 95，最新版本以官网为准，如图所示：

每个版本都有相应的支持 Chrome 版本介绍，请找好自己的 Chrome 浏览器版本对应的 ChromeDriver 版本再下载，否则可能导致无法正常工作。

由于我这边的 ChromeDriver 版本是 94.0.4606，找到对应的下载列表，如图所示：

Windows 系统就下载 win32.zip，Mac 系统 Intel 芯片下载 mac64.zip，Mac 系统 M1 芯片下载 mac64_m1.zip，Linux 系统下载 linux64.zip，下载解压之后会得到一个 ChromeDriver 的可执行文件。

另外如果上面的链接打不开的话，也可以从对应的 ChromeDriver 镜像网站下载：https://chromedriver.storage.googleapis.com/index.html，同样地，版本对应好即可。

环境变量配置

下载完成后将 ChromeDriver 的可执行文件配置到环境变量下。

在 Windows 下，建议直接将 chromedriver.exe 文件拖到 Python 的 Scripts 目录下，如图所示：

也可以单独将其所在路径配置到环境变量，环境变量的配置方法请参见 Python3 的安装一节。

在 Linux、Mac 下，需要将可执行文件配置到环境变量或将文件移动到属于环境变量的目录里。

例如移动文件到 /usr/bin 目录，首先命令行进入其所在路径，然后将其移动到 /usr/bin：

1

sudo mv chromedriver /usr/bin

当然也可以将 ChromeDriver 配置到 $PATH，首先可以将可执行文件放到某一目录，目录可以任意选择，例如将当前可执行文件放在 /usr/local/chromedriver 目录下，接下来可以修改 ~/.profile 文件，命令如下：

1

export PATH="$PATH:/usr/local/chromedriver"

保存然后执行：

1

source ~/.profile

即可完成环境变量的添加。

验证安装

配置完成之后，就可以在命令行下直接执行 chromedriver 命令了。

命令行下输入：

1

chromedriver

输入控制台有类似输出，如图所示：

如果有类似输出则证明 ChromeDriver 的环境变量配置好了。

另外如果要配合代码进行测试的话，可以安装 Selenium，安装方式参考：https://setup.scrape.center/selenium，安装好了之后，随后再在程序中测试，执行如下 Python 代码：

1
2

from selenium import webdriver
browser = webdriver.Chrome()

运行之后会弹出一个空白的 Chrome 浏览器，证明所有的配置都没有问题，如果没有弹出，请检查之前的每一步的配置。

如果弹出之后闪退，则可能是 ChromeDriver 版本和 Chrome 版本不简容，请更换 ChromeDriver 版本。

如果没有问题，接下来我们就可以利用 Chrome 来做网页抓取了。

pyquery 是一个强大的网页解析工具，它提供了和 jQuery 类似的语法来解析 HTML 文档，支持 CSS 选择器，使用非常方便，本节我们了解下它的安装方式。

相关链接

• GitHub：https://github.com/gawel/pyquery
• PyPi：https://pypi.python.org/pypi/pyquery
• 官方文档：http://pyquery.readthedocs.io

安装方法

pip 安装

推荐使用 pip3 安装，命令如下：

1

pip3 install pyquery

命令执行完毕之后即可完成安装。

wheel 安装

当然也可以到 PyPi 下载对应的 wheel 文件安装，https://pypi.python.org/pypi/pyquery/#downloads，如当前最新版本为 1.2.17，则下载的文件名称为 pyquery-1.2.17-py2.py3-none-any.whl，下载到本地再 pip3 安装即可，命令如下：

1

pip3 install pyquery-1.2.17-py2.py3-none-any.whl

验证安装

安装完成之后，可以在 Python 命令行下测试。

1
2

$ python3
>>> import pyquery

如果没有错误报出，则证明库已经安装好了。

在 Python3 中如果想要将数据存储到 MySQL 中就需要借助于 PyMySQL 来操作，本节我们介绍一下 PyMySQL 的安装方式。

相关链接

• GitHub：https://github.com/PyMySQL/PyMySQL
• 官方文档：http://pymysql.readthedocs.io/
• PyPi：https://pypi.python.org/pypi/PyMySQL

安装方法

pip 安装

推荐使用 pip3 安装，命令如下：

1

pip3 install pymysql

执行完命令即可完成安装。

验证安装

为了验证库是否已经安装成功，可以在命令行下测试一下：

1
2
3
4
5

$ python3
>>> import pymysql
>>> pymysql.VERSION
(1, 0, 2, None)
>>>

在命令行首先输入 python3，进入命令行模式，输入如上内容，如果成功输出了其版本内容，那么证明 PyMySQL 成功安装。

在 Python 中如果想要和 MongoDB 进行交互就需要借助于 PyMongo 库，本节我们来了解一下 PyMongo 的安装方法。

相关链接

• GitHub：https://github.com/mongodb/mongo-python-driver
• 官方文档：https://api.mongodb.com/python/current/
• PyPi：https://pypi.python.org/pypi/pymongo

安装方法

pip 安装

推荐使用 pip3 安装，命令如下：

1

pip3 install "pymongo<4.0"

注意：因为 PyMongo 在 4.0 版本移除了 insert, update, remove 等方法，所以如果安装 4.0 及以上版本，《Python3网络爬虫开发实战（第二版）》书中部分代码会报错，3.x 就不会有问题。详情请见官方说明：https://pymongo.readthedocs.io/en/stable/migrate-to-pymongo4.html#collection-insert-is-removed。

当然，如果安装 4.0 及以上版本的话也可以，需要手动把 insert 方法改成 insert_one 或 insert_many 方法即可。

运行完毕之后即可完成 PyMongo 的安装。

验证安装

为了验证库是否已经安装成功，可以在命令行下测试一下：

1
2
3
4
5

$ python3
>>> import pymongo
>>> pymongo.version
'3.11.2'
>>>

在命令行首先输入 python3，进入命令行模式，输入如上内容，如果成功输出了其版本内容，那么证明 PyMongo 成功安装。

lxml 是 Python 的一个解析库，支持 HTML 和 XML 的解析，支持 XPath 解析方式，而且解析效率非常高，本节我们了解下它的安装方式，分为 Windows、Linux、Mac 三大平台来介绍。

相关链接

• 官方网站：http://lxml.de
• GitHub：https://github.com/lxml/lxml
• PyPi：https://pypi.python.org/pypi/lxml

安装方法

Windows 下的安装

Windows 下可以先尝试利用 pip3 安装，直接执行如下命令即可：

1

pip3 install lxml

如果没有任何报错则证明安装成功。

如果出现报错，比如提示缺少 libxml2 库等信息，可以采用 wheel 方式安装。

推荐直接到这里下载对应的 wheel 文件，链接为：http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml，找到本地安装 Python 版本和系统对应的 lxml 版本，例如 Windows 64 位 Python3.6 就选择 lxml‑3.8.0‑cp36‑cp36m‑win_amd64.whl，以此类推，将其下载到本地。

然后利用 pip3 安装即可，命令如下：

1

pip3 install lxml‑3.8.0‑cp36‑cp36m‑win_amd64.whl

这样我们就可以成功安装好 lxml 了。

Linux 下的安装

在 Linux 平台下安装问题不大，同样可以先尝试 pip3 安装，命令如下：

1

pip3 install lxml

如果报错，可以尝试下方的解决方案。

CentOS、RedHat

对于此类系统，报错主要是因为缺少必要的库。

执行如下命令安装所需的库即可：

1
2

sudo yum groupinstall -y development tools
sudo yum install -y epel-release libxslt-devel libxml2-devel openssl-devel

主要是 libxslt-devel libxml2-devel 这两个库，lxml 依赖于它们。安装好了之后重新尝试 Pip 安装即可。

Ubuntu、Debian、Deepin

报错的原因同样可能是缺少了必要的类库，执行如下命令安装：

1

sudo apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev

安装好了之后重新尝试 pip 安装即可。

Mac 下的安装

在 Mac 平台下，仍然可以首先尝试 pip3 安装，命令如下：

1

pip3 install lxml

如果产生错误，可以执行如下命令将必要的类库安装：

1

xcode-select --install

之后再重新运行 pip3 安装就没有问题了。

lxml 是一个非常重要的库，比如 BeautifulSoup、Scrapy 框架都需要用到此库，所以请一定安装成功。

验证安装

安装完成之后，可以在 Python 命令行下测试。

1
2

$ python3
>>> import lxml

如果没有错误报出，则证明库已经安装好了。

Flask 是一个轻量级的 Web 服务程序，简单、易用、灵活，在本书中我们主要用它来做一些 API 服务，本节我们来了解下它的安装方式。

相关链接

• GitHub：https://github.com/pallets/flask
• 官方文档：http://flask.pocoo.org
• 中文文档：http://docs.jinkan.org/docs/flask
• PyPi：https://pypi.python.org/pypi/Flask

pip 安装

推荐使用 pip 安装，命令如下：

1

pip3 install flask

运行完毕之后就可以完成安装。

验证安装

安装成功之后可以运行如下实例代码测试一下：

1
2
3
4
5
6
7
8
9

from flask import Flask
app = Flask(__name__)

@app.route("/")
def hello():
    return "Hello World!"

if __name__ == "__main__":
    app.run()

直接运行代码，可以发现系统会在 5000 端口开启 Web 服务，控制台输出如下：

1

* Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)

直接访问：http://127.0.0.1:5000/，可以观察到网页中呈现了 Hello World!，如图所示：

这样一个最简单的 Flask 程序就运行成功了。

本节介绍下 Python 常用爬虫库 requests 的安装方式。

相关链接

• GitHub：https://github.com/requests/requests
• PyPy：https://pypi.python.org/pypi/requests
• 官方文档：http://www.python-requests.org
• 中文文档：http://docs.python-requests.org/zh_CN/latest

安装方法

pip 安装

无论是 Windows、Linux 还是 Mac，都可以通过 pip 这个包管理工具来安装。

在命令行下运行如下命令即可完成 requests 库的安装：

1

pip3 install requests

这是最简单的安装方式，推荐此种方法安装。

wheel 安装

wheel 是 Python 的一种安装包，其后缀为 whl，在网速较差的情况下可以选择下载下 wheel 文件再安装，直接用 pip3 命令加文件名安装即可。

不过在这之前需要先安装 wheel 库，安装命令如下：

1

pip3 install wheel

然后到 PyPi 上下载对应的 wheel 文件，如当前最新版本为 2.17.3，则打开：https://pypi.python.org/pypi/requests/2.17.3#downloads，下载 requests-2.17.3-py2.py3-none-any.whl 到本地。

随后命令行进入 Wheel 文件目录，利用 pip 安装即可。

1

pip3 install requests-2.17.3-py2.py3-none-any.whl

这样我们同样可以完成 requests 的安装。

源码安装

那么如果你不想用 pip 来安装，或者想获取某一特定版本，可以选择下载源码安装。

此种方式需要先找到此库的源码地址，然后下载下来再用命令安装。

requests 项目的地址是：https://github.com/kennethreitz/requests。

可以通过 Git 来下载源代码：

1

git clone git://github.com/kennethreitz/requests.git

或通过 curl 下载：

1

curl -OL https://github.com/kennethreitz/requests/tarball/master

下载下来之后，进入目录，执行如下命令安装即可：

1
2

cd requests
python3 setup.py install

命令执行结束后即可完成 requests 的安装，由于此种安装方式比较繁琐，后文此种安装方式不再赘述。

验证安装

为了验证库是否已经安装成功，可以在命令行下测试一下：

1
2

$ python3
>>> import requests

在命令行首先输入 python3，进入命令行模式，然后输入如上内容，如果什么错误提示也没有，那么就证明我们已经成功安装了 requests。

BeautifulSoup 是 Python 的一个 HTML 或 XML 的解析库，我们可以用它来方便地从网页中提取数据，它拥有强大的 API 和多样的解析方式，本节我们了解下它的安装方式。

相关链接

• 官方文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc
• 中文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh
• PyPi：https://pypi.python.org/pypi/beautifulsoup4

准备工作

BeautifulSoup 的 HTML 和 XML 解析器是依赖于 lxml 库的，所以在此之前请确保已经成功安装好了 lxml 库，具体的安装方式参见 lxml 的安装：https://setup.scrape.center/lxml。

安装方法

pip 安装

目前 BeautifulSoup 的最新版本是 4.x 版本，之前的版本已经停止开发了，推荐使用 pip3 来安装，安装命令如下：

1

pip3 install beautifulsoup4

命令执行完毕之后即可完成安装。

wheel 安装

当然也可以从 PyPi 下载 wheel 文件安装，链接如下：
https://pypi.python.org/pypi/beautifulsoup4

然后 pip3 安装 Wheel 文件即可。

验证安装

安装完成之后可以运行下方的代码验证一下。

1
2
3

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>Hello</p>', 'lxml')
print(soup.p.string)

运行结果：

1

Hello

如果运行结果一致则证明安装成功。

注意在这里我们虽然安装的是 beautifulsoup4 这个包，但是在引入的时候是引入的 bs4，这是因为这个包源代码本身的库文件夹名称就是 bs4，所以安装完成之后，这个库文件夹就被移入到我们本机 Python3 的 lib 库里，所以识别到的库文件名称就叫做 bs4，所以我们引入的时候就引入 bs4 这个包。

因此，包本身的名称和我们使用时导入的包的名称并不一定是一致的。

之前我们介绍的 requests 库是一个阻塞式 HTTP 请求库，当我们发出一个请求后，程序会一直等待服务器的响应，直到得到响应后程序才会进行下一步的处理，其实这个过程是比较耗费资源的。如果程序可以在这个等待过程中做一些其他的事情，如进行请求的调度、响应的处理等等，那么爬取效率一定会大大提高。

Aiohttp 就是这样一个提供异步 Web 服务的库，从 Python3.5 版本开始，Python 中加入了 async/await 关键字，使得回调的写法更加直观和人性化，Aiohttp 的异步操作借助于 async/await 关键字写法变得更加简洁，架构更加清晰。使用异步请求库来进行数据抓取会大大提高效率，下面我们来看一下这个库的安装方法。

相关链接

• 官方文档：http://aiohttp.readthedocs.io/en/stable
• GitHub：https://github.com/aio-libs/aiohttp
• PyPi：https://pypi.python.org/pypi/aiohttp

pip 安装

推荐使用 pip 安装，命令如下：

1

pip3 install aiohttp

另外官方还推荐安装如下两个库，一个是字符编码检测库 cchardet，另一个是加速 DNS 解析库 aiodns，安装命令如下：

1

pip3 install cchardet aiodns

测试安装

安装完成之后，可以在 Python 命令行下测试。

1
2

$ python3
>>> import aiohttp

如果没有错误报出，则证明库已经安装好了。

2022 年最新 Python3 网络爬虫教程

大家好，我是崔庆才，由于爬虫技术不断迭代升级，一些旧的教程已经过时、案例已经过期，最前沿的爬虫技术比如异步、JavaScript 逆向、安卓逆向、智能解析、WebAssembly、大规模分布式、Kubernetes 等技术层出不穷，我最近新出了一套最新最全面的 Python3 网络爬虫系列教程。

博主自荐：截止 2022 年，可以将最前沿最全面的爬虫技术都涵盖的教程，如异步、JavaScript 逆向、安卓逆向、智能解析、WebAssembly、大规模分布式、Kubernetes 等，市面上目前就这一套了。

最新教程对旧的爬虫技术内容进行了全面更新，搭建了全新的案例平台进行全面讲解，保证案例稳定有效不过期。

教程请移步：

【2022 版】Python3 网络爬虫学习教程

本节会介绍 Windows、Linux、Mac 三大平台下安装 Python3 的过程。

相关链接

• 官方网站：http://python.org
• 下载地址：https://www.python.org/downloads
• 第三方库：https://pypi.python.org/pypi
• 官方文档：https://docs.python.org/3
• 中文教程：http://www.runoob.com/python3/python3-tutorial.html
• Awesome Python：https://github.com/vinta/awesome-python
• Awesome Python 中文版：https://github.com/jobbole/awesome-python-cn

Windows 下的安装

Windows 下安装 Python3 的方式有两种，一种是通过 Anaconda 安装，Anaconda 提供了 Python 的科学计算环境，里面自带了 Python 以及常用的库，如果选用了此种方式后面的环境配置方式会更加简便，另一种是直接下载安装包安装，即标准的安装方式。下面会依次介绍这两种安装方式，任选其一即可。

Anaconda 安装

Anaconda 的 官方下载链接为：https://www.anaconda.com/products/individual，选择 Windows 版本的安装包下载即可，如图所示：

如果下载速度过慢可以选择使用清华大学镜像，下载列表链接为：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/，使用说明链接为：https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/，可以选择需要的版本进行下载，速度相比官网会快很多。

下载完成之后直接双击运行安装包安装即可，安装完成之后 Python3 的环境就配置好了。

安装包安装

推荐直接下载可执行文件安装包安装，到官方网站下载 Python3 安装包。

https://www.python.org/downloads/

到目前为止，Python 的最新版本是 3.9.7，如果想安装特定的 Python 版本，可以查看网页下方的内容，看到各个 Python 安装包的发布历史，如图所示：

由于一些库的兼容性问题，个人比较推荐安装 Python 3.6 或 3.7 版本，而非 3.8、3.9 版本。

Python 3.6 版本安装包的下载链接为：https://www.python.org/downloads/release/python-368/，Python 3.7 版本安装包的下载链接为：https://www.python.org/downloads/release/python-379/，打开之后可以看到如下下载列表：

64 位系统可以下载 Windows x86-64 executable installer，32 位系统可以下载 Windows x86 executable installer。

下载完成之后，直接双击运行 Python 安装包，使用图形界面安装，设置好 Python 的安装路径，完成后将 Python3 和 Python3 的 Scripts 目录配置到环境变量即可。

环境变量的配置，此处以 Win10 系统为例进行演示。

假如我安装后的 Python3 路径为 C:\Python36，从资源管理器中打开该路径，如图所示：

将该路径复制下来。

随后打开电脑-属性，如图所示：

点击左侧的高级系统设置，即可看到在弹出的窗口中下方有环境变量按钮，如图所示：

点击环境变量，找到系统变量下的 Path 变量，随后点击编辑按钮，如图所示：

随后点击新建，新建一个条目，将刚才拷贝的 C:\Python36 复制进去，当然此处的路径就是你的 Python3 安装目录，请自行替换，然后再把 C:\Python36\Scripts 路径复制进去，如图所示：

最后点击确定即可完成环境变量的配置。

配置好环境变量之后，我们就可以直接在命令行直接执行环境变量路径下的可执行文件了，如 python、pip 等命令。

添加别名

以上两种安装方式任选其一即可完成安装，但如果我们之前安装过 Python2 的话，可能会导致版本冲突问题，比如在命令行下输入 python 就不知道是调用的 Python2 还是 Python3 了，为了解决这个问题，建议将安装目录中的 python.exe 复制一份，命名为 python3.exe，这样便可以调用 python3 命令了，实际上和 python 命令是完全一致的，这样可以更好地区分 Python 版本，当然如果没有安装过 Python2 的话也建议添加此别名，添加完毕之后如图所示：

对于 pip 来说，安装包中自带了 pip3.exe 可执行文件，我们也可以直接使用 pip3 命令，无需额外配置。

测试验证

安装完成之后我们可以通过命令行测试一下安装是否成功，在开始菜单搜索 cmd，找到命令提示符，就进入了命令行模式，输入 python 测试一下能否成功调用 python，如果添加了别名的话可以输入 python3 测试，在这里输入的是 python3，如图所示：

类似输出结果如下：

1
2
3
4
5
6
7
8

$ python3
Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 17:54:52) [MSC v.1900 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> print('Hello World')
Hello World
>>> exit()
$ pip3 -V
pip 9.0.1 from c:\python36\lib\site-packages (python 3.6)

如果出现类似上面的提示，则证明 Python3 和 pip3 均安装成功，如果提示命令不存在，那么请检查下环境变量的配置情况。

Linux 下的安装

Linux 下安装方式有多种，命令安装、源码安装、Anaconda 安装。

使用源码安装需要自行编译，时间较长。推荐使用系统自带命令或 Anaconda 安装，简单高效。在这里对各种安装方式分别予以讲解。

命令行安装

不同的 Linux 发行版本安装方式又有不同，在此分别予以介绍。

CentOS、RedHat

如果是 CentOS 或 RedHat 版本，使用 yum 命令安装即可。

1
2

sudo yum update -y
sudo yum install -y python3

Ubuntu、Debian、Deepin

首先安装 Python3，使用 apt-get 安装即可，在安装前还需安装一些基础库，命令如下：

1
2

sudo apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev libcurl4-openssl-dev
sudo apt-get install -y python3

执行完如上命令之后就可以成功安装好 Python3 了。

然后还需要安装 pip3，仍然使用 apt-get 安装即可，命令如下：

1

sudo apt-get install -y python3-pip

执行完毕之后便可以成功安装 Python3 及 pip3。

源码安装

如果命令行安装方式有问题，还可以下载 Python3 源码进行安装。

源码下载地址为：https://www.python.org/ftp/python/，可以自行选用想要的版本进行安装，在此以 Python3.6.2 为例进行说明，安装路径设置为 /usr/local/python3。

首先创建安装目录，命令如下：

1

sudo mkdir /usr/local/python3

随后下载安装包并解压进入，命令如下：

1
2
3

wget --no-check-certificate https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgz
tar -xzvf Python-3.6.2.tgz
cd Python-3.6.2

接下来编译安装，所需时间可能较长，请耐心等待，命令如下：

1
2
3

sudo ./configure --prefix=/usr/local/python3
sudo make
sudo make install

安装完成之后创建 Python3 链接，命令如下：

1

sudo ln -s /usr/local/python3/bin/python3 /usr/bin/python3

随后下载 Pip 安装包并安装，命令如下：

1
2
3
4

wget --no-check-certificate https://github.com/pypa/pip/archive/9.0.1.tar.gz
tar -xzvf 9.0.1.tar.gz
cd pip-9.0.1
python3 setup.py install

安装完成后再创建 Pip3 链接，命令如下：

1

sudo ln -s /usr/local/python3/bin/pip /usr/bin/pip3

这样就成功安装好了 Python3 及 pip3。

Anaconda 安装

Anaconda 同样支持 Linux，Anaconda 的官方下载链接为：https://www.anaconda.com/products/individual，选择对应版本的安装包下载即可。如果下载速度过慢同样可以使用清华镜像，参考 Windows 部分的介绍，在此不再赘述。

测试验证

命令行测试 Python3 和 pip3 是否安装成功。

1
2
3
4
5
6

$ python3
Python 3.6.2 (default, Nov 17 2017, 17:05:23)
Type "help", "copyright", "credits" or "license" for more information.
>>> exit()
$ pip3 -V
pip 8.1.1 from /usr/lib/python3/dist-packages (python 3.6)

如出现类似上面的提示，则证明 Python3 和 pip3 安装成功。

Mac 下的安装

在 Mac 下同样有多种安装方式，如 Homebrew、安装包安装、Anaconda 安装等，推荐使用 Homebrew 安装。

Homebrew 安装

Homebrew 是 Mac 平台下强大的包管理工具，首先安装 Homebrew，官方网站是：https://brew.sh/。

执行如下命令即可安装 Homebrew：

1

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

安装完成后便可以使用 brew 命令安装 Python3 和 pip3 了。

如果要安装 Python3 的最新版本，可以直接运行如下命令：

1

brew install python3

由于一些库的兼容性问题，个人比较推荐安装 Python 3.6 或 3.7 版本，而非 3.8、3.9 版本。

所以这里如果要安装 Python3.7 版本，可以运行如下命令：

1

brew install python@3.7

命令执行完成之后发现 Python3 和 pip3 均已经安装成功。

安装包安装

可以到官方网站下载 Python3 安装包。链接为：。

由于一些库的兼容性问题，个人比较推荐安装 Python 3.6 或 3.7 版本，而非 3.8、3.9 版本。

Python 3.6 版本安装包的下载链接为：https://www.python.org/downloads/release/python-368/，Python 3.7 版本安装包的下载链接为：https://www.python.org/downloads/release/python-379/，打开之后可以看到如下下载列表：

可以选择下载 Mac OS X 64-bit installer，下载完成之后打开安装包按照提示安装即可，安装完毕之后 Python 相关的环境变量就配置好了。

Anaconda 安装

Anaconda 同样支持 Mac，Anaconda 的官方下载链接为：https://www.anaconda.com/products/individual，选择 Python3 版本的安装包下载即可，如图所示：

如果下载速度过慢同样可以使用清华镜像，参考 Windows 部分的介绍，在此不再赘述。

测试验证

命令行测试 Python3 和 pip3 是否安装成功。

1
2
3
4
5
6

$ python3
Python 3.6.2 (default, Nov 17 2017, 17:05:23)
Type "help", "copyright", "credits" or "license" for more information.
>>> exit()
$ pip3 -V
pip 8.1.1 from /usr/lib/python3/dist-packages (python 3.6)

如出现类似上面的提示，则证明 Python3 和 pip3 安装成功。

结语

本节介绍了三大平台 Windows、Linux、Mac 下 Python3 的安装方式，如有疑问欢迎留言。

今天搜歌的时候，发现因为版权问题，网易云和 QQ 音乐都搜不到，说酷狗上能搜到，于是我就把之前好久不用的酷狗音乐下载回来了。

不太记得从什么时候开始用网易云音乐听歌的了，好像是从大学的时候，自从用了网易云之后，酷狗就被我渐渐抛弃了。因为好久不用了，我都不太记得我的账号密码是什么了。

但抱着试一试的心态，我尝试登录了一下。

结果居然登录成功了！

然后我就发现了我好久之前收藏过的一些歌，这里截个图啦：

图里面的这个歌单是 14 年创建的，当时我还记得当时听酷狗音乐的时候，我喜欢玩 QQ 飞车这个游戏，喜欢边听歌边开赛车，为了速度与激情，当时我还专门搜集了好多比较动感的音乐，具体名字其实我也不关心，其实到现在我也分不清哪首歌究竟是谁唱的或者或歌名叫什么。但当时觉得就是好听，一气搜集了好多。

那个时候，我还很喜欢听河图、许嵩、汪苏泷、徐良等人的歌，暴露了哈哈哈，当时我还专门为他们创建了歌单。另外当时还有一些网络情歌、dj 土嗨歌也感觉不错，所以当时就加入到我的收藏里面了。

于是今天我就在挨个听我之前收藏的音乐，感觉每一首歌都是那么亲切！而且个个都是我喜欢的（毕竟是之前收藏过的）！有的歌，听的时候都勾起了我当时玩飞车驰骋赛场时候的画面，那种感觉，真的好亲切而又舒服。

不知道这个怎么解释，这种感觉，就像出门在外好久之后回到家的感觉，许久未见的老友见面的感觉，这些歌里面承载着满满的青春和回忆。

我不知道大家有没有之前也用过其他的一些音乐软件，比如说你也可能前几年用过酷狗、酷我、QQ 音乐、网易云，但是现在已经换了其他的音乐软件了。

如果是这样的话，我推荐大家尝试着找一找之前自己用过的音乐软件的账号，把它下载回来，听听自己之前收藏过的歌单，每个人都有每个人的青春和故事，听着自己喜欢过的老歌，一定是一番别样的感觉。

更多精彩内容，请关注我的公众号「进击的 Coder」和「崔庆才丨静觅」。

我对设计美学有一定执念，所以我在编写一些 UI 的时候会比较注重它的一些美观度、舒适度。

随着现在前端的发展，一些成套的组件库也是层出不穷了，比如基于 Vue 的 Element UI、iView，基于 React 的 Ant Design、Fluent UI 等等，它们设计其实挺好的，但有一些色彩搭配和风格还没有达到我理想中的样子。

我其实比较欣赏苹果的那种半透明设计风，比如这样的：

大家感兴趣可以看苹果的设计手册：https://developer.apple.com/design/human-interface-guidelines/

同时我也对 Material Design 中的一些光影理念比较推崇，但并不太喜欢原生的 Material Design，比如这样的：

我个人觉得这种原生的 Material Design 有点用力过猛，显得有些沉重。

相比之下，目前的一些 Element UI、Ant Design 则算是吸收了二者的一些优点，提供了一些 UI 组件，比如这样的：

这种设计风格显得没有 Material Design 那样厚重，也吸取了一些 Apple Design 的风格，另外一些光影效果拿捏也挺不错的。

然而，这些设计还是没有达到我理想中的样子。

比如说，卡片的一些设计、边缘轮廓的一些设计，总让我感觉没有那么清爽。

后来，直到我用了一款梯 🪜 子软件，它是基于一个叫做 STISLA 的 UI 框架设计的，整体风格是这样的：

一眼看过去，爱了爱了，看起来，它借鉴了 Material Design 的一些光影设计理念，同时又不显得那么厚重，一些布局、卡片和文本框的轮廓也显得很明晰，另外一些配色、图标的样式整体也给人一种清爽的感觉，总之我个人非常喜欢。

这个 UI 框架的名字叫做 STISLA，其官网是： https://getstisla.com/，它是基于 BootStrap4 编写的，很可惜的是，它现在没有提供 Vue、React 的支持，所以使用起来暂时还不能完全组件化，不过里面的一些 class 可以直接拿来用，就像使用 tailwind 一样。

STISLA 现在是完全开源的，其 GitHub 仓库是：https://github.com/stisla/stisla，使用的话直接引用其中的 CSS 即可，这里就不再赘述了。

另外关于更多的组件，大家可以到官方 Demo 示例页面来体验，链接是：https://demo.getstisla.com/index.html，这里简单列举几个组件。

头像：

文章列表：

统计图表：

用户信息：

表单：

表格：

不得不说，每个版面我都觉得非常赏心悦目！感兴趣的就去官网看看吧。

好啦，以上就介绍这么多啦，大家感兴趣的话就快快用起来吧～

更多精彩内容，请关注我的公众号「进击的 Coder」和「崔庆才丨静觅」。

最近看了一些书，学到了一些知识和方法论，比如说看刘未鹏的《暗时间》，就学到了很多知识。

读完之后，收获非常大，于是我决定把其中的一些感想写出来。

首先自然而然的就是有关暗时间的解释了，比如什么是暗时间，怎么来利用暗时间，就是我前面发的那篇文章。

虽然整体上看起来这篇文章的中心思想非常简单，我当时看书的时候也体会到了其中的一些中心思想，但等我真的要把这个写成一篇文章或者感想的时候，我却发现我却想不出一个好的定义，好的引入的例子，我原本以为我能非常流畅地把这篇文章写下来的，但真的到写的时候才发现我并没有做好准备，又去翻看了一下原书才写出来。

通过这件事，我就反思到了两件事：

• 我需要利用好自己的暗时间来思考。

• 读一本书，不去复盘和思考，收效甚微。

对于第一点。比如我在写文章之前，我应该先构思好我这篇文章的整体脉络，比如怎么引入、怎么说明、怎么结尾等等，这些思考其实平常就可以做的，比如我在下班路上、我在洗漱的时候、我在吃饭的时候，就完全可以拿这个时间来思考，思考不出来的，记下来再去翻看下，看看人家作者是怎么把这个观点表达出来的，作者的思路是怎样的。只有思考过了，脑中有大致的脉络，到时候真的写的时候就变得非常流畅了。而如果平时不加思考，只有写作的时候才去思考，有时候写作效率就会比较低。虽然写作也能帮助很好地思考，真的写不出来的时候再去构思和翻看未尝不可，但总体来说，这样不会比平时也思考的结果来的更好。

对于第二点。有时候我看完一本书，不去复盘和思考，只是泛泛地看完，看完就丢在一边再也不打开，其实收效是非常小的。一本书，往往是一个人几年甚至几十年的精华总结，组织很调理而且完整。相比网上一些碎片化的文章、博客、问答，一本书的价值简直大太多了。读书，自然就要理会到其中作者为我们传达的知识、思想，我们不是为了读书而读书，读书是和作者在心灵层次上的交流，要真的理会到作者的传达的意思，我们往往是需要多去思考、多去复盘、多去实践的。因为，这些知识的形成，也都是作者历经了很多实践和思考换来的，如果我们只是浮光掠影地过一遍，不多去思考和复盘，收效往往并不大。

所以说，这件事让我体会到了这两点。不管是做什么吧，多去思考、复盘，同时要利用好自己的暗时间，结果往往总会是不错的。

共勉。

更多精彩内容，请关注我的公众号「进击的 Coder」和「崔庆才丨静觅」。

最近看了一本书叫《暗时间》。一开始我不知道这本书为什么叫这个名字，什么是暗时间啊？

翻开这本书才知道，这本书算是作者刘未鹏的个人方法论总结，其中有一个就叫做暗时间，这也是相当重要的一个部分，读完这部分之后我来写写自己的一些感想。

首先就说说暗时间吧，暗时间什么意思呢？我们先举几个例子来体会下。

比如说一个人，学习看起来非常刻苦，早上不到七点就去自习室了，然后直到晚上熄灯才回来。可是你会发现他考试成绩还是很差。这除了一些智力影响，还有一个重要的影响就是对时间和效率的把控。虽然有的人看起来非常刻苦，但有时候你会发现，他可能人坐在那里，但思绪却已经飞到了九霄云外。有些人学习但时候把一些定义、方法读了又读，但并没有真正地去思考和理解，其实最后还是没有把一件知识想透彻想明白。总的来说，这些有效的时间都没有用来真正去做有效率的事情。

比如说一台服务器，配置相当牛逼，不管是内存、CPU、GPU 都是顶配中的顶配，但是却被放在那闲置不用，一点功能也没有发挥出来，这资源就白白浪费掉了。但如果我们把它每天进行一些数据处理、计算，发挥出它的最大价值，这才是这正利用好了这些时间和资源。所以，这台服务器闲置是一天，满载运行计算也是一天，这两种情况，对服务器来说，产生的价值是完全不一样的。

每个人每天都有 24 小时，但不同的人，利用这 24 小时的方式不同，那产生的效果也就是不同的。人的一天中，有睡眠时间、通勤时间、工作时间、娱乐时间还有很多碎片时间，在这些时间里面，其实有很多时间是暗时间，有的人利用了这些时间进行了思考和学习，而有的人却在这个时间无所事事。

书中特别强调了思考的重要性，一个人在想什么，我们其实是看不出来的，但同时思考又是非常重要的。善于利用暗时间进行思考的人，可以无形中比别人多出好多的时间，从而实际意义上会比别人或好多年。

书中有一个比喻我特别喜欢：

我们每一个人的生命都像一个沙漏，里面装的沙子都差不多（因为大家的寿命都差不多），但不同的是，有些人的沙漏颈部较细，有些人的沙漏颈部较粗。颈部较细的沙漏可以抓住每一粒时间只沙，虽然沙子总量是一样的，但却会拥有更长的生命。

我觉得这个写的是太好了。

我们做一件事情，不能单纯地以投入的时间作为评判标准，时间和效率的乘积才是真正有意义的衡量标准。比如说背个英语单词吧，虽然我们一直在朗读，但发现记忆效果就是差，这是因为很多时间我们并没有去投入身心去记忆和思考，去思考这个单词更深层次的用法，和其他单词、场景的联系等等。同样学习一些新的知识，如果我们不去深入思考，也只能浅尝辄止。

学习就像电脑的 CPU 处理程序一样，如果我们始终给一个任务分配高的优先级，分配更多的时间到上面，那效果自然就是更好一些。学习知识也是一样，如果我们能够始终多去思考，去思考知识底层更深层的原理和关联，那效果也会更好。

但，人的时间总是有限的，比如工作的时间是有限的，学习的时间也是有限的，也有一些时间必须要用来做固定的事情，比如通勤、吃饭等等。但有时候我们就发现，有些人似乎看的东西不我们你多，玩的也不比我们少，但不知道为什么别人就是比我们走的更远。有一个诀窍就是利用了一些暗时间，这部分暗时间完全可以用来思考。

比如说走路、买菜、洗漱、通勤、出游、吃饭等等，这些时间都可以看作是暗时间，我们可以充分利用这些时间进行思考，梳理和精细化之前看的和读的东西。慢慢地，时间长了，就会产生巨大的影响。

平时生活中，我们可以在大脑中时刻留着几个问题，比如工作上的、生活上的、学习上的都可以，如果记不住的话，那就可以把一些可以利用空闲时间思考的问题记录到一个备忘录里面，有事没事的时候翻出来就思考一下。比如说坐车的时候，我们可以去思考今天遇到的一个算法或设计上的问题。比如说洗漱的时候，我们可以构思一篇文章或者文档的内容和设计。有时候可能洗漱的时候，灵感突然来了，一个问题就马上被想通了。这就是充分利用了暗时间的效果。

能把握住暗时间的人，其实就相当于无形中拥有了更多的时间，这些时间被用在了思考之上，也就可以走的更远。

好嘞，就先写到这里，大家也可以试试看，让我们把握住自己的时间沙漏，利用好我们的暗时间，相信它会迸发出意想不到的威力的。

更多精彩内容，请关注我的公众号「进击的 Coder」和「崔庆才丨静觅」。

有时候我们在逛博客、技术帖子的时候会发现有人是这么分享代码的？

这其实是一张图片，虽然说里面的内容不能复制，但是这张图片整体看看起来就很精致有没有？左上角的三个红黄绿的按钮，就是 Mac 中的窗口操作按钮，然后代码的高亮配色都和我们 IDE 中的配色是完全一致的，整体就是一个 Mac 的风格。

最近群里也有小伙伴在问这个是怎么做的，这里就来给大家介绍一下。

这个工具叫做 carbon，它有自己的网站、代码仓库，另外还有一个类似的 VS Code 插件，这里统一给大家介绍下。

网站

carbon 自己维护了一个网站：https://carbon.now.sh/，我们可以打开它来看看：

可以看到 carbon 提供了多种选项，比如主题选择、编程语言、还有一些底色、间距的配置，下方就是代码的预览效果，同时我们还可以在这里编辑代码。

我们可以在下方任意贴上我们想要贴的代码，比如这里有一段 Python 代码：

1
2
3
4

def get_vowels(string):
    return [vowel for vowel in string if vowel in 'aeiou']

print("Vowels are:", get_vowels('This is some random string'))

我们可以直接贴进去，然后我们可以选择喜欢的主题配色，语言，同时可以选择背景颜色，还可以点击 setting 的按钮配置更详细的内容：

这里的 Window controls 可以控制左上角的现实效果，比如是否带有圆角效果、按钮是否带有颜色，另外还可以控制内边距、阴影等等，还有一些自动调整宽度的配置。

完事之后直接点击复制，这里有几个选项，比如复制图片、URL 或者直接复制 iframe。

比如点击复制为 iframe 链接就会得到如下内容：

1
2
3
4
5

<iframe
  src="https://carbon.now.sh/embed?bg=rgba%28255%2C255%2C255%2C1%29&t=material&wt=none&l=python&ds=true&dsyoff=20px&dsblur=68px&wc=true&wa=true&pv=0px&ph=0px&ln=false&fl=1&fm=Hack&fs=14px&lh=133%25&si=false&es=2x&wm=false&code=def%2520get_vowels%28string%29%253A%250A%2520%2520%2520%2520return%2520%255Bvowel%2520for%2520vowel%2520in%2520string%2520if%2520vowel%2520in%2520%27aeiou%27%255D%2520%250A%250Aprint%28%2522Vowels%2520are%253A%2522%252C%2520get_vowels%28%27This%2520is%2520some%2520random%2520string%27%29%29"
  style="width: 561px; height: 146px; border:0; transform: scale(1); overflow:hidden;"
  sandbox="allow-scripts allow-same-origin">
</iframe>

复制为 URL 就会直接得到一个可供使用的 URL：

1

https://carbon.now.sh/?bg=rgba%28255%2C255%2C255%2C1%29&t=material&wt=none&l=python&ds=true&dsyoff=20px&dsblur=68px&wc=true&wa=true&pv=0px&ph=0px&ln=false&fl=1&fm=Hack&fs=14px&lh=133%25&si=false&es=2x&wm=false&code=def%2520get_vowels%28string%29%253A%250A%2520%2520%2520%2520return%2520%255Bvowel%2520for%2520vowel%2520in%2520string%2520if%2520vowel%2520in%2520%27aeiou%27%255D%2520%250A%250Aprint%28%2522Vowels%2520are%253A%2522%252C%2520get_vowels%28%27This%2520is%2520some%2520random%2520string%27%29%29

有了 URL 之后我们可以到任意地址引用。

当然导出也是，可以选择导出矢量图 svg 还是 png，如图所示：

我的话一般都是点击复制，然后用我的 ipic 工具上传到 CDN 上面。

仓库

同时 carbon 还是开源的，GitHub 仓库地址是：https://github.com/carbon-app/carbon，其实这就是刚才我们看到的网站的源码，是基于 Node.js 开发的，扒一扒 package.json 源码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

"dependencies": {
    "@next/bundle-analyzer": "^10.2.2",
    "@reach/visually-hidden": "^0.15.0",
    "actionsack": "^0.0.14",
    "axios": "^0.21.1",
    "cm-show-invisibles": "^3.1.0",
    "codemirror": "5.61.1",
    "codemirror-graphql": "^1.0.1",
    "codemirror-mode-elixir": "^1.1.2",
    "codemirror-solidity": "^0.2.3",
    "date-fns": "^2.21.3",
    "dom-to-image": "^2.6.0",
    "downshift": "^6.1.3",
    "dropperx": "^1.0.1",
    "eitherx": "^1.0.2",
    "email-validator": "^2.0.4",
    "escape-goat": "^3.0.0",
    "firebase": "^8.6.2",
    "graphql": "^15.5.0",
    "highlight.js": "^10.7.2",
    "lodash.debounce": "^4.0.8",
    "lodash.omitby": "^4.6.0",
    "match-sorter": "^6.3.0",
    "morphmorph": "^0.1.3",
    "ms": "^2.1.3",
    "next": "^10.2.2",
    "next-offline": "^5.0.5",
    "prettier": "^2.3.0",
    "react": "^17.0.2",
    "react-click-outside": "^3.0.0",
    "react-codemirror2": "^7.2.1",
    "react-color": "^2.19.3",
    "react-dom": "^17.0.2",
    "react-image-crop": "^6.0.16",
    "react-mailchimp-subscribe": "^2.1.3",
    "tohash": "^1.0.2",
    "use-climate-change-reminder": "^0.0.7"
  },

可以看到它主要基于 Next、React、CodeMirror 开发的，如果大家想基于此进行二次开发也可以，比如对接云存储，实现一些自动化等等。

如果觉得刚才的网站能够满足需求的话，那大可继续使用刚才的网站。

VS Code 插件

另外还有一个类似的 VS Code 插件，也可以实现类似的功能，我觉得还挺好用的，插件叫做 CodeSnap，现在已经十七万多次下载了。

大家在 VS Code 里面搜索生成就好了。

那怎么生成代码图片呢？

其实很简单，我们先选中想要分享的代码：

然后右键菜单选择 CodeSnap 即可，接着在 VS Code 面板就可以生成对应的代码预览效果了：

这时候我们可以点击上方的这个按钮，就可以直接把代码对应的图片下载下来了，如图所示：

得到的效果就和你自己编辑器里面看到的一样，是不是感觉很不错？

CodeSnap 也可以支持在 VSCode 里面更改 settings，目前支持如下内容：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

codesnap.backgroundColor: The background color of the snippet's container. Can be any valid CSS color.

codesnap.boxShadow: The CSS box-shadow for the snippet. Can be any valid CSS box shadow.

codesnap.containerPadding: The padding for the snippet's container. Can be any valid CSS padding.

codesnap.roundedCorners: Boolean value to use rounded corners or square corners for the window.

codesnap.showWindowControls: Boolean value to show or hide OS X style window buttons.

codesnap.showWindowTitle: Boolean value to show or hide window title folder_name - file_name.

codesnap.showLineNumbers: Boolean value to show or hide line numbers.

codesnap.realLineNumbers: Boolean value to start from the real line number of the file instead of 1.

codesnap.transparentBackground: Boolean value to use a transparent background when taking the screenshot.

codesnap.target: Either container to take the screenshot with the container, or window to only take the window.

codesnap.shutterAction: Either save to save the screenshot into a file, or copy to copy the screenshot into the clipboard.

关于更多的内容大家可以直接到 CodeSnap 插件的主页查看：https://marketplace.visualstudio.com/items?itemName=adpyke.codesnap

另外这里也顺便提下我的 VS Code 主题，我用的是 Community Material Theme 这个插件：

然后使用它提供的第一个默认主题：

如果大家觉得不错的话也欢迎试试哈～

希望对大家有帮助。

更多精彩内容，请关注我的公众号「进击的 Coder」和「崔庆才丨静觅」。

有时候我们可能为了测试各种各样的功能，需要用邮箱注册一些网站，然后过段时间就发现这个网站开始往我们的邮箱发送一些垃圾广告信息，比如如图所示：

很多邮箱服务有自动垃圾邮件分类的功能，但免不了的还是有些不好区分，来了不感兴趣的邮件我们还是要手动设置下规则，有时候关还关不掉。

如果我们只是为了简单测试某些功能，同时又不想发生上面的事情，那我们其实可以用一些小号邮箱来注册，或者生成一些临时邮箱来注册。

这里来介绍一个工具，帮助快速生成临时邮箱，简单好用。

tmpmail

这个工具叫做 tmpmail，GitHub 地址是 https://github.com/sdushantha/tmpmail，它就是一个简单的命令行 Shell 脚本，安装完了之后就可以使用了，Windows、Linux、Mac 上都是可用的。

由于我使用的是 Mac，这里介绍下 Mac 的安装方式，首先安装依赖：

1

brew install w3m curl jq

然后根据 GitHub 对应的提示安装即可：

1

curl -L "https://git.io/tmpmail" > tmpmail && chmod +x tmpmail

我们也可以把它移动到对应的系统路径下，比如 /usr/bin，/usr/local/bin 等：

1

mv tmpmail /usr/local/bin/

这样就安装好了，tmpmail 就可以正常使用了。

使用

使用其实非常简单，首先我们使用 tmpmail 就可以生成一个临时邮箱：

1

tmpmail

运行结果类似如下：

1
2
3

[ Inbox for hl9dvc3wbub@yoggm.com ]

No new mail

这里其实就是生成了一个临时邮箱，叫做 hl9dvc3wbub@yoggm.com，然后下面提示了 No new mail，就是没有新邮件的意思。

有朋友就会说了，咋没有密码啊？其实我们无需关心密码的对不对，我们只关心它收到的邮件内容就好了，比如我们应该是拿着这个邮箱去别的网站注册账号，然后网站会往这个邮箱发送一封激活邮件，点击就激活了。所以对于这个临时邮箱，我们只要能知道邮箱里面收到的邮件就好了。

所以 tmpmail 其实相当于帮我们维护了密码，我们无需关心，它可以自动帮我们把收件箱里面的邮件列出来。

OK，如果我们要更换邮箱也可以，直接重新生成一个就好了：

1

tmpmail --generate

运行结果如下：

1

j2uabw3jmfn@wwjmp.com

这样就重新生成了一个新的邮箱。

这时候重新运行 tmpmail，它就会使用当前最新生成的邮箱，运行结果如下：

1
2
3

[ Inbox for j2uabw3jmfn@wwjmp.com ]

No new mail

OK，准备工作就绪。

注册测试

接下来我们就随便找个网站注册个账号试试吧。

比如 Zyte 这个平台，前身叫做 Scrapinghub，提供一些数据爬取的服务，网址是 https://www.zyte.com/，如图所示：

我们来注册下试试：

填上用户名之后，我们使用刚才 tmpmail 生成的临时邮箱来注册这个账号，输入密码之后点击注册。

这里 Zyte 就提示我们激活邮件就发送出去了，我们需要到对应邮箱里面查收激活链接并激活账号。

查收激活

OK，回到 tmpmail，看看邮件收到没。

还是输入：

1

tmpmail

这时候就可以看到如下运行结果了：

1
2
3

[ Inbox for j2uabw3jmfn@wwjmp.com ]

231112827   bounce+6ec610.a13e529-j2uabw3jmfn=wwjmp.com@mg.zyte.com   Zyte Email confirmation

非常赞，这里就显示了是 bounce+6ec610.a13e529-j2uabw3jmfn=wwjmp.com@mg.zyte.com 发送的邮件，邮件标题是 Zyte Email confirmation，然后最前面有个 ID，是 231112827。

P.S.：其实看着 Zyte 也是一个临时邮箱发送的这个邮件。

那这么打开这个邮件呢？很简单，tmpmail 命令加这个 ID 就好了：

1

tmpmail 231112827

运行结果如下：

这里就把邮件的内容展示出来了，内容就是感谢您的注册，然后点击链接激活即可，tmpmail 还自动解析了可点击的内容，比如超链接变成了可点击的内容，我们可以直接鼠标点击中间蓝色的 Confirm mail address 就在命令行下触发了链接的访问。

然后接下来命令行还显示了点击链接之后的网页内容：

基本上就是感谢您的注册，您的账户已经成功激活了。

完事了！

到现在为止我们就轻松利用 tmpmail 利用临时邮箱注册好了一个测试账号。

重新回到 Zyte 里面，输入刚才的邮箱和密码就成功登录进来了：

这里有代理服务、自动内容提取、云爬虫、Splash 渲染服务，大家感兴趣的话也可以试试看～

更多精彩内容，请关注我的公众号「进击的 Coder」和「崔庆才丨静觅」。

事情是这样的，最近组里新建了一个代码仓库来开发一个新的产品，再加上今天北京下大雨很多同事选择在家工作（包括我也是），于是我就选择用自己的个人电脑来工作。

但我的个人电脑里面的 Git 信息是用的我自己的个人邮箱：

1
2

git config --global user.name "Germey"
git config --global user.email "cqc@cuiqingcai.com"

这两行命令大家用过 Git 的肯定都敲过对吧？

这个配置是全局生效的，所以如果我用 Git 的 commit 命令来提交代码的话，那么 commit 的名字和邮箱就会变成刚才我配置的个人信息。

然后如果把代码推送到公司的代码仓库里面，里面就会出现一个奇奇怪怪的用户名和头像，就像这样子：

图中上面两次 commit 就是我用个人电脑提交的，最后的那次 commit 是我上周在公司用公司电脑提交的。

这是不是很奇怪？

如果其他人也用的个人邮箱提交，那公司代码库里面就会出现各种怪怪的提交人的记录，无从知晓。

这肯定不能忍啊，以后要是有谁写了奇怪的代码都不好查是谁写的。

于是乎，我灵机一动，想：为何不在提交代码的时候做一个限制呢？

能做到吗？当然可以！

Git Hook

这里就介绍一个知识点 - Git Hook，它的意思就是在 Git 各种事件执行前和执行后执行一些自定义的逻辑，比如说，我们定义一个 pre-commit 的 Git Hook，那就能在 commit 之前执行一些操作，我们定义一个 post-push 的 Git Hook，那就能在 push 操作之后执行一些操作。

有关具体的内容可以参考官方文档：https://git-scm.com/book/en/v2/Customizing-Git-Git-Hooks

好，那这里我其实就是需要在 commit 之前做一下 Git 信息检查就好了，比如检查配置的邮箱不是工作邮箱，那就不允许执行 commit，所以就不会出现奇奇怪怪的 commit 记录了。

实操

说干就干。

配置 Git Hook 的工具有很多，Git 有原生支持，当然我们也可以用第三方库来做。

目前我们的代码仓库是基于 Node.js 开发的，所以 Node.js 的项目配置 Git Hook 比较流行的解决方案就是 husky，所以这里我也用 husky 来做了。

首先安装下 husky：

1

yarn add husky

然后配置一个 Node.js 的 prepare 命令，这个命令可以在装完包 Node.js 包之后自动执行，所以 prepare 命令就配置成 husky 初始化的脚本，package.json 里面增加如下配置：

1
2
3
4
5
6

{
  "scripts": {
    ...
    "prepare": "npx husky install"
  },
}

OK，这样的话，其他人如果 clone 了这个仓库，装完所有 Node.js 包之后就会自动初始化 husky 的配置，然后在项目本地生成一个 .husky 的初始化目录，这样 Git Hook 就生效了。

Git Hook 生效之后，所有定义在 .husky 目录下的 Hook 脚本都会被应用，比如如果在 .husky 目录下添加一个 pre-commit 的脚本，那执行 commit 的之前，该脚本就会被预先执行做一些检查工作。

所以 .husky 目录下我就创建了一个 pre-commit 的脚本，写入了如下内容：

1
2
3
4
5
6
7
8
9

EMAIL=$(git config user.email)
if [[ ! $EMAIL =~ ^[.[:alnum:]]+@microsoft\.com$ ]];
then
  echo "Your git information is not valid";
  echo "Please run:"
  echo '   git config --local user.name "<Your name in Microsoft>"'
  echo '   git config --local user.email "<Your alias>@microsoft.com"'
  exit 1;
fi;

这是一个 Linux Shell 脚本，完全遵循 Shell 语法。

这里其实就是获取了 git config user.email 的返回结果，然后用正则表达式匹配是否符合公司邮箱格式，比如我们公司邮箱后缀当然是 microsoft.com 后缀，所以这里就用了 ^[.[:alnum:]]+@microsoft\.com$ 来进行匹配了。这里值得注意的是，为什么这里没有用 \S 来代表非空白字符，而是用了一个 [:alnum] 呢？这是因为 Bash Shell 本身不支持 \S 这种匹配，所以这里得换成 [:alnum]。

然后如果不匹配怎么办呢？

那就输出一些错误提示就好了，比如这里就提示请使用 git config —-local 命令来配置用户名和邮箱，之所以用-—local 是因为不想该配置影响全局的 Git 配置，所以这个配置只针对该仓库生效，然后 exit 1 就触发异常退出，程序运行终止，从而也不会触发 commit 命令了。

有了这个配置，我们来尝试下效果。

这会我没有做任何修改，Git 还是原来的配置，即我的全局个人邮箱配置。

这时候我执行下 commit 命令，就出现错误提示了：

1
2
3
4

Your git information is not valid
Please run:
   git config --local user.name "<Your name in Microsoft>"
   git config --local user.email "<alias>@microsoft.com"

很棒！检测出来了。

按照这个提示说的，然后我运行下配置命令：

1
2

git config --global user.name "Qingcai Cui"
git config --global user.email "xxxx@microsoft.com"

这里呢，我就配置了我的公司个人信息和公司邮箱。

然后重新再执行 commit 命令，就不会再出现如上的错误提示了！commit 成功！

大功告成！！！

有了它，我们就可以成功阻止一些奇奇怪怪的 commit 乱入公司的代码仓库了！

然后我把这个 PR 发出去了，有同事似乎也是深有感触，说道：

哈哈哈，有了这个，以后我们应该再也不会看到我们的代码仓库里面有 QQ 邮箱啦！

希望对大家有帮助～

更多精彩内容，请关注我的公众号「进击的 Coder」和「崔庆才丨静觅」。

想必大家都是从学生时代过来的，或者现在还处于学生时代。

在学生时代，大家有没有见过，有的同学非常非常努力，上课听得非常认真，笔记也记录得非常认真，同时各种颜色和标记把书上画得密密麻麻，但是似乎考试成绩并没有那么理想。然而有的同学，几乎也不记笔记，书上甚至几乎都是干干净净的，也不见有多么努力，但是考试成绩就是好。

这是为什么呢？最近看了《认知天性》这本书的一些内容，觉得说得还是很有道理的，在这里想把我的一些感悟写下来。

那些没有效果的努力

首先我们不能否认智力上确实有的同学就是聪明，这一点在数理化上体现得更为明显一些。但是在偏重一些记忆的科目上，上述的情况也有很多很多。比如同样记忆一些知识点，背英语单词等，有些同学非常努力地在大声反复背和念，但是效果并不理想，但有的同学其实就简单看几遍，然后后面就记得很牢。

说这个例子我想表明的一个观点是：耗费心血的学习才是深层次的，效果也会更持久，不花力气的学习就像在沙子上写字，今天写上，明天字就消失了。

之前老师经常教导我们，背单词要大声读出来，多读几遍，多拼几遍，手口耳并用。学习一个知识点的时候，我们要反复去看和阅读，并进行一些集中练习。但其实，这些并没有抓住本质，反而可能还是效率最低的学习方式。因为这个单词或知识点，我们只是在大声阅读、拼写而已，这种行为其实可以归为一种不花力气的学习，这个学习过程并没有给大脑带来什么挑战，这种记忆效率往往并不理想，而且就算当时记住了，那也会很快忘记了。

其实我之前其实也很多时候也用刚才说的模式来学习。比如背单词的时候我就反复拼好多遍、读好多遍，而很少主动去默写，去联想记忆，去做自测等等。所以，大部分时间，我的其实就是反复机械式地向大脑灌输一些强化的信息，最后的结果就是，很多单词和知识点，我当时从 0 到记忆住一个知识点的过程比较漫长，而且后来绝大多数知识点也都很快忘记了。

我印象深刻的知识是怎么来的

但我也回想起来，似乎之前学习过的某些知识点我到现在还记得，而且记得很牢。

比如我现在就记得几个地理知识点，亚洲和北美洲的分界线是白令海峡，北美洲和南美洲的分界线是巴拿马运河，等等。

为什么这几个知识点我记得这么牢呢？因为我当时在记忆这几个知识点的时候，我姐姐正好来了我家，我就让她给我提问这几个知识点。一开始提问的时候我其实并没有记录得多么牢，绞尽脑汁也没想出来，导致好几个问题答错了，错了之后我就去再记一遍，然后又让我姐姐给我提问。似乎经历了三四轮吧，最后我把所有的问题都答对了，于是后来我就对这些知识点的印象深刻很多。

正是因为这个过程，我的大脑经历了反复几次有挑战性的任务，在姐姐跟我提问的过程中，大脑触发了一些主动的思考和联想，然后没有记住的知识点再进行更有针对性的记忆。经过反复的几次提问，大脑的思考，知识的检索，这几个知识点就在我脑海中的印象变得更加深刻。

所以，耗费心血、对大脑有挑战性的学习才是深层次的，这个过程往往伴随着大脑对信息的主动检索，效果也会更好。

什么才是有效的学习

所以，在很多情况下，我们要进行一些有效的学习，就需要做一些对大脑有挑战性的事情，这里举几个例子方便大家理解：

• 比如记忆一个知识点或者背单词的时候，反复阅读的效果往往是很差的，我们可以尝试让自己不看书本复述或默写出来，对大脑带来一些挑战，这样记忆一遍会更加深刻，另外让别人给自己提问或者默写也是不错的强化记忆的有效手段。

• 比如读一本书，我们自以为是看完了，但其实本质上我们只是经历了一次泛读的过程，当时有个印象，但过段时间就几乎忘得差不多了。我们可以尝试拿出一张纸或者打卡一个空的思维导图，让大脑把整体的思维脉络、核心内容梳理出来。这当然是一个非常难的过程，我们可能很难一次性完成，但没关系，想不起来的就把书再打开看看，然后继续默写。多尝试两三次，我们会对整个书本的内容在大脑里面形成更深刻的印象。

• 比如看了一篇讲座或者学习了一个课，最有效的学习和记忆手段往往是把读后感或者总结写出来，或者动手跟着做一遍，因为这个过程伴随着非常多的脉络梳理和大脑主动检索内容的过程。有人说，一个内容只看一遍，最后我们往往只能记住一小部分，但是如果我们能够把整个内容讲出来，那最后我们几乎能记住绝大部分。我也在做类似的尝试，比如今天我看了《认知天性》这本书的第一章内容，我就尝试把自己的读后感写出来，也就是你正看到的这篇文章，我相信我以后会对这部分内容的理解和记忆更加深刻。比如我学习了一个新的知识点，我就尝试把它梳理成自己的一篇文章，在梳理的过程中，我经历了思考、检索、记忆等各个过程，最后理解也会更加全面和深刻。

人天性是懒惰的，学习的过程中，大脑跟着一起懒惰，去机械式地学习往往是不可取的。所以，总的来说，我们在学习的时候不要死板地反复阅读，可以尽量给大脑一些有挑战性的工作，比如尝试默写、复述、思考和梳理等等，让大脑主动去检索和记忆，如果发现想不起来，那我们也知道哪部分内容需要重点学习的内容。只有这样，才是学习和记忆的正确方式。

共勉。

更多精彩内容，请关注我的公众号「进击的 Coder」和「崔庆才丨静觅」。

之前我曾经写过一篇文章说 Google ReCAPTCHA 验证码的绕过方法，当时介绍的是用 2Captcha，然而有些朋友跟我反映说 2Captcha 价格比较贵，而且用起来比较复杂。

今天再给大家介绍另一个用于破解 Google ReCAPTCHA 的方法。

ReCAPTCHA 介绍

可能大家还没听说过什么是 ReCAPTCHA，可能由于某些原因，这个验证码在国内出现不多，不过想必大家应该多多少少见过或用过。它长这个样子：

这时候，只要我们点击最前面的复选框，验证码算法会首先利用其「风险分析引擎」做一次安全检测，如果直接检验通过的话，我们会直接得到如下的结果：

如果算法检测到当前系统存在风险，比如可能是陌生的网络环境，可能是模拟程序，会需要做二次校验。它会进一步弹出类似如下的内容：

比如上面这张图，验证码页面会出现九张图片，同时最上方出现文字「树木」，我们需要点选下方九张图中出现「树木」的图片，点选完成之后，可能还会出现几张新的图片，我们需要再次完成点选，最后点击「验证」按钮即可完成验证。 或者我们可以点击下方的「耳机」图标，这时候会切换到听写模式，验证码会变成这样：

这时候我们如果能填写对验证码读的音频内容，同样可以通过验证。 这两种方式都可以通过验证，验证完成之后，我们才能完成表单的提交，比如完成登录、注册等操作。 这种验证码叫什么名字？ 这个验证码就是 Google 的 ReCAPTCHA V2 验证码，它就属于行为验证码的一种，这些行为包括点选复选框、选择对应图片、语音听写等内容，只有将这些行为校验通过，此验证码才能通过验证。相比于一般的图形验证码来说，此种验证码交互体验更好、安全性会更高、破解难度更大。

其实上文所介绍的验证码仅仅是 ReCAPTCHA 验证码的一种形式，是 V2 的显式版本，另外其 V2 版本还有隐式版本，隐式版本在校验的时候不会再显式地出现验证页面，它是通过 JavaScript 将验证码和提交按钮进行绑定，在提交表单的时候会自动完成校验。除了 V2 版本，Google 又推出了最新的 V3 版本，reCAPTCHA V3 验证码会为根据用户的行为来计算一个分数，这个分数代表了用户可能为机器人的概率，最后通过概率来判断校验是否可以通过。其安全性更高、体验更好。

体验

那哪里可以体验到 ReCAPTCHA 呢？我们可以打开这个网站：https://www.google.com/recaptcha/api2/demo，建议科学上网，同时用匿名窗口打开，这样的话测试不会受到历史 Cookies 的干扰，如图所示：

这时候，我们可以看到下方有个 ReCAPTCHA 的窗口，然后点击之后就出现了一个验证图块。

当然靠人工是能解的，但对于爬虫来说肯定不行啊，那怎么自动化解呢？

接下来我们就来介绍一个简单好用的平台。

解决方案

本次我们介绍的一个 ReCAPTCHA 破解服务叫做 YesCaptcha，主页是 http://yescaptcha.365world.com.cn/，它现在同时可以支持 V2 和 V3 版本的破解。

我们这次就用它来尝试解一下刚才的 ReCAPTCHA 上的 V2 类型验证码：https://www.google.com/recaptcha/api2/demo。

简单注册之后，可以找到首页有一个 Token。我们可以复制下来以备后面使用，如图所示：

它有两个关键的 API，一个是创建验证码服务任务，另一个是查询任务状态，API 如下：

• 创建任务：http://api.yescaptcha.365world.com.cn/v3/recaptcha/create

• 查询状态：http://api.yescaptcha.365world.com.cn/v3/recaptcha/status

API 文档可以参考这里：http://docs.yescaptcha.365world.com.cn/

经过 API 文档可以看到使用的时候可以配置如下参数：

这里就有三个关键信息了：

• token：就是刚才我们在 YesCaptcha 上复制下来的参数

• siteKey：这个是 ReCAPACHA 的标志字符串，稍后我们会演示怎么找。

• siteReferer，一般是 ReCAPTCHA 的来源网站的 Referer，比如对于当前的案例，该值就是 https://www.google.com/recaptcha/api2/demo

那 siteKey 怎么找呢？其实很简单，我们看下当前 ReCAPTCHA 的 HTML 源码，从源码里面找一下就好了：

这里可以看到每个 ReCAPTCHA 都对应一个 div，div 有个属性叫做 date-sitekey，看这里的值就是：

1

6Le-wvkSAAAAAPBMRTvw0Q4Muexq9bi0DJwx_mJ-

好，万事俱备了，只差代码了！

开工

我们就用最简单 requests 来实现下吧，首先把常量定义一下：

1
2
3
4

TOKEN = '50a07xxxxxxxxxxxxxxxxxxxxxxxxxf78'  # 请替换成自己的TOKEN
REFERER = 'https://www.google.com/recaptcha/api2/demo'
BASE_URL = 'http://api.yescaptcha.365world.com.cn'
SITE_KEY = '6Le-wvkSAAAAAPBMRTvw0Q4Muexq9bi0DJwx_mJ-' # 请替换成自己的SITE_KEY

这里我们定义了这么几个常量：

• TOKEN：就是网站上复制来的 token

• REFERER：就是 Demo 网站的链接

• API_BASE_URL：就是 YesCaptcha 的 API 网址

• SITE_KEY：就是刚才我们找到的 data-sitekey

然后我们定义一个创建任务的方法：

1
2
3
4
5
6
7
8
9
10

def create_task():
    url = f"{BASE_URL}/v3/recaptcha/create?token={TOKEN}&siteKey={SITE_KEY}&siteReferer={REFERER}"
    try:
        response = requests.get(url)
        if response.status_code == 200:
            data = response.json()
            print('response data:', data)
            return data.get('data', {}).get('taskId')
    except requests.RequestException as e:
        print('create task failed', e)

这里就是调 API 来创建任务，没什么好说的。

如果创建成功之后会得到一个 task_id，接下来我们就需要用这个 task_id 来轮询查看任务的状态，定义如下的这么一个方法：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

def polling_task(task_id):
    url = f"{BASE_URL}/v3/recaptcha/status?token={TOKEN}&taskId={task_id}"
    count = 0
    while count < 120:
        try:
            response = requests.get(url)
            if response.status_code == 200:
                data = response.json()
                print('polling result', data)
                status = data.get('data', {}).get('status')
                print('status of task', status)
                if status == 'Success':
                    return data.get('data', {}).get('response')
        except requests.RequestException as e:
            print('polling task failed', e)
        finally:
            count += 1
            time.sleep(1)

这里就是设置了最长轮询次数 120 次，请求的 API 就是查询任务状态的 API，会得到一个任务状态的结果，如果结果是 Success，那就证明任务成功了，解析其中的 response 结果就是验证码破解之后得到的 token。

两个方法调用一下：

1
2
3
4
5

if __name__ == '__main__':
    task_id = create_task()
    print('create task successfully', task_id)
    response = polling_task(task_id)
    print('get response:', response[0:40]+'...')

运行结果类似如下：

1
2
3
4
5
6
7
8
9

response data: {'status': 0, 'msg': 'ok', 'data': {'taskId': '1479436991'}}
create task successfully 1479436991
polling result {'status': 0, 'msg': 'ok', 'data': {'status': 'Working'}}
status of task Working
polling result {'status': 0, 'msg': 'ok', 'data': {'status': 'Working'}}
status of task Working
polling result {'status': 0, 'msg': 'ok', 'data': {'status': 'Working'}}
status of task Working
polling result {'status': 0, 'msg': 'ok', 'data': {'status': 'Success', 'response': '03AGdBq27-ABqvNmgq96iuprN8Mvzfq6_8noknIed5foLb15oWvWVksq9KesDkDd7dgMMr-UmqULZduXTWr87scJXl3djhl2btPO721eFAYsVzSk7ftr4uHBdJWonnEemr9dNaFB9qx5pnxr3P24AC7cCfKlOH_XARaN4pvbPNxx_UY5G5fzKUPFDOV14nNkCWl61jwwC0fuwetH1q99r4hBQxyI6XICD3PiHyHJMZ_-wolcO1R9C90iGQyjzrSMiNqErezO24ODCiKRyX2cVaMwM9plbxDSuyKUVaDHqccz8UrTNNdJ4m2WxKrD9wZDWaSK10Ti1LgsqOWKjKwqBbuyRS_BkSjG6OJdHqJN4bpk_jAcPMO13wXrnHBaXdK4FNDR9-dUvupHEnr7QZEuNoRxwl8FnO2Fgwzp2sJbGeQkMbSVYWdAalE6fzJ8NwsFJxCdDyeyO817buBtvTJ4C06C1uZ92fpPTeYGJwbbicOuqbGfHNTyiSJeRNmt-5RKz0OUiPJOPnmVKGlWBOqwbwCW1WZt-E-hH4FEg4En5TITmmPb_feS9dWKUxudn1U0hHk2vV9PerjZLtI7F67KtgmcqRrARPbwnc6KyAi3Hy1hthP92lv4MRIcO2jx0Llvsja-G2nhjZB0ZoJwkb9106pmqldiwlXxky4Dcg7VPStiCYJvhQpRYol7Iq1_ltU2tyhMqsu_Xa8Z6Mr5ykRCLnmlLb8DV8isndrdwp84wo_vPARGRj7Up9ov-ycb5lDKTf1XRaHiMCa8d2WLy0Pjco9UnsRAPw0FW3MsBJah6ryHUUDho7ffhUUgV1k86ryJym6xbWch1sVC4D5owzrCFn6L-rSLc5SS1pza2zU5LK4kAZCmbXNRffiFrhUY8nP4T1xaR2KMhIaN8HhJQpR8sQh1Azc-QkDy4rwbYmxUrysYGMrAOnmDx9z7tWQXbJE4IgCVMx5wihSiE-T8nbF5y1aJ0Ru9zqg1nZ3GSqsucSnvJA8HV5t9v0QSG5cBC1x5HIceA-2uEGSjwcmYOMw8D_65Dl-d6yVk1YN2FZCgMWY5ewzB1RAFN1BMqKoITQJ64jq3lKATpkc5i7aTA2bRGQyXrbDyMRIrVXKnYMHegfMbDn0l4O81a8vxmevLspKkacVPiqLsAe-73jAxMvsOqaG7cKxMQO9CY3qbtD55YgN0W4p2jyNSVz3aEpffHRqYyWMsRI5LddLgaZQDoHHgGUhV580PSIdZJ5eKd0gOjxIYxKlr0IgbMWRmsG_TgDNImy1c5oey8ojl-zWpOQW7bnfq5Z4tZ10_sCTfoOZVLqRuOsqB1OOO9pLRQojLBP0HUiGhRAr_As9EIDu6F9NIQfdAmCaVvavJbi1CZITFjcywP-tBrHsxpwkCXlwl996MK_XyEDuyWnJVGiVSthUMY306tIh1Xxj93W3KQJCzsfJQcjN-3lGLLeDFddypHyG4yrpRqRHHBNyiNJHgxSk5SaShEhXvByjkepvhrKX3kJssCU04biqqmkrQ49GqBV9OsWIy0nN3OJTx8v05MP8aU8YYkYBF01UbSff4mTfLAhin6iWk84Y074mRbe2MbgFAdU58KnCrwYVxcAR8voZsFxbxNwZXdVeexNx5HlIlSgaAHLWm2kFWmGPPW-ZA7R8Wst-mc7oIKft5iJl8Ea0YFz8oXyVgQk1rd9nDR3xGe5mWL1co0MiW1yvHg'}}

如果其返回的是如上格式的数据，就代表 ReCAPTCHA 验证码已经识别成功了，其返回的 response 字段的内容就是识别的 token，我们直接拿着这个 token 放到表单里面提交就成功了。

那这个 token 怎么来用呢？ 其实如果我们用浏览器验证验证成功之后，点击表单提交的时候，在其表单里面会把一个 name 叫做 g-recaptcha-response 的 textarea 赋值，如果验证成功，它的 value 值就是验证之后得到的 token，这个会作为表单提交的一部分发送到服务器进行验证。如果这个字段校验成功了，那就没问题了。

所以，如上的过程相当于为我们模拟了点选验证码的过程，其最终得到的这个 token 其实就是我们应该赋值给 name 为 g-recaptcha-response 的内容。 那么怎么赋值呢？ 很简单，用 JavaScript 就好了。我们可以用 JavaScript 选取到这个 textarea，然后直接赋值即可，代码如下：

1

document.getElementById("g-recaptcha-response").innerHTML="TOKEN_FROM_YESCAPTCHA";

注意这里的 TOKEN_FROM_YESCAPTCHA 需要换成刚才我们所得到的 token 值。我们做爬虫模拟登录的时候，假如是用 Selenium、Puppeteer 等软件，在模拟程序里面，只需要模拟执行这段 JavaScript 代码，就可以成功赋值了。 执行之后，直接提交表单，我们查看下 Network 请求：

可以看到其就是提交了一个表单，其中有一个字段就是 g-recaptcha-response，它会发送到服务端进行校验，校验通过，那就成功了。 所以，如果我们借助于 YesCaptcha 得到了这个 token，然后把它赋值到表单的 textarea 里面，表单就会提交，如果 token 有效，就能成功绕过登录，而不需要我们再去点选验证码了。 最后我们得到如下成功的页面：

当然我们也可以使用 requests 来模拟完成表单提交：

1
2
3
4
5
6

def verify(response):
    url = "https://www.google.com/recaptcha/api2/demo"
    data = {"g-recaptcha-response": response}
    response = requests.post(url, data=data)
    if response.status_code == 200:
        return response.text

最后完善一下调用：

1
2
3
4
5
6
7

if __name__ == '__main__':
    task_id = create_task()
    print('create task successfully', task_id)
    response = polling_task(task_id)
    print('get response:', response[0:40]+'...')
    result = verify(response)
    print(result)

运行结果如下：

1
2
3
4
5
6
7
8
9
10
11
12

response data: {'status': 0, 'msg': 'ok', 'data': {'taskId': '1479436991'}}
create task successfully 1479436991
polling result {'status': 0, 'msg': 'ok', 'data': {'status': 'Working'}}
status of task Working
polling result {'status': 0, 'msg': 'ok', 'data': {'status': 'Working'}}
status of task Working
polling result {'status': 0, 'msg': 'ok', 'data': {'status': 'Working'}}
status of task Working
polling result {'status': 0, 'msg': 'ok', 'data': {'status': 'Success', 'response': '03AGdBq27-ABqvNmgq96iuprN8Mvzfq6_8noknIed5foLb15oWvWVksq9KesDkDd7dgMMr-UmqULZduXTWr87scJXl3djhl2btPO721eFAYsVzSk7ftr4uHBdJWonnEemr9dNaFB9qx5pnxr3P24AC7cCfKlOH_XARaN4pvbPNxx_UY5G5fzKUPFDOV14nNkCWl61jwwC0fuwetH1q99r4hBQxyI6XICD3PiHyHJMZ_-wolcO1R9C90iGQyjzrSMiNqErezO24ODCiKRyX2cVaMwM9plbxDSuyKUVaDHqccz8UrTNNdJ4m2WxKrD9wZDWaSK10Ti1LgsqOWKjKwqBbuyRS_BkSjG6OJdHqJN4bpk_jAcPMO13wXrnHBaXdK4FNDR9-dUvupHEnr7QZEuNoRxwl8FnO2Fgwzp2sJbGeQkMbSVYWdAalE6fzJ8NwsFJxCdDyeyO817buBtvTJ4C06C1uZ92fpPTeYGJwbbicOuqbGfHNTyiSJeRNmt-5RKz0OUiPJOPnmVKGlWBOqwbwCW1WZt-E-hH4FEg4En5TITmmPb_feS9dWKUxudn1U0hHk2vV9PerjZLtI7F67KtgmcqRrARPbwnc6KyAi3Hy1hthP92lv4MRIcO2jx0Llvsja-G2nhjZB0ZoJwkb9106pmqldiwlXxky4Dcg7VPStiCYJvhQpRYol7Iq1_ltU2tyhMqsu_Xa8Z6Mr5ykRCLnmlLb8DV8isndrdwp84wo_vPARGRj7Up9ov-ycb5lDKTf1XRaHiMCa8d2WLy0Pjco9UnsRAPw0FW3MsBJah6ryHUUDho7ffhUUgV1k86ryJym6xbWch1sVC4D5owzrCFn6L-rSLc5SS1pza2zU5LK4kAZCmbXNRffiFrhUY8nP4T1xaR2KMhIaN8HhJQpR8sQh1Azc-QkDy4rwbYmxUrysYGMrAOnmDx9z7tWQXbJE4IgCVMx5wihSiE-T8nbF5y1aJ0Ru9zqg1nZ3GSqsucSnvJA8HV5t9v0QSG5cBC1x5HIceA-2uEGSjwcmYOMw8D_65Dl-d6yVk1YN2FZCgMWY5ewzB1RAFN1BMqKoITQJ64jq3lKATpkc5i7aTA2bRGQyXrbDyMRIrVXKnYMHegfMbDn0l4O81a8vxmevLspKkacVPiqLsAe-73jAxMvsOqaG7cKxMQO9CY3qbtD55YgN0W4p2jyNSVz3aEpffHRqYyWMsRI5LddLgaZQDoHHgGUhV580PSIdZJ5eKd0gOjxIYxKlr0IgbMWRmsG_TgDNImy1c5oey8ojl-zWpOQW7bnfq5Z4tZ10_sCTfoOZVLqRuOsqB1OOO9pLRQojLBP0HUiGhRAr_As9EIDu6F9NIQfdAmCaVvavJbi1CZITFjcywP-tBrHsxpwkCXlwl996MK_XyEDuyWnJVGiVSthUMY306tIh1Xxj93W3KQJCzsfJQcjN-3lGLLeDFddypHyG4yrpRqRHHBNyiNJHgxSk5SaShEhXvByjkepvhrKX3kJssCU04biqqmkrQ49GqBV9OsWIy0nN3OJTx8v05MP8aU8YYkYBF01UbSff4mTfLAhin6iWk84Y074mRbe2MbgFAdU58KnCrwYVxcAR8voZsFxbxNwZXdVeexNx5HlIlSgaAHLWm2kFWmGPPW-ZA7R8Wst-mc7oIKft5iJl8Ea0YFz8oXyVgQk1rd9nDR3xGe5mWL1co0MiW1yvHg'}}
status of task Success
get response: 03AGdBq27-ABqvNmgq96iuprN8Mvzfq6_8noknIe...
<!DOCTYPE HTML><html dir="ltr"><head><meta http-equiv="content-type" content="text/html; charset=UTF-8"><meta name="viewport" content="width=device-width, user-scalable=yes"><title>ReCAPTCHA demo</title><link rel="stylesheet" href="https://www.gstatic.com/recaptcha/releases/TbD3vPFlUWKZD-9L4ZxB0HJI/demo__ltr.css" type="text/css"></head><body><div class="recaptcha-success">Verification Success... Hooray!</div></body></html>

最后就可以发现，模拟提交之后，结果会有一个 Verification Success... Hooray! 的文字，就代表验证成功了！

至此，我们就成功完成了 ReCAPTCHA 的破解。

上面我们介绍的是 requests 的实现，当然使用 Selenium 等工具也可以实现，具体的 Demo 在文档也写好了，请大家参考文档的说明使用即可。

小福利

现在 YesCaptcha 的价格我觉得相比之前介绍过的 2Captcha 实惠很多了，它破解一次是花费 10 点数，10 块钱是 10000 点数，所以平均破解一次验证码一分钱，新用户是送 1000 点数，可以破解 100 次。我个人觉得很实惠了。

大家有需要的话可以试试看！

溜了溜了～

更多精彩内容，请关注我的公众号「进击的 Coder」和「崔庆才丨静觅」。

今天逛 GitHub 的时候发现了 GitHub 出了一个新的 Feature，叫做 GitHub Copilot，说可以帮我们自动写代码！

网址是这个：

点进来之后就几个醒目的大字 - Your AI pair programmer，你的人工智能编程伙伴。

这里有几个示例是这样的：

怎么个人工智能法呢？

这里前 7 行都是人写的，后面的 17 行都是人工智能帮写的。

我们需要写啥呢？我们来详细看看这个例子。

首先创建了一个 sentiment.ts 文件，然后引入了一个 Node.js 的包叫做 fetch-h2，然后写了两行注释：

1
2

// Determine whether the sentiment of text is positive
// Use a web service

什么意思呢？就是用注释写了我要写个啥东西，翻译过来如下：

• 判断一句话的包含的情感是正面的还是负面的。（比如说“我好开心”就包含了积极情绪，句子包含的情感就是正面的；比如“你太坏了”就包含了负面评价，句子的情感就是负面的。）

• 使用 Web 服务来实现。

然后定义了一个方法的声明：

1

async function isPositive(text: string): Promise<boolean>

没了。

就导入了一个包，然后写了两句注释，定义了一个方法的参数和返回值，人做的事就这么多。

然后 GitHub Copilot 就能帮我们把代码写出来，它写的内容如下：

1
2
3
4
5
6
7
8
9
10

  const response = await fetch(`http://text-processing.com/api/sentiment/`, {
    method: "POST",
    body: `text=${text}`,
    headers: {
      "Content-Type": "application/x-www-form-urlencoded",
    },
  });
  const json = await response.json();
  return json.label === "pos";
}

没错，它智能分析了我们人写的注释和方法的声明，然后就把代码写出来了。

这里就调用了一个 API，然后还自动构造了 POST 请求，获取返回结果，然后比对返回结果的 label 是不是 pos，如果是，那就代表句子包含了积极程序，返回 false 就不是积极情绪。

虽然说规范程度上一般，没有异常处理什么的，但是已经相当了不起了有没有！

• 它居然能准确理解注释中我们描述的两个需求

• 它居然知道调用哪个 API 来判断文本的情感信息

• 它居然还能没有语法错误地把一个 JavaScript 方法写出来

牛逼了！

当然它不止能写 JavaScript，还能写很多其他的语言，我们再来看一个 Python 的 例子。

这里我们新建了一个 parse_expenses 的 Python 文件，然后定义了一个 parse_expenses 方法，接收一个参数叫做 expenses_string，然后写明注释如下：

1
2
3
4
5
6
7
8
9

"""
Parse the list of expenses and return the list of triples (date, value, currency).
Ignore lines starting with #.
Parse the date using datetime.
Example expenses_string:
      2016-01-02 -34.01 USD
      2016-01-03 2.59 DKK
      2016-01-03 -2.72 EUR
"""

这里就写了，解析下面三行消费数据，然后返回日期、数值、单位，同时要求忽略掉开头是 # 的行，时间要用 datetime 库来解析出来。

然后 AI 就帮我们写了如下代码：

1
2
3
4
5
6
7
8
9

expenses = []
for line in expenses_string.splitlines():
    if line.startswith("#"):
        continue
    date, value, currency = line.split(" ")
    expenses.append((datetime.datetime.strptime(date, "%Y-%m-%d"),
                     float(value),
                     currency))
return expenses

看完这个我惊呆了，它全都做到了！

• 跟它说了忽略开头是 # 的行，它就添加了一个判断

• 而且它智能分析了下面的三行数据是什么格式的，然后还知道用空格把它分开

• 分开之后，针对日期，他还知道用 datetime 解析一下，而且还知道是什么格式，年月日中间用的是横线

• 数值还自动转成了 float 类型

• 最后组成了一个元组返回了

简直，我简直不相信这是 AI 写的，感觉这个作为面试题，人也不一定一次性完整写得很好，AI 全都做到了！

这。

当然除了 JavaScript、Python，它还会很多语言，比如 Go、Ruby、TypeScript 都会。

这是背后究竟是什么技术呢？

看了看官网的介绍，说是基于 OpenAI 做的，官方原话如下：

1

Trained on billions of lines of public code, GitHub Copilot puts the knowledge you need at your fingertips, saving you time and helping you stay focused.

翻译过来就是：

1

GitHub Copilot 接受了数十亿行公共代码的训练，让您所需的知识触手可及，从而节省您的时间并帮助您保持专注。

反正就是他们训练了一个模型，这个模型接受了数十亿行代码作为训练输入，最后就学会了人怎么写代码了。

这波可以。

然后官方还介绍说：

GitHub Copilot 尤其擅长写 Python、Go、Ruby、JavaScript、TypeScript，并且现在已经发布成了 VS Code 中的一个插件。在我们写 Code 的时候，这个插件就会跟 OpenAI 的模型通信，然后目前看到的内容帮助我们自动写出想要的代码，基本流程如下图所示：

好家伙，那我赶紧来下载看看。

到 VS Code 里面搜索下 Copilot，果然有，已经十万多下载量了。

装上之后，它让我登录 GitHub 授权，登录之后，它弹了一个令人悲伤的信息：

它说我现在还没有权限使用，请访问 https://copilot.github.com 申请假如白名单。

也就是还没完全开放使用，需要申请才能用。

于是乎，我就去申请了下，点下网站的 Sign Up 即可，现在我已经在等待名单中了，等通过了我应该就能用了，如图所示：

大家感兴趣的话也赶紧去申请试试吧！

更多精彩内容，请关注我的公众号「进击的 Coder」和「崔庆才丨静觅」。

最近在实现一个功能，那就是显示图片的分辨率信息。

由于分辨率无非就是宽乘以高的格式嘛，比如 250x140 这样的。

然后我代码里面就实现成了这样子：

1

return `${dimension?.width}x${dimension?.height}`;

dimension 就是分辨率对象，它有宽高两个信息。

然而，一位大佬给我 Review 代码的时候发现了这个问题，他说你看看其他地方是怎么表示的，需不需要不同地区做 Localization（国际化 i18n 处理）？

于是我就找了下 Chrome 浏览器怎么显示的，随便打开了一张图片：

这不就是这么显示的吗？

我写的没错啊？到底问题出在了哪里？

不解之时又去求助大佬，大佬说：

1

Is Chrome using the letter x or are they using the × character?

我恍然大悟，原来是字符问题！

然后我就追踪了下 Chrome 这页的代码：

由于这个信息是在选项卡显示的，那么一定在 title 节点里面，我把这个字符复制了出来，跟字母 x 对比了下：

果然不是字母 x，而是字符 ×，有趣！

后来我改成了 × 就好了，修改如下：

1

return `${dimension?.width}×${dimension?.height}`;

然后告诉了大佬，大佬欣慰地笑了，说：

1

Nice, no localization necessary =)

妙极了！

哈哈，这里就简单记录下，非常有意思，不然我还一直以为是一个字母 x 呢。

以后大家表示分辨率的时候，更标准的形式应该是用字符 × 而不是字母 x，比如应该是：

1

250×160

而不是：

1

250x160

涨姿势了！

彩蛋：我的微信昵称其实也有类似的字符，比如「崔庆才丨静觅」中间的「丨」是一个汉字（发音为 gun），而不是竖线「|」，哈哈哈。

更多精彩内容，请关注我的公众号「进击的 Coder」和「崔庆才丨静觅」。

VS Code 想必大家都听说过吧，VS Code 凭借其强大的插件生态简直把 IDE 玩出花来了，现在我身边越来越多的程序员朋友现在都转向使用 VS Code 来写代码了，我也不例外。

但大家知道 VS Code 本身是用什么写的吗？没错，其实是 JavaScript 写的，准确来说是用 TypeScript 写的。

这时候我就想问，既然是用 TypeScript 写的，那它有没有网页版呢？

有人就要问了，网页版的 VS Code 有啥用啊，其实它能解决很多痛点：

• 如果我能在网页版的 VS Code 里面写代码，这样换了一个 PC 之后我只需要打卡这个网页就能接着写了，多么简单方便。

• 另外我写了代码，想给别人复现现场看效果，直接甩给他一个网页链接就好了。

• 别人遇到问题想让我帮调试，那他在里面写完了，然后直接给我链接就好了。

舒服吧！

那就来整一个吧！

于是我就找官网的支持，但是没找到官网有说 VS Code 网页版的任何事情。

但是找到了一个开源项目，叫做 code-server，运行之后就可以在浏览器里面打卡 VS Code 了，GitHub 地址是：https://github.com/cdr/code-server。

它的官方介绍是：

Run VS Code on any machine anywhere and access it in the browser.

正式我想要的！它在浏览器里面的运行效果如图所示：

安装

接下来那就安装试试吧，它支持多个平台，只需要运行一条命令就能安装了：

1

curl -fsSL https://code-server.dev/install.sh | sh

这条命令运行之后会自动判断当前的平台，然后运行安装步骤。

安装完了之后会有一个可用的 code-server 命令，运行之后便可以在本地启动 code-server 服务了，然后就可以在浏览器中打开 VS Code 了，就像上图所示。

Docker

但这 code-server 仅仅是在本地运行起来了。

如果我想将其部署到公网供我随时访问呢？或者极端一点，如果我想为其他人也部署一个 code-server 怎么办呢？或者我想为一百个人部署自己专属的 code-server 怎么办呢？

所以，这时候一个很好的方案就是上 Docker + Kubernetes 了。

既然要上 Docker，那就顺便对 code-server 做一些基础化的配置吧，比如预装一些插件，比如设置一些主题，比如设置一些编辑器配置等等。

我本地的 VS Code 现在在用一个我个人觉得比较好看的主题，叫做 Material Ocean，效果是这样的：

这是通过安装一个插件实现的，叫做 Material Theme：

另外还有一些基础的插件，比如 Python 的支持、自动提示等等。

另外既然要支持 Python 了，那也可以在 Docker 里面配置一些基础的 Python 库，以免使用的时候再安装。

其他的一些配置比如代码规范、缩进、换行等都可以通过 VS Code 的一些 settings.json 配置来实现。

等等还有一些其他的优化项可以自行发挥啦。

基本上就是这么多了，所以接下来就可以写 Dockerfile 了。

这里我直接基于 ubuntu 18.04 来开始搭建了，编写一个 Dockerfile 如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97

FROM ubuntu:18.04

RUN apt-get update && apt-get install -y \
    openssl \
    net-tools \
    git \
    zsh \
    locales \
    sudo \
    dumb-init \
    vim \
    curl \
    wget \
    bash-completion \
    python3 \
    python3-pip \
    python3-setuptools \
    build-essential \
    python3-dev \
    libssl-dev \
    libffi-dev \
    libxml2 \
    libxml2-dev \
    libxslt1-dev \
    zlib1g-dev

RUN chsh -s /bin/bash
ENV SHELL=/bin/bash

RUN ARCH=amd64 && \
    curl -sSL "https://github.com/boxboat/fixuid/releases/download/v0.4.1/fixuid-0.4.1-linux-$ARCH.tar.gz" | tar -C /usr/local/bin -xzf - && \
    chown root:root /usr/local/bin/fixuid && \
    chmod 4755 /usr/local/bin/fixuid && \
    mkdir -p /etc/fixuid && \
    printf "user: coder\ngroup: coder\n" > /etc/fixuid/config.yml

RUN CODE_SERVER_VERSION=3.10.2 && \
    curl -sSOL https://github.com/cdr/code-server/releases/download/v${CODE_SERVER_VERSION}/code-server_${CODE_SERVER_VERSION}_amd64.deb && \
    sudo dpkg -i code-server_${CODE_SERVER_VERSION}_amd64.deb

RUN locale-gen en_US.UTF-8

ENV LC_ALL=en_US.UTF-8

RUN adduser --disabled-password --gecos '' coder && \
    adduser coder sudo && \
    echo '%sudo ALL=(ALL) NOPASSWD:ALL' >> /etc/sudoers;

RUN chmod g+rw /home && \
    mkdir -p /home/coder/workspace && \
    mkdir -p /home/coder/.local && \
    chown -R coder:coder /home/coder && \
    chown -R coder:coder /home/coder/.local && \
    chown -R coder:coder /home/coder/workspace;

USER coder

RUN git clone --depth 1 https://github.com/junegunn/fzf.git ~/.fzf && \
        ~/.fzf/install

ENV PASSWORD=${PASSWORD:-P@ssw0rd}

COPY ./extensions /home/coder/.local/extensions

RUN /usr/bin/code-server --install-extension ms-python.python && \
    /usr/bin/code-server --install-extension esbenp.prettier-vscode && \
    /usr/bin/code-server --install-extension equinusocio.vsc-material-theme && \
    /usr/bin/code-server --install-extension codezombiech.gitignore && \
    /usr/bin/code-server --install-extension piotrpalarz.vscode-gitignore-generator && \
    /usr/bin/code-server --install-extension aeschli.vscode-css-formatter && \
    /usr/bin/code-server --install-extension donjayamanne.githistory && \
    /usr/bin/code-server --install-extension ecmel.vscode-html-css && \
    /usr/bin/code-server --install-extension pkief.material-icon-theme && \
    /usr/bin/code-server --install-extension equinusocio.vsc-material-theme-icons && \
    /usr/bin/code-server --install-extension eg2.vscode-npm-script && \
    /usr/bin/code-server --install-extension ms-ceintl.vscode-language-pack-zh-hans && \
    /usr/bin/code-server --install-extension /home/coder/.local/extensions/tkrkt.linenote-1.2.1.vsix && \
    /usr/bin/code-server --install-extension dbaeumer.vscode-eslint

RUN /usr/bin/python3 -m pip install -U pip setuptools

RUN /usr/bin/python3 -m pip install requests httpx scrapy aiohttp pyquery beautifulsoup4 \
  selenium pyppeteer pylint flask django tornado numpy pandas scipy autopep8

COPY settings.json /home/coder/.local/share/code-server/User/settings.json

RUN sudo chown coder /home/coder/.local/share/code-server/User/settings.json

COPY entrypoint.sh /home/coder/.local/entrypoint.sh

RUN sudo chmod +x /home/coder/.local/entrypoint.sh

WORKDIR /home/coder/workspace

EXPOSE 8080

ENTRYPOINT ["/bin/sh", "/home/coder/.local/entrypoint.sh"]

这里就直接把 Dockerfile 列出来了，主要分这么几步：

• 装一些基本的环境依赖库

• 设置 shell

• 安装 code-server

• 设置工作目录

• 安装 code-server 插件

• 安装 Python 常用的库

• 设置 VS Code 的 settings

• 设置运行目录

• 设置运行脚本入口

比如 VS Code 插件我就提前装好了 Material Theme 插件，然后在 settings.json 里面启用对应的主题即可：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

{
  "workbench.colorTheme": "Material Theme",
  "workbench.iconTheme": "material-icon-theme",
  "git.enableSmartCommit": true,
  "editor.tabSize": 2,
  "editor.detectIndentation": false,
  "editor.formatOnSave": true,
  "editor.formatOnPaste": true,
  "editor.defaultFormatter": "esbenp.prettier-vscode",
  "editor.fontSize": 16,
  "editor.suggestSelection": "first",
  "files.autoGuessEncoding": true,
  "files.autoSave": "afterDelay",
  "terminal.integrated.inheritEnv": false,
  "vetur.experimental.templateInterpolationService": true,
  "[typescript]": {
    "editor.tabSize": 2
  },
  "[javascript]": {
    "editor.tabSize": 2
  },
  "[python]": {
    "editor.tabSize": 4,
    "editor.defaultFormatter": "ms-python.python"
  }
}

这里配置文件主要配置了主题、字体大小、缩进等内容，当然这个如果你要自己配置的话就按照自己的喜好来就好了。

最后通过 docker-compose.json 文件配置镜像信息：

1
2
3
4
5
6
7
8

version: "3"
services:
  code-server:
    container_name: "code-server"
    build: .
    image: "germey/code-server"
    ports:
      - "8080:8080"

OK，基本就是这样，运行：

1

docker-compose build

就可以成功构建一个镜像了，然后运行：

1

docker-compose push

即可把镜像 push 到我的 Docker Hub 上面，等待部署即可。

Kubernetes 部署

对于部署 Kubernetes 来说，如果要做到方便部署且灵活管理的话，那就不得不用到 Helm 了，我可以写一个 Helm Chart，定义好一些模板文件和占位符，同时设置默认的配置选项，这样我们就可以通过一条简单的命令来部署这个 Docker 镜像了。

如果你没有用过 Helm 的话可以搜索相关资料了解下。

这里 Chart 的具体实现我就不再赘述了，主要就包括了几个部分：

• Deployment

• Service

• Ingress

• PersistentVolumeClaim

• ServiceAccount

• Secret

具体的配置我都放在 GitHub 了：https://github.com/Python3WebSpider/CodeServer/tree/master/chart，需要的话自取即可。

有了 Chart 之后，我只需要一条命令即可部署一个在线的 VS Code，命令如下：

1

helm install code-server-<username> . --namespace <namespace> --set user=<username> --set password=<password>

注意运行目录在 chart 路径下才可以。

这里我们传入了 usrname、namespace、password。

这里我配置了解析域名 code-.scrape.center，比如我要配置一个 code-germey.scrape.center，密码是 1234，那就只需要运行该命令即可：

1

helm install code-server-germey . --namespace scrape --set user=germey --set password=1234

这里用户名我替换成了 germey，命名空间我用了 scrape，密码用了 1234。

运行这条命令之后，我就能得到一个 https://code-germey.scrape.center/ 网站了。

没错，就是一条命令部署一个 VS Code，而且有专属域名。

打开之后效果如下：

输入对应的密码之后，就可以进入对应的 VS Code 编辑器页面了，如图所示：

这里我可以新建 Python 文件，然后在线运行：

另外还可以在命令行下像在 Linux 下一样操作，比如安装一个新的 Python 库：

1

pip3 install pillow

非常方便。

另外插件页面也可以看到我安装的一些插件：

也可以在此继续添加想要的插件。

全屏之后活脱脱就是一个桌面版本的 VS Code！

唯一不是很方便的就是在里面跑一些 Web 服务，因为 Web 服务相当于在 Docker 里面运行的，不过不要紧，我们只需要在 Chart 里面增加几个端口映射就好了。

有了它，我在里面写了代码，切换了不同 PC，我不用再关心代码的同步问题了。另外我就可以一键给别人分配一个 Online 版本的 VS Code，别人写了代码之后也可以方便拿给我看问题，也方便直接给别人分享我写的代码和运行效果，简直不要太爽了！

更多精彩内容，请关注我的公众号「进击的 Coder」和「崔庆才丨静觅」。

之前我们了解了一些验证码的处理流程，比如图形验证码、滑块验证码、点选验证码等等，但是这些验证码都有一种共同的特点，那就是这些验证码的处理流程通常只需要在 PC 上完成即可，比如图形验证码如果在 PC 上出现，那么在 PC 上直接验证通过就好了，所有的识别、验证输入的流程都是在 PC 上完成的。

但还有一种验证码和此种情况不同，那就是手机验证码，比如 PC 上需要输入手机号，然后短信验证码需要发到手机上，然后再在 PC 上把收到的验证码输入即可通过验证。

那遇到这种情况，我们如何才能将这个流程给自动化呢？

验证码收发

通常来说，我们的自动化脚本会运行在 PC 上，比如打开一个网页，然后模拟输入手机号，然后点击获取验证码，接下来就需要输入验证码了。打开页面，输入手机号、点击获取验证码等流程我们可以非常容易地实现自动化，但是验证码被发送到手机上了，我们怎么能把它转到 PC 上呢？

为了自动化整个验证码收发的流程，这时候我们想要完成的就是——当手机收到一条短信的时候，它能够自动将短信转发到某处，比如一台远程服务器上或者直接发到 PC 上，在 PC 上我们可以通过一些方法再把短信获取下来并提取验证码的内容，然后自动化填充验证码即可。

那这里关键的部分其实就是怎样完成这两个步骤：

• 如何监听手机收到了短信

• 如何将手机短信转发到想要的位置

这两个步骤缺一不可，而且都需要在手机上完成。

解决思路自然很简单了，我们以 Android 手机为例，如果有 Android 开发经验的话，其实这两个功能实现起来还是蛮简单的。

注意：这里我们仅仅简单介绍基本的思路，不会完全详细展开介绍具体的代码实现，感兴趣的话可以自行尝试。

首先如何监听手机收到了短信呢？

在 Android 开发中，整体就分为三个必要环节：

• 注册读取短信的权限：在一个 Android App 中，读取短信是需要特定的权限的，所以我们需要在 Andriod App 的 AndroidManifest.xml 中将读取短信的权限配置好，比如接收短信的权限配置如下：

1

<uses-permission android:name="android.permission.RECEIVE_SMS"></uses-permission>

• 注册广播事件：Android 有一个基本组件叫做 BroadcastReceiver，也就是广播接收者的意思，我们可以用它来监听来自系统的各种事件广播，比如系统电量不足的广播、系统来电的广播，当然系统收到短信的广播也就不在话下了。所以这就类似我们注册一个监听器，用来监听系统收到短信的事件。
  比如这里我们可以同样在 AndroidManifest.xml 里面注册一个 BroadcastReceiver，叫做 SmsReciver：

1
2
3
4
5

<receiver android:name=".receive.SmsReciver">
    <intent-filter android:priority="999">
        <action android:name="android.provider.Telephony.SMS_RECEIVED"/>
    </intent-filter>
</receiver>