2022 年最新 Python3 网络爬虫教程
大家好，我是崔庆才，由于爬虫技术不断迭代升级，一些旧的教程已经过时、案例已经过期，最前沿的爬虫技术比如异步、JavaScript 逆向、安卓逆向、智能解析、WebAssembly、大规模分布式、Kubernetes 等技术层出不穷，我最近新出了一套最新最全面的 Python3 网络爬虫系列教程。
博主自荐：截止 2022 年，可以将最前沿最全面的爬虫技术都涵盖的教程，如异步、JavaScript 逆向、安卓逆向、智能解析、WebAssembly、大规模分布式、Kubernetes 等，市面上目前就这一套了。
最新教程对旧的爬虫技术内容进行了全面更新，搭建了全新的案例平台进行全面讲解，保证案例稳定有效不过期。
教程请移步：
本节会介绍 Windows、Linux、Mac 三大平台下安装 Python3 的过程。
相关链接
- 官方网站：http://python.org
- 下载地址：https://www.python.org/downloads
- 第三方库：https://pypi.python.org/pypi
- 官方文档：https://docs.python.org/3
- 中文教程：http://www.runoob.com/python3/python3-tutorial.html
- Awesome Python：https://github.com/vinta/awesome-python
- Awesome Python 中文版：https://github.com/jobbole/awesome-python-cn
Windows 下的安装
Windows 下安装 Python3 的方式有两种，一种是通过 Anaconda 安装，Anaconda 提供了 Python 的科学计算环境，里面自带了 Python 以及常用的库，如果选用了此种方式后面的环境配置方式会更加简便，另一种是直接下载安装包安装，即标准的安装方式。下面会依次介绍这两种安装方式，任选其一即可。
Anaconda 安装
Anaconda 的 官方下载链接为：https://www.anaconda.com/products/individual，选择 Windows 版本的安装包下载即可，如图所示：
如果下载速度过慢可以选择使用清华大学镜像，下载列表链接为：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/，使用说明链接为：https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/，可以选择需要的版本进行下载，速度相比官网会快很多。
下载完成之后直接双击运行安装包安装即可，安装完成之后 Python3 的环境就配置好了。
安装包安装
推荐直接下载可执行文件安装包安装，到官方网站下载 Python3 安装包。
https://www.python.org/downloads/
到目前为止，Python 的最新版本是 3.9.7，如果想安装特定的 Python 版本，可以查看网页下方的内容，看到各个 Python 安装包的发布历史，如图所示：
由于一些库的兼容性问题，个人比较推荐安装 Python 3.6 或 3.7 版本，而非 3.8、3.9 版本。
Python 3.6 版本安装包的下载链接为：https://www.python.org/downloads/release/python-368/，Python 3.7 版本安装包的下载链接为：https://www.python.org/downloads/release/python-379/，打开之后可以看到如下下载列表：
64 位系统可以下载 Windows x86-64 executable installer，32 位系统可以下载 Windows x86 executable installer。
下载完成之后，直接双击运行 Python 安装包，使用图形界面安装，设置好 Python 的安装路径，完成后将 Python3 和 Python3 的 Scripts 目录配置到环境变量即可。
环境变量的配置，此处以 Win10 系统为例进行演示。
假如我安装后的 Python3 路径为 C:\Python36，从资源管理器中打开该路径，如图所示：
将该路径复制下来。
随后打开电脑-属性，如图所示：
点击左侧的高级系统设置，即可看到在弹出的窗口中下方有环境变量按钮，如图所示：
点击环境变量，找到系统变量下的 Path 变量，随后点击编辑按钮，如图所示：
随后点击新建，新建一个条目，将刚才拷贝的 C:\Python36 复制进去，当然此处的路径就是你的 Python3 安装目录，请自行替换，然后再把 C:\Python36\Scripts 路径复制进去，如图所示：
最后点击确定即可完成环境变量的配置。
配置好环境变量之后，我们就可以直接在命令行直接执行环境变量路径下的可执行文件了，如 python、pip 等命令。
添加别名
以上两种安装方式任选其一即可完成安装，但如果我们之前安装过 Python2 的话，可能会导致版本冲突问题，比如在命令行下输入 python 就不知道是调用的 Python2 还是 Python3 了，为了解决这个问题，建议将安装目录中的 python.exe 复制一份，命名为 python3.exe，这样便可以调用 python3 命令了，实际上和 python 命令是完全一致的，这样可以更好地区分 Python 版本，当然如果没有安装过 Python2 的话也建议添加此别名，添加完毕之后如图所示：
对于 pip 来说，安装包中自带了 pip3.exe 可执行文件，我们也可以直接使用 pip3 命令，无需额外配置。
测试验证
安装完成之后我们可以通过命令行测试一下安装是否成功，在开始菜单搜索 cmd，找到命令提示符，就进入了命令行模式，输入 python 测试一下能否成功调用 python，如果添加了别名的话可以输入 python3 测试，在这里输入的是 python3，如图所示：
类似输出结果如下：
1 |
$ python3 |
如果出现类似上面的提示，则证明 Python3 和 pip3 均安装成功，如果提示命令不存在，那么请检查下环境变量的配置情况。
Linux 下的安装
Linux 下安装方式有多种，命令安装、源码安装、Anaconda 安装。
使用源码安装需要自行编译，时间较长。推荐使用系统自带命令或 Anaconda 安装，简单高效。在这里对各种安装方式分别予以讲解。
命令行安装
不同的 Linux 发行版本安装方式又有不同，在此分别予以介绍。
CentOS、RedHat
如果是 CentOS 或 RedHat 版本，使用 yum 命令安装即可。
1 |
sudo yum update -y |
Ubuntu、Debian、Deepin
首先安装 Python3，使用 apt-get 安装即可，在安装前还需安装一些基础库，命令如下：
1 |
sudo apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev libcurl4-openssl-dev |
执行完如上命令之后就可以成功安装好 Python3 了。
然后还需要安装 pip3，仍然使用 apt-get 安装即可，命令如下：
1 |
sudo apt-get install -y python3-pip |
执行完毕之后便可以成功安装 Python3 及 pip3。
源码安装
如果命令行安装方式有问题，还可以下载 Python3 源码进行安装。
源码下载地址为：https://www.python.org/ftp/python/，可以自行选用想要的版本进行安装，在此以 Python3.6.2 为例进行说明，安装路径设置为 /usr/local/python3。
首先创建安装目录，命令如下：
1 |
sudo mkdir /usr/local/python3 |
随后下载安装包并解压进入，命令如下：
1 |
wget --no-check-certificate https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgz |
接下来编译安装，所需时间可能较长，请耐心等待，命令如下：
1 |
sudo ./configure --prefix=/usr/local/python3 |
安装完成之后创建 Python3 链接，命令如下：
1 |
sudo ln -s /usr/local/python3/bin/python3 /usr/bin/python3 |
随后下载 Pip 安装包并安装，命令如下：
1 |
wget --no-check-certificate https://github.com/pypa/pip/archive/9.0.1.tar.gz |
安装完成后再创建 Pip3 链接，命令如下：
1 |
sudo ln -s /usr/local/python3/bin/pip /usr/bin/pip3 |
这样就成功安装好了 Python3 及 pip3。
Anaconda 安装
Anaconda 同样支持 Linux，Anaconda 的官方下载链接为：https://www.anaconda.com/products/individual，选择对应版本的安装包下载即可。如果下载速度过慢同样可以使用清华镜像，参考 Windows 部分的介绍，在此不再赘述。
测试验证
命令行测试 Python3 和 pip3 是否安装成功。
1 |
$ python3 |
如出现类似上面的提示，则证明 Python3 和 pip3 安装成功。
Mac 下的安装
在 Mac 下同样有多种安装方式，如 Homebrew、安装包安装、Anaconda 安装等，推荐使用 Homebrew 安装。
Homebrew 安装
Homebrew 是 Mac 平台下强大的包管理工具，首先安装 Homebrew，官方网站是：https://brew.sh/。
执行如下命令即可安装 Homebrew：
1 |
ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" |
安装完成后便可以使用 brew 命令安装 Python3 和 pip3 了。
如果要安装 Python3 的最新版本，可以直接运行如下命令：
1 |
brew install python3 |
由于一些库的兼容性问题，个人比较推荐安装 Python 3.6 或 3.7 版本，而非 3.8、3.9 版本。
所以这里如果要安装 Python3.7 版本，可以运行如下命令：
1 |
brew install python@3.7 |
命令执行完成之后发现 Python3 和 pip3 均已经安装成功。
安装包安装
由于一些库的兼容性问题，个人比较推荐安装 Python 3.6 或 3.7 版本，而非 3.8、3.9 版本。
Python 3.6 版本安装包的下载链接为：https://www.python.org/downloads/release/python-368/，Python 3.7 版本安装包的下载链接为：https://www.python.org/downloads/release/python-379/，打开之后可以看到如下下载列表：
可以选择下载 Mac OS X 64-bit installer，下载完成之后打开安装包按照提示安装即可，安装完毕之后 Python 相关的环境变量就配置好了。
Anaconda 安装
Anaconda 同样支持 Mac，Anaconda 的官方下载链接为：https://www.anaconda.com/products/individual，选择 Python3 版本的安装包下载即可，如图所示：
如果下载速度过慢同样可以使用清华镜像，参考 Windows 部分的介绍，在此不再赘述。
测试验证
命令行测试 Python3 和 pip3 是否安装成功。
1 |
$ python3 |
如出现类似上面的提示，则证明 Python3 和 pip3 安装成功。
结语
本节介绍了三大平台 Windows、Linux、Mac 下 Python3 的安装方式，如有疑问欢迎留言。
