2022 年最新 Python3 网络爬虫教程
大家好，我是崔庆才，由于爬虫技术不断迭代升级，一些旧的教程已经过时、案例已经过期，最前沿的爬虫技术比如异步、JavaScript 逆向、安卓逆向、智能解析、WebAssembly、大规模分布式、Kubernetes 等技术层出不穷，我最近新出了一套最新最全面的 Python3 网络爬虫系列教程。
博主自荐：截止 2022 年，可以将最前沿最全面的爬虫技术都涵盖的教程，如异步、JavaScript 逆向、安卓逆向、智能解析、WebAssembly、大规模分布式、Kubernetes 等，市面上目前就这一套了。
最新教程对旧的爬虫技术内容进行了全面更新，搭建了全新的案例平台进行全面讲解，保证案例稳定有效不过期。
教程请移步：
如下为原文。
关于
首先，在此附上项目的地址，以及官方文档 PySpider 官方文档
安装
1. pip
首先确保你已经安装了 pip，若没有安装，请参照 pip 安装
2. phantomjs
PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持 web 而不需浏览器支持，其快速、原生支持各种 Web 标准：DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。 安装 以上附有官方安装方式，如果你是 Ubuntu 或 Mac OS X 用户，可以直接用命令来安装 Ubuntu:
1 |
sudo apt-get install phantomjs |
Mac OS X:
1 |
brew install phantomjs |
3. pyspider
直接利用 pip 安装即可
1 |
pip install pyspider |
如果你是 Ubuntu 用户，请提前安装好以下支持类库
1 |
sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml |
测试 如果安装过程没有提示任何错误，那就证明一些 OK。 命令行输入
1 |
pyspider all |
然后浏览器访问 http://localhost:5000 观察一下效果，如果可以正常出现 PySpider 的页面，那证明一切 OK 在此附图一张，这是我写了几个爬虫之后的界面。 
好，接下来我会进一步介绍这个框架的使用。
常见错误
我曾遇到过的一个错误： PySpider HTTP 599: SSL certificate problem 错误的解决方法 ，后来在作者那发了 issue 得到了答案，其他的暂时没什么问题。 不过发现有的小伙伴提了各种各样的问题啊，不过我确实都没遇到过，我再 Win10，Linux Ubuntu，Linux CentOS，Mac OS X 都成功运行。不过确实有些奇怪的问题，跑着跑着崩了，一点就崩了我也就比较纳闷了。 如果大家有问题，可以看看作者项目里面有没有类似的 issue，另外也推荐大家直接到作者的 GitHub 上发 issue。 毕竟，这个框架不是我写的。 在此附上 Issue 地址： PySpider Issue
