静觅 崔庆才的个人站点 - Python爬虫教程

0%

《Python3网络爬虫开发实战》来了！

作者 发表于 分类于 阅读次数： 本文字数： 6.4k 阅读时长 ≈ 6 分钟

2022 年最新第二版《Python3 网络爬虫开发实战》

现在《Python3 网络爬虫开发实战（第二版）》已经在 2021 年底正式上市了～
之前第一版的爬虫书《Python3 网络爬虫开发实战》在 2018 年出版，上市三年来，一直处于市面上所有爬虫书的销冠位置，豆瓣评分 9.0 分，销量 10w 册。

如今，这本书现在又进一步做了升级，第二版将案例进行了全面升级，自建了案例平台防止代码过期，同时增加了非常多的新技术、新知识的介绍，比如异步爬虫、JavaScript 逆向、安卓逆向、Kubernetes、智能解析。

可以说，目前市面上的爬虫书，其他的书跟这本书相比，内容方面这本书的算是最全的，没有之一。能将最前沿的爬虫技术比如异步、JavaScript 逆向、安卓逆向、智能解析、WebAssembly、Kubernetes 等技术都涵盖的，目前应该就是本新发布的《Python3 网络爬虫开发实战（第二版）》了。

就是这本：

2018 年 5 月《Python3 网络爬虫开发实战》的第一版出版了，从上市到现在三年多销量约 10w 册。后来，由于一些技术更迭，第二版书开始策划中。

2021 年 11 月，这本书历经各种反复修改、审稿等阶段，到今天终于上架了！

第二版更新内容

大家第一个问题可能就会问，第二版比第一版更新了哪些内容？

因为技术总是在不断发展和进步的，爬虫技术也是一样，它在爬虫和反爬虫不断斗争的过程中也在不断演进。比如现在越来越多的网页采取了各种防护措施，比如前端代码的压缩和混淆、API 的参数加密、WebDriver 的检测，要做到高效的数据爬取，我们就需要懂得一些 JavaScript 逆向分析相关技术。App 也是一样，App 的抓包防护、加壳保护、Native 化、风控检测使得越来越多的 App 数据难以爬取，所以我们也不得不了解一些逆向相关技术，如 Xposed、Frida、IDA Pro 等工具的使用。除此之外，近几年深度学习和人工智能发展得也是如火如荼，所以爬虫也可以和人工智能结合起来，比如基于深度学习的验证码识别、网页内容的智能化解析和提取等技术我们也可以进行学习和了解。另外，一些大规模爬虫的管理和运维技术也在不断发展，当前 Kubernetes、Docker、Prometheus 等云原生技术也非常火爆，基于 Kubernetes 等云原生技术的爬虫管理和运维解决方案也已经很受青睐。然而，之前第一版书对以上提到的这些新兴技术几乎没有提及。

除此之外，第一版书在讲解数据爬取的过程中引用了很多案例和服务，比如猫眼电影网站、淘宝网站、代理服务网站，然而几年过去了，有些案例网站和服务早已经改版或者停止维护，这就导致第一版书中的很多案例已经不能正常运行了。这其实是一个很大的问题，因为程序运行不通会大大降低学习的积极性和成就感，而且会浪费不少时间。另外，即使案例对应的爬虫代码及时更新了，那我们也不知道这些案例网站和服务什么时候会再次改版，因为这都是不可控的。所以，为了彻底解决这个问题，我花费了近半年的时间构建了一个爬虫案例平台（https://scrape.center），平台包含了几十个爬虫案例，包括服务端渲染（SSR）网站、单页面应用（SPA）网站、各类反爬网站、验证码网站、模拟登录网站、各类 App 等，覆盖了现在爬虫和反爬虫相关的大多数技术，整个平台都是我来维护的，书中几乎所有案例都是从案例平台来的，从而解决了页面改版的问题。

所以，本书相比第一版来说，更新的内容主要如下：

  • 绝大多数都迁移到了自建的案例平台，以后再也不用担心案例有过期或改版问题。

  • 替换了原本第一章环境安装的章节，将环境配置的部分全部汇总并迁移到案例平台（https://setup.scrape.center）并在书中以外链的形式附上，以确保环境的配置和安装说明能够被及时更新。

  • 增加了一些新的请求库、解析库、存储库等的介绍，如 httpx、parsel、Elasticsearch 等库的介绍。

  • 增加了异步爬虫的介绍，如协程的基本原理、aiohttp 的使用和爬取实战介绍。

  • 增加了一些新兴自动化工具的介绍，如 Pyppeteer、Playwright 的介绍。

  • 增加了深度学习相关内容，如图形验证码、滑动验证码的识别方案。

  • 丰富了模拟登录章节的内容，如增加了 JWT 模拟登录的介绍和实战、大规模账号池的优化。

  • 增加了 JavaScript 逆向的章节，包括网站加密和混淆技术、JavaScript 逆向调试技巧、JavaScript 的各种模拟执行方式、AST 还原混淆代码、WebAssembly 等相关技术的介绍。

  • 丰富了 App 自动化爬取技术的章节，如新兴框架 Airtest 的介绍、手机群控和云手机技术的介绍。

  • 增加了 Android 逆向章节，如反编译、反汇编、Hook、脱壳、so 文件分析和模拟执行等技术的介绍。

  • 增加了网页智能化解析章节，包括列表页、详情页内容提取算法和分类算法。

  • 丰富了 Scrapy 相关章节的介绍，如 Pyppeteer 的对接、RabbitMQ 的对接、Prometheus 的对接等。

  • 增加了基于 Kubernetes、Docker、Prometheus、Grafana 等云原生技术爬虫管理和运维解决方案的介绍。

以上就是第二版的主要更新内容。

章节介绍

为了让大家更直接地了解到全书的内容，这里就直接放目录了：

没错！全书一共 900 多页，量了下有 4.3 厘米厚，定价是 139.8 元。

可以直接看第二版吗？

当然，有朋友也会担心，我需不需要先学习第一版，然后才能学第二版呢？

答案是：可以直接学第二版，第二版书爬虫的内容知识体系是完整的，一些旧的技术已经在第一版中移除，第二版的书籍是对所有爬虫知识体系的全新升级。

没有基础可以学吗？

有朋友也可能会问，没有爬虫或者 Python 基础可以学吗？

答案是：可以，本书就是专为零爬虫基础的朋友准备的，本书从最基础的环境配置、基础知识的讲解开始，循序渐进地对爬虫的各个知识点进行介绍，所以完全不用担心没有爬虫基础学不会的问题。如果没有 Python 基础，那也没关系（当然有会更好），书中也会提及 Python 环境的配置并附上一些 Python 入门学习资料（链接），同时也会通过各个 Python 代码片段来进行讲解，很多案例也很简单易懂，学爬虫的时候 Python 也就会逐渐掌握了。

大咖推荐

这本书同时还获得了 Python 之父的推荐（没错就是 Python 的创始人，Guido van Rossum）。另外我还有幸获得了微软亚洲互联网工程院副院长曾文峰、知名爬虫专家梁斌 penny、中国人民大学高瓴人工智能学院长聘副教授宋睿华的推荐。

下面是推荐语的内容：

宣传彩页

另外编辑还为本书制作了几张宣传彩页，是对整本书的一个宣传介绍，大家可以看下：

有没有电子版？

看到这里，大家可能也会问了，有没有电子版呢？可能有的朋友习惯用电子版书籍来学习，有的朋友可能在海外也不方便购买，所以想要电子版。

但还是很遗憾地说：没有电子版。

因为你知道的，如果出了电子版，那么马上就会有各种盗版袭来，网上也会造成各种恶意传播。

所以，为了保护版权，这本书是没有上电子版的。

购买链接

是的，最后就是大家最关心的部分了，到哪里能够买到呢？

购买链接：https://item.jd.com/13527222.html

为了方便购买，我把这个链接转成了二维码，大家可以直接扫码购买：

谢谢大家支持！

2018 年第一版爬虫书

以下是 2018 年第一版《Python3 网络爬虫开发实战》简介。

嗨~ 给大家重磅推荐一本新书！还未上市前就已经重印 3 次的 Python 爬虫书！那么它就是由静觅博客博主崔庆才所作的《Python3 网络爬虫开发实战》！！！

书籍介绍

本书《Python3 网络爬虫开发实战》全面介绍了利用 Python3 开发网络爬虫的知识，书中首先详细介绍了各种类型的环境配置过程和爬虫基础知识，还讨论了 urllib、requests 等请求库和 Beautiful Soup、XPath、pyquery 等解析库以及文本和各类数据库的存储方法，另外本书通过多个真实新鲜案例介绍了分析 Ajax 进行数据爬取，Selenium 和 Splash 进行动态网站爬取的过程，接着又分享了一些切实可行的爬虫技巧，比如使用代理爬取和维护动态代理池的方法、ADSL 拨号代理的使用、各类验证码（图形、极验、点触、宫格等）的破解方法、模拟登录网站爬取的方法及 Cookies 池的维护等等。 此外，本书的内容还远远不止这些，作者还结合移动互联网的特点探讨了使用 Charles、mitmdump、Appium 等多种工具实现 App 抓包分析、加密参数接口爬取、微信朋友圈爬取的方法。此外本书还详细介绍了 pyspider 框架、Scrapy 框架的使用和分布式爬虫的知识，另外对于优化及部署工作，本书还包括 Bloom Filter 效率优化、Docker 和 Scrapyd 爬虫部署、分布式爬虫管理框架 Gerapy 的分享。 全书共 604 页，足足两斤重呢~ 定价为 99 元！

作者介绍

看书就先看看谁写的嘛，我们来了解一下~ 崔庆才，静觅博客博主（https://cuiqingcai.com），博客 Python 爬虫博文已过百万，北京航空航天大学硕士，微软小冰大数据工程师，有多个大型分布式爬虫项目经验，乐于技术分享，文章通俗易懂 ^^ 附皂片一张 ~(@^^@)~

图文介绍

呕心沥血设计的宣传图也得放一下~

专家评论

书是好是坏，得让专家看评一评呀，那么下面就是几位专家的精彩评论，快来看看吧~ 在互联网软件开发工程师的分类中，爬虫工程师是非常重要的。爬虫工作往往是一个公司核心业务开展的基础，数据抓取下来，才有后续的加工处理和最终展现。此时数据的抓取规模、稳定性、实时性、准确性就显得非常重要。早期的互联网充分开放互联，数据获取的难度很小。随着各大公司对数据资产日益看重，反爬水平也在不断提高，各种新技术不断给爬虫软件提出新的课题。本书作者对爬虫的各个领域都有深刻研究，书中探讨了 Ajax 数据的抓取、动态渲染页面的抓取、验证码识别、模拟登录等高级话题，同时也结合移动互联网的特点探讨了 App 的抓取等。更重要的是，本书提供了大量源码，可以帮助读者更好地理解相关内容。强烈推荐给各位技术爱好者阅读！

——梁斌，八友科技总经理

数据既是当今大数据分析的前提，也是各种人工智能应用场景的基础。得数据者得天下，会爬虫者走遍天下也不怕！一册在手，让小白到老司机都能有所收获！

——李舟军，北京航空航天大学教授，博士生导师

本书从爬虫入门到分布式抓取，详细介绍了爬虫技术的各个要点，并针对不同的场景提出了对应的解决方案。另外，书中通过大量的实例来帮助读者更好地学习爬虫技术，通俗易懂，干货满满。强烈推荐给大家！

——宋睿华，微软小冰首席科学家

有人说中国互联网的带宽全给各种爬虫占据了，这说明网络爬虫的重要性以及中国互联网数据封闭垄断的现状。爬是一种能力，爬是为了不爬。

——施水才，北京拓尔思信息技术股份有限公司总裁

全书目录

书的目录也有~ 看这里！

  • 1-开发环境配置
  • 1.1-Python3 的安装
  • 1.2-请求库的安装
  • 1.3-解析库的安装
  • 1.4-数据库的安装
  • 1.5-存储库的安装
  • 1.6-Web 库的安装
  • 1.7-App 爬取相关库的安装
  • 1.8-爬虫框架的安装
  • 1.9-部署相关库的安装
  • 2-爬虫基础
  • 2.1-HTTP 基本原理
  • 2.2-网页基础
  • 2.3-爬虫的基本原理
  • 2.4-会话和 Cookies
  • 2.5-代理的基本原理
  • 3-基本库的使用
  • 3.1-使用 urllib
  • 3.1.1-发送请求
  • 3.1.2-处理异常
  • 3.1.3-解析链接
  • 3.1.4-分析 Robots 协议
  • 3.2-使用 requests
  • 3.2.1-基本用法
  • 3.2.2-高级用法
  • 3.3-正则表达式
  • 3.4-抓取猫眼电影排行
  • 4-解析库的使用
  • 4.1-使用 XPath
  • 4.2-使用 Beautiful Soup
  • 4.3-使用 pyquery
  • 5-数据存储
  • 5.1-文件存储
  • 5.1.1-TXT 文本存储
  • 5.1.2-JSON 文件存储
  • 5.1.3-CSV 文件存储
  • 5.2-关系型数据库存储
  • 5.2.1-MySQL 存储
  • 5.3-非关系型数据库存储
  • 5.3.1-MongoDB 存储
  • 5.3.2-Redis 存储
  • 6-Ajax 数据爬取
  • 6.1-什么是 Ajax
  • 6.2-Ajax 分析方法
  • 6.3-Ajax 结果提取
  • 6.4-分析 Ajax 爬取今日头条街拍美图
  • 7-动态渲染页面爬取
  • 7.1-Selenium 的使用
  • 7.2-Splash 的使用
  • 7.3-Splash 负载均衡配置
  • 7.4-使用 Selenium 爬取淘宝商品
  • 8-验证码的识别
  • 8.1-图形验证码的识别
  • 8.2-极验滑动验证码的识别
  • 8.3-点触验证码的识别
  • 8.4-微博宫格验证码的识别
  • 9-代理的使用
  • 9.1-代理的设置
  • 9.2-代理池的维护
  • 9.3-付费代理的使用
  • 9.4-ADSL 拨号代理
  • 9.5-使用代理爬取微信公众号文章
  • 10-模拟登录
  • 10.1-模拟登录并爬取 GitHub
  • 10.2-Cookies 池的搭建
  • 11-App 的爬取
  • 11.1-Charles 的使用
  • 11.2-mitmproxy 的使用
  • 11.3-mitmdump 爬取“得到”App 电子书信息
  • 11.4-Appium 的基本使用
  • 11.5-Appium 爬取微信朋友圈
  • 11.6-Appium+mitmdump 爬取京东商品
  • 12-pyspider 框架的使用
  • 12.1-pyspider 框架介绍
  • 12.2-pyspider 的基本使用
  • 12.3-pyspider 用法详解
  • 13-Scrapy 框架的使用
  • 13.1-Scrapy 框架介绍
  • 13.2-Scrapy 入门
  • 13.3-Selector 的用法
  • 13.4-Spider 的用法
  • 13.5-Downloader Middleware 的用法
  • 13.6-Spider Middleware 的用法
  • 13.7-Item Pipeline 的用法
  • 13.8-Scrapy 对接 Selenium
  • 13.9-Scrapy 对接 Splash
  • 13.10-Scrapy 通用爬虫
  • 13.11-Scrapyrt 的使用
  • 13.12-Scrapy 对接 Docker
  • 13.13-Scrapy 爬取新浪微博
  • 14-分布式爬虫
  • 14.1-分布式爬虫原理
  • 14.2-Scrapy-Redis 源码解析
  • 14.3-Scrapy 分布式实现
  • 14.4-Bloom Filter 的对接
  • 15-分布式爬虫的部署
  • 15.1-Scrapyd 分布式部署
  • 15.2-Scrapyd-Client 的使用
  • 15.3-Scrapyd 对接 Docker
  • 15.4-Scrapyd 批量部署
  • 15.5-Gerapy 分布式管理

购买链接

想必很多小伙伴已经等了很久了，之前预售那么久也一直迟迟没有货，发售就有不少网店又售空了，不过现在起不用担心了！

书籍现已在京东、天猫、当当等网店上架并全面供应啦，复制链接到浏览器打开或扫描二维码打开即可购买了！

京东商城

https://item.jd.com/12333540.html

天猫商城

https://detail.tmall.com/item.htm?id=566699703917

当当网

http://product.dangdang.com/25249602.html

欢迎大家购买，谢谢支持！O(∩_∩)O

免费预览

不放心？想先看看有些啥，没问题！看这里： 免费章节试读（复制粘贴至浏览器打开）： https://cuiqingcai.com/5052.html 将一直免费开放前 7 章节，欢迎大家试读！

视频教程

当然除了书籍，也有配套的视频课程，作者同样是崔庆才，二者结合学习效果更佳！限时优惠折扣中！扫描下图中二维码即可了解详情！ 视频教程链接： https://edu.hellobi.com/course/157 http://study.163.com/course/courseMain.htm?courseId=1003827039 感谢大家支持！