投稿    登录
  《Python3网络爬虫开发实战》赠书活动正在进行中!详情请戳赠书活动!欢迎参与!非常感谢!

最新发布 第5页

静觅崔庆才的个人博客

Python

[Python3网络爬虫开发实战] 6.4-分析Ajax爬取今日头条街拍美图

[Python3网络爬虫开发实战] 6.4-分析Ajax爬取今日头条街拍美图
本节中,我们以今日头条为例来尝试通过分析Ajax请求来抓取网页数据的方法。这次要抓取的目标是今日头条的街拍美图,抓取完成之后,将每组图片分文件夹下载到本地并保存下来。 1. 准备工作 在本节开始之前,请确保已经安装好requests库。如果没有安装,可以参考第1章。 2. 抓取分...

崔庆才 11个月前 (01-30) 14896浏览 6评论 43喜欢

Python

[Python3网络爬虫开发实战] 6.3-Ajax结果提取

[Python3网络爬虫开发实战] 6.3-Ajax结果提取
这里仍然以微博为例,接下来用Python来模拟这些Ajax请求,把我发过的微博爬取下来。 1. 分析请求 打开Ajax的XHR过滤器,然后一直滑动页面以加载新的微博内容。可以看到,会不断有Ajax请求发出。 选定其中一个请求,分析它的参数信息。点击该请求,进入详情页面,如图6-1...

崔庆才 11个月前 (01-30) 10521浏览 4评论 30喜欢

Python

[Python3网络爬虫开发实战] 6.2-Ajax分析方法

[Python3网络爬虫开发实战] 6.2-Ajax分析方法
这里还以前面的微博为例,我们知道拖动刷新的内容由Ajax加载,而且页面的URL没有变化,那么应该到哪里去查看这些Ajax请求呢? 1. 查看请求 这里还需要借助浏览器的开发者工具,下面以Chrome浏览器为例来介绍。 首先,用Chrome浏览器打开微博的链接https://m.w...

崔庆才 11个月前 (01-30) 13415浏览 5评论 42喜欢

Python

[Python3网络爬虫开发实战] 6.1-什么是Ajax

[Python3网络爬虫开发实战] 6.1-什么是Ajax
Ajax,全称为Asynchronous JavaScript and XML,即异步的JavaScript和XML。它不是一门编程语言,而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。 对于传统的网页,如果想更新其内容...

崔庆才 11个月前 (01-30) 8092浏览 25评论 27喜欢

Python

[Python3网络爬虫开发实战] 6-Ajax数据爬取

[Python3网络爬虫开发实战] 6-Ajax数据爬取
有时候我们在用requests抓取页面的时候,得到的结果可能和在浏览器中看到的不一样:在浏览器中可以看到正常显示的页面数据,但是使用requests得到的结果并没有。这是因为requests获取的都是原始的HTML文档,而浏览器中的页面则是经过JavaScript处理数据后生成的...

崔庆才 11个月前 (01-30) 7655浏览 0评论 44喜欢

Python

[Python3网络爬虫开发实战] 5.3.2-Redis存储

[Python3网络爬虫开发实战] 5.3.2-Redis存储
Redis是一个基于内存的高效的键值型非关系型数据库,存取效率极高,而且支持多种存储数据结构,使用也非常简单。本节中,我们就来介绍一下Python的Redis操作,主要介绍RedisPy这个库的用法。 1. 准备工作 在开始之前,请确保已经安装好了Redis及RedisPy库。如...

崔庆才 11个月前 (01-29) 6531浏览 2评论 10喜欢

Python

[Python3网络爬虫开发实战] 5.3.1-MongoDB存储

[Python3网络爬虫开发实战] 5.3.1-MongoDB存储
MongoDB是由C++语言编写的非关系型数据库,是一个基于分布式文件存储的开源数据库系统,其内容存储形式类似JSON对象,它的字段值可以包含其他文档、数组及文档数组,非常灵活。在这一节中,我们就来看看Python 3下MongoDB的存储操作。 1. 准备工作 在开始之前,请确...

崔庆才 11个月前 (01-29) 7681浏览 0评论 18喜欢

Python

[Python3网络爬虫开发实战] 5.2.1-MySQL存储

[Python3网络爬虫开发实战] 5.2.1-MySQL存储
在Python 2中,连接MySQL的库大多是使用MySQLdb,但是此库的官方并不支持Python 3,所以这里推荐使用的库是PyMySQL。 本节中,我们就来讲解使用PyMySQL操作MySQL数据库的方法。 1. 准备工作 在开始之前,请确保已经安装好了MySQL数据库并保...

崔庆才 11个月前 (01-29) 9049浏览 7评论 30喜欢