本节主要内容有:
- 通过 requests 库模拟表单提交
- 通过 pandas 库提取网页表格
上周五,大师兄发给我一个网址,哭哭啼啼地求我:“去!把这个网页上所有年所有县所有作物的数据全爬下来,存到 Access 里!” 我看他可怜,勉为其难地挥挥手说:“好嘞,马上就开始!”
目标分析
大师兄给我的网址是这个:https://www.ctic.org/crm?tdsourcetag=s_pctim_aiomsg 打开长这样: 根据我学爬虫并不久的经验,通常只要把年月日之类的参数附加到 url 里面去,然后用requests.get
拿到response
解析 html 就完了,所以这次应该也差不多——除了要先想办法获得具体有哪些年份、地名、作物名称,其他部分拿以前的代码稍微改改就能用了,毫无挑战性工作,生活真是太无聊了 点击 View Summary
后出现目标网页长这样 那个大表格的数据就是目标数据了,好像没什么了不起的—— 有点不对劲 目标数据所在网页的网址是这样的:https://www.ctic.org/crm/?action=result ,刚刚选择的那些参数并没有作为 url 的参数啊!网址网页都变了,所以也不是 ajax 这和我想象的情况有巨大差别啊
尝试获取目标页面
让我来康康点击View Summary
这个按钮时到底发生了啥:右键View Summary
检查是这样: 实话说,这是我第一次遇到要提交表单的活儿。以前可能是上天眷顾我,统统get
就能搞定,今天终于让我碰上一个post
了。 点击View Summary
,到 DevTools 里找 network 第一条: 不管三七二十一,post
一下试试看
1 |
import requests |
果不其然,输出400
……我猜这就是传说中的cookies
在搞鬼吗?《Python3 网络爬虫实战》只看到第 6 章的我不禁有些心虚跃跃欲试呢! 首先,我搞不清cookies
具体是啥,只知道它是用来维持会话的,应该来自于第一次get
,搞出来看看先:
1 |
response1 = requests.get(url, headers=headers) |
输出:
1 |
<RequestsCookieJar > |
Nah,看不懂,不看不管,直接把它放到post
里试试
1 |
response2 = requests.post(url, data=data, headers=headers, cookies=cookies) |
还是400
,气氛突然变得有些焦灼,我给你cookies
了啊,你还想要啥?! 突然,我发现一件事:post
请求所带的data
中那个一开始就显得很可疑的_csrf
我仿佛在哪儿见过? 那个我完全看不懂的cookies
里好像就有一个_csrf
啊!但是两个_csrf
的值很明显结构不一样,试了一下把data
里的_csrf
换成cookies
里的_csrf
确实也不行。 但是我逐渐有了一个想法:这个两个_csrf
虽然不相等,但是应该是匹配的,我刚刚的data
来自浏览器,cookies
来自 python 程序,所以不匹配! 于是我又点开浏览器的 DevTools,Ctrl+F 搜索了一下,嘿嘿,发现了: 和 这三处。 第一处那里的下一行的csrf_token
很明显就是post
请求所带的data
里的_csrf
,另外两个是 js 里的函数,虽然 js 没好好学但也能看出来这俩是通过post
请求获得州名和县名的,Binggo!一下子解决两个问题。 为了验证我的猜想,我打算先直接用 requests 获取点击View Summary
前的页面的 HTML 和cookies
,将从 HTML 中提取的csrf_token
值作为点击View Summary
时post
请求的data
里的_csrf
值,同时附上cookies
,这样两处_csrf
就应该是匹配的了:
1 |
from lxml import etree |
输出200
,虽然和 Chrome 显示的302
不一样,但是也表示成功,那就不管了。把response2.text
写入 html 文件打开看是这样: Yeah,数据都在!说明我的猜想是对的!那一会再试试我从没用过的requests.Session()
维持会话,自动处理cookies
。
尝试 pandas 库提取网页表格
现在既然已经拿到了目标页面的 HTML,那在获取所有年、地区、州名、县名之前,先测试一下pandas.read_html
提取网页表格的功能。 pandas.read_html
这个函数时在写代码时 IDE 自动补全下拉列表里瞄到的,一直想试试来着,今天乘机拉出来溜溜:
1 |
import pandas as pd |
输出: Yeah!拿到了,确实比自己手写提取方便,而且数值字符串自动转成数值,优秀!
准备所有参数
接下来要获取所有年、地区、州名、县名。年份和地区是写死在 HTML 里的,直接 xpath 获取: 州名、县名根据之前发现的两个 js 函数,要用post
请求来获得,其中州名要根据地区名获取,县名要根据州名获取,套两层循环就行
1 |
def new(): |
啧啧,使用requests.Session
就完全不需要自己管理cookies
了,方便!具体获得的州名县名就不放出来了,实在太多了。然后把所有年、地区、州名、县名的可能组合先整理成 csv 文件,一会直接从 csv 里读取并构造post
请求的data
字典:
1 |
remain = [[str(year), str(region), str(state), str(county)] |
我看了一下,一共 49473 行——也就是说至少要发送 49473 个post
请求才能爬完全部数据,纯手工获取的话大概要点击十倍这个数字的次数……
正式开始
那么开始爬咯
1 |
import pyodbc |
注意中间有个try...except..
语句,是因为不定时会发生Connection aborted
的错误,有时 9000 次才断一次,有时一次就断,这也是我加上了读取已经爬取的
和排除已经爬取的
原因,而且担心被识别出爬虫,把headers
写的丰富了一些(好像并没有什么卵用),并且每次断开都暂停个 30s 并重新开一个会话 然后把程序开着过了一个周末,命令行里终于打出了Done!
,到 Access 里一看有 816288 条记录,心想:下次试试多线程(进程)和代理池。
周一,我把跑出来的数据发给大师兄,大师兄回我:“好的”。 隔着屏幕我都能感受到滔滔不绝的敬仰和感激之情, 一直到现在,大师兄都感动地说不出话来。