静觅 崔庆才的个人站点 - Python爬虫教程

0%

【2022 年】Python3 爬虫教程 - Session + Cookie 模拟登录爬取实战

作者 发表于 分类于 ， 阅读次数： 本文字数： 7.1k 阅读时长 ≈ 6 分钟

爬虫系列文章总目录：【2022 年】Python3 爬虫学习教程，本教程内容多数来自于《Python3 网络爬虫开发实战（第二版）》一书，目前截止 2022 年，可以将爬虫基本技术进行系统讲解，同时将最新前沿爬虫技术如异步、JavaScript 逆向、AST、安卓逆向、Hook、智能解析、群控技术、WebAssembly、大规模分布式、Docker、Kubernetes 等，市面上目前就仅有《Python3 网络爬虫开发实战（第二版）》一书了，点击了解详情。

在上一节我们了解了网站登录验证和模拟登录的基本原理。网站登录验证主要有两种实现方式，一种是基于 Session + Cookies 的登录验证，另一种是基于 JWT 的登录验证。接下来两节，我们就通过两个实例来分别讲解这两种登录验证的分析和模拟登录流程。

本节主要介绍 Session + Cookie 模拟登录的流程。

1. 准备工作

在本节开始之前，我们需要先做好如下准备工作。

  • 安装好了 requests 请求库并学会了其基本用法。
  • 安装好了 Selenium 库并学会了其基本用法。

下面我们就用两个案例来分别讲解模拟登录的实现。

2. 案例介绍

本节有一个适用于 Session + Cookie 模拟登录的案例网站，网址为：https://login2.scrape.center/，访问之后，我们会看到一个登录页面，如图所示：

image-20210711021407260

我们输入用户名和密码（用户名和密码都是 admin），然后点击登录。登录成功后，我们便可以看到一个和之前案例类似的电影网站，如图所示。

image-20210711021454920

这个网站是基于传统的 MVC 模式开发的，因此也比较适合 Session + Cookie 的模拟登录。

3. 模拟登录

对于这个网站，我们如果要模拟登录，就需要先分析登录过程究竟发生了什么。我们打开开发者工具，重新执行登录操作，查看其登录过程中发生的请求，如图所示。

image-20210711021940703

图 10-5 登录过程中发生的请求

从图 10-5 中我们可以看到，在登录的瞬间，浏览器发起了一个 POST 请求，目标 URL 为 https://login2.scrape.center/login，并通过表单提交的方式像服务器提交了登录数据，其中包括 username 和 password 两个字段，返回的状态码是 302，Response Headers 的 location 字段为根页面，同时 Response Headers 还包含了 set-cookie 信息，设置了 Session ID。

由此我们可以发现，要实现模拟登录，我们只需要模拟这个请求就好了。登录完成后获取 Response 设置的 Cookie，将它保存好，后续发出请求的时候带上 Cookies 就可以正常访问了。

好，那么我们就来用代码实现一下吧！

在默认情况下，每次 requests 请求都是独立且互不干扰的，比如我们第一次调用了 post 方法模拟登录了一下，紧接着再调用 get 方法请求主页面。其实这是两个完全独立的请求，第一次请求获取的 Cookie 并不能传给第二次请求，因此常规的顺序调用是不能起到模拟登录效果的。

我们来看一段无效的代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
import requests
from urllib.parse import urljoin

BASE_URL = 'https://login2.scrape.center/'
LOGIN_URL = urljoin(BASE_URL, '/login')
INDEX_URL = urljoin(BASE_URL, '/page/1')
USERNAME = 'admin'
PASSWORD = 'admin'

response_login = requests.post(LOGIN_URL, data={
    'username': USERNAME,
    'password': PASSWORD
})

response_index = requests.get(INDEX_URL)
print('Response Status', response_index.status_code)
print('Response URL', response_index.url)

这里我们先定义了几个基本的 URL 、用户名和密码，然后我们分别用 requests 请求了登录的 URL 进行模拟登录，紧接着请求了首页来获取页面内容，能正常获取数据吗？由于 requests 可以自动处理重定向，我们可以在最后把 Response 的 URL 打印出来，如果它的结果是 INDEX_URL，那么证明模拟登录成功并成功爬取到了首页的内容。如果它跳回到了登录页面，那就说明模拟登录失败。

我们通过结果来验证一下，运行结果如下：

1
2
 
Response Status 200
Response URL https://login2.scrape.center/login?next=/page/1

这里可以看到，其最终的页面 URL 是登录页面的 URL。另外这里也可以通过 Response 的 text 属性来验证下页面源码，其源码内容就是登录页面的源码内容，由于内容较多，这里就不再输出比对了。

总之，这个现象说明我们并没有成功完成模拟登录，这是因为 requests 直接调用 post、get 等方法，每次请求都是一个独立的请求，都相当于是新开了一个浏览器打开这些链接，所以这两次请求对应的 Session 并不是同一个，这里我们模拟了第一个 Session 登录，并不能影响第二个 Session 的状态，因此模拟登录也就无效了。

那么怎样才能实现正确的模拟登录呢？

我们知道 Cookie 里面是保存了 Session ID 信息的，刚才也观察到了登录成功后 Response Headers 里面有 set-cookie 字段，实际上这就是让浏览器生成了 Cookie。因为 Cookies 里面包含了 Session ID 的信息，所以只要后续的请求带着这些 Cookie，服务器便能通过 Cookie 里的 Session ID 信息找到对应的 Session 了，因此，服务端对于这两次请求就会使用同一个 Session 了。因为第一次我们已经成功完成了模拟登录，所以 Session 里面就记录了用户的登录信息，在第二次访问的时候，由于是同一个 Session，服务器就能知道用户当前是登录状态，那就能够返回正确的结果而不再是跳转到登录页面了。

所以，这里的关键在于两次请求的 Cookie 的传递。这里我们可以把第一次模拟登录后的 Cookie 保存下来，在第二次请求的时候加上这个 Cookie，代码可以改写如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
import requests
from urllib.parse import urljoin

BASE_URL = 'https://login2.scrape.center/'
LOGIN_URL = urljoin(BASE_URL, '/login')
INDEX_URL = urljoin(BASE_URL, '/page/1')
USERNAME = 'admin'
PASSWORD = 'admin'

response_login = requests.post(LOGIN_URL, data={
    'username': USERNAME,
    'password': PASSWORD
}, allow_redirects=False)

cookies = response_login.cookies
print('Cookies', cookies)

response_index = requests.get(INDEX_URL, cookies=cookies)
print('Response Status', response_index.status_code)
print('Response URL', response_index.url)

由于 requests 可以自动处理重定向，所以我们模拟登录的过程要加上 allow_redirects 参数并将其设置为 False，使其不自动处理重定向。我们将登录之后返回的 Response 赋值为 response_login，这样调用 response_login 的 cookies 就是获取了网站的 Cookie 信息了。这里 requests 自动帮我们解析了 Response Headers 的 set-cookie 字段并设置了 Cookie，所以我们不用再去手动解析 Response Headers 的内容了，直接使用 response_login 对象的 cookies 方法即可获取 Cookie。

好，接下来我们再次用 requests 的 get 方法来请求网站的 INDEX_URL。不过这里和之前不同，get 方法增加了一个参数 cookies，这就是第一次模拟登录完之后获取的 Cookie，这样第二次请求就能携带第一次模拟登录获取的 Cookie 信息了，此时网站会根据 Cookie 里面的 Session ID 信息查找到同一个 Session，校验其已经是登录状态，然后返回正确的结果。

这里我们还是输出最终的 URL，如果它是 INDEX_URL，就代表模拟登录成功并获取了有效数据，否则就代表模拟登录失败。

我们看下运行结果：

1
2
3
 
Cookies <RequestsCookieJar[<Cookie sessionid=psnu8ij69f0ltecd5wasccyzc6ud41tc for login2.scrape.center/>]>
Response Status 200
Response URL https://login2.scrape.center/page/1

这下没有问题了，我们发现其 URL 就是 INDEX_URL，模拟登录成功了！同时还可以进一步输出 response_index 的 text 属性看下是否获取成功。

后续用同样的方式爬取即可。但其实我们发现，这种实现方式比较烦琐，每次还需要处理 Cookie 并一次传递，有没有更简便的方法呢？

有的，我们可以直接借助于 requests 内置的 Session 对象来帮我们自动处理 Cookie，使用了 Session 对象之后，requests 会自动保存每次请求后需要设置的 Cookie ，并在下次请求时自动携带它，就相当于帮我们维持了一个 Session 对象，这样就更方便了。

所以，刚才的代码可以简化如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 
import requests
from urllib.parse import urljoin

BASE_URL = 'https://login2.scrape.center/'
LOGIN_URL = urljoin(BASE_URL, '/login')
INDEX_URL = urljoin(BASE_URL, '/page/1')
USERNAME = 'admin'
PASSWORD = 'admin'

session = requests.Session()

response_login = session.post(LOGIN_URL, data={
    'username': USERNAME,
    'password': PASSWORD
})

cookies = session.cookies
print('Cookies', cookies)

response_index = session.get(INDEX_URL)
print('Response Status', response_index.status_code)
print('Response URL', response_index.url)

可以看到，这里我们无须再关心 Cookie 的处理和传递问题，我们声明了一个 Session 对象，然后每次调用请求的时候都直接使用 Session 对象的 post 或 get 方法就好了。

运行效果是完全一样的，结果如下：

1
2
3
 
Cookies <RequestsCookieJar[<Cookie sessionid=ssngkl4i7en9vm73bb36hxif05k10k13 for login2.scrape.center/>]>
Response Status 200
Response URL https://login2.scrape.center/page/1

因此，为了简化写法，这里建议直接使用 Session 对象进行请求，这样我们无须关心 Cookie 的操作了，实现起来会更加方便。

这个案例整体来说比较简单，但是如果碰上复杂一点的网站，如带有验证码，带有加密参数等，直接用 requests 并不好处理模拟登录，如果登录不了，那整个页面不就都没法爬取了吗？有没有其他的方式来解决这个问题呢？当然是有的，比如说我们可以使用 Selenium 来模拟浏览器，进而实现模拟登录，然后获取模拟登录成功后的 Cookie，再把获取的 Cookie 交由 requests 等来爬取就好了。

这里我们还是以刚才的页面为例，把模拟登录这块交由 Selenium 来实现，后续的爬取交由 requests 来实现，相关的代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
 
from urllib.parse import urljoin
from selenium import webdriver
import requests
import time

BASE_URL = 'https://login2.scrape.center/'
LOGIN_URL = urljoin(BASE_URL, '/login')
INDEX_URL = urljoin(BASE_URL, '/page/1')
USERNAME = 'admin'
PASSWORD = 'admin'

browser = webdriver.Chrome()
browser.get(BASE_URL)
browser.find_element_by_css_selector('input[name="username"]').send_keys(USERNAME)
browser.find_element_by_css_selector('input[name="password"]').send_keys(PASSWORD)
browser.find_element_by_css_selector('input[type="submit"]').click()
time.sleep(10)

# get cookies from selenium
cookies = browser.get_cookies()
print('Cookies', cookies)
browser.close()

# set cookies to requests
session = requests.Session()
for cookie in cookies:
    session.cookies.set(cookie['name'], cookie['value'])

response_index = session.get(INDEX_URL)
print('Response Status', response_index.status_code)
print('Response URL', response_index.url)

这里我们使用 Selenium 先打开了 Chrome，然后跳转到了登录页面，随后模拟输入了用户名和密码，接着点击了登录按钮，我们可以发现浏览器提示登录成功，然后跳转到了主页面。

这时候，我们通过调用 get_cookies 方法便能获取当前浏览器所有的 Cookie，这就是模拟登录成功之后的 Cookie，用这些 Cookie 我们就能访问其他数据了。

接下来，我们声明了 requests 的 Session 对象，然后遍历了刚才的 Cookie 并将其设置到 Session 对象的 cookies 属性上，接着再拿着这个 Session 对象去请求 INDEX_URL，就也能够获取对应的信息而不会跳转到登录页面了。

运行结果如下：

1
2
3
 
Cookies [{'domain': 'login2.scrape.center', 'expiry': 1589043753.553155, 'httpOnly': True, 'name': 'sessionid', 'path': '/', 'sameSite': 'Lax', 'secure': False, 'value': 'rdag7ttjqhvazavpxjz31y0tmze81zur'}]
Response Status 200
Response URL https://login2.scrape.center/page/1

可以看到，这里的模拟登录和后续的爬取也成功了。所以说，如果碰到难以模拟登录的过程，我们也可以使用 Selenium 等模拟浏览器的操作方式来实现，其目的就是获取登录后的 Cookie，有了 Cookie 之后，我们再用这些 Cookie 爬取其他页面就好了。

所以这里我们也可以发现，对于基于 Session + Cookie 验证的网站，模拟登录的核心要点就是获取 Cookie。这个 Cookie 可以被保存下来或传递给其他的程序继续使用，甚至可以将 Cookie 持久化存储或传输给其他终端来使用。

另外，为了提高 Cookie 利用率或降低封号概率，可以搭建一个账号池实现 Cookie 的随机取用。

4. 总结

以上我们通过一个示例来演示了模拟登录爬取的过程，以后遇到这种情形的时候就可以用类似的思路解决了。

本节代码：https://github.com/Python3WebSpider/ScrapeLogin2。

相关文章