0%

[Python3网络爬虫开发实战] 1.6-Web库的安装

对于Web,我们应该都不陌生,现在日常访问的网站都是Web服务程序搭建而成的。Python同样不例外,也有一些这样的Web服务程序,比如Flask、Django等,我们可以拿它来开发网站和接口等。

在本书中,我们主要使用这些Web服务程序来搭建一些API接口,供我们的爬虫使用。例如,维护一个代理池,代理保存在Redis数据库中,我们要将代理池作为一个公共的组件使用,那么如何构建一个方便的平台来供我们获取这些代理呢?最合适不过的就是通过Web服务提供一个API接口,我们只需要请求接口即可获取新的代理,这样做简单、高效、实用!

书中用到的一些Web服务程序主要有Flask和Tornado,这里就分别介绍它们的安装方法。