投稿    登录
  博主录制的Python3爬虫视频教程已发布!详情请戳Python3爬虫视频教程!希望大家支持!非常感谢!

自建免费PYTHON爬虫代理IP池

Python 四毛 7126浏览 1评论

大家好,我还是小四毛,不是崔老师!!!!崔老师在隔壁,哈哈哈。

写了一个从网上抓取代理IP,然后构建代理IP池的脚本,放在了这里:https://github.com/xiaosimao/IP_POOL

以后应该还会有很多的改动, 欢迎有兴趣的同学star,以便及时可以收到改动的通知。

目前是从以下几个网站获取IP:66ip,xicidaili,data5u,proxydb。

具体的使用方法文档在readme.md 中, 欢迎交流。

如果你需要从别的网站获得, 那么可以在配置文件中进行相关的配置即可, 如果实在不想自己写,也可以提issue给我,我会看情况更新到代码中。

一般情况下,只要配置一下配置项就可以从新的网站获取IP,最大限度减少写代码的时间。

免费的ip,质量不敢保证,目前测试的目标网站为百度和https://httpbin.org/get, 还是获得了一些通过测试的IP,下面是截图。

 

 

转载请注明:静觅 » 自建免费PYTHON爬虫代理IP池

喜欢 (47)or分享 (0)

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请狠狠点击下面的

想结交更多的朋友吗?

来进击的Coder瞧瞧吧

进击的Coder

QQ群号 99350970 立即加入

进击的Coder灌水太多?

这里是纯粹的技术领地

激进的Coder

QQ群号 627725766 立即加入

想找人聊天解闷?想要学习干货?

微信公众号进击的Coder为你打造

进击的Coder

微信公众号 扫一扫关注