大家好，我是四毛，欢迎大家关注我的公众号。
今天在工作中，碰到了第一次碰见的反爬虫机制，感觉很有意思，在这里记录一下，希望对大家有帮助。
今天用到的库：
requests [请求]
lzstring [解压数据]
pyexecjs [执行JS]
简...
四毛
3周前 (01-26) 3462浏览 153评论
20喜欢
大家好，我是四毛，好久没有写东西了，欢迎大家关注我的公众号。
今天的文章是关于如何使用requests来爬取大众点评的数据。
看完本文，你可以：
1、了解大众点评的CSS反爬虫机制
2、破解反爬虫机制
3、使用requests即可正确获取到评论数，平均价格，服务，味道，环境数据...
四毛
4周前 (01-24) 2007浏览 16评论
6喜欢
本篇文章使用到的技术: mitmdump + 电脑版微信
需求
首先来说下需求，需求很简单(-_-!!), 就是爬指定微信公众号的所有文章并保存为pdf。
看到这个需求的时候正好我用电脑登陆着微信，就想着先用电脑抓一下包看可不可行(能少用工具就少用，减少运行依赖)，后来发现果然有...
Crazy__Hope
1个月前 (01-10) 5934浏览 503评论
11喜欢
最近一段时间没有更新原创文章了，主要是因为最近整个在忙硕士毕业的各种事情，毕业答辩完了以后休假了一小段时间，整个十二月就这么过去了。
转眼已经 2019 年了，其实去年我并没有写年终总结，现在到头来还是蛮后悔的，说实话总结其实还是蛮有必要的，现在就趁着这个时间来对自己的 2018...
崔庆才
1个月前 (01-05) 4457浏览 55评论
92喜欢
Hello 各位小伙伴 雷门吼！
在教程之前首先申明！此教程适合土豪不缺钱的玩家
潜水了许久了，今天来更新点东西~
今天说点啥呢？ 那就是代理！！
代理在爬虫界的重要作用相信各位应该清楚吧！毕竟绝大部分反爬可以靠代理解决；不能被代理解决的也得要代理配合解决。
市...
哎哟卧槽
2个月前 (12-26) 2216浏览 24评论
5喜欢
前言
随着大数据时代的到来，爬虫已经成了获取数据的必不可少的方式，做过爬虫的想必都深有体会，爬取的时候莫名其妙 IP 就被网站封掉了，毕竟各大网站也不想自己的数据被轻易地爬走。
对于爬虫来说，为了解决封禁 IP 的问题，一个有效的方式就是使用代理，使用代理之后可以让爬虫伪装自己的...
崔庆才
5个月前 (10-03) 41765浏览 74评论
261喜欢
大家好，我是四毛，下面的是我的公众号，欢迎关注。
今天的内容主要讲的是破解一个网站的rsa加密，当然肯定不是破解这个算法，而是找到加密的参数，正确模拟这个算法即可。
1. 什么是rsa算法
下面的资料摘抄自阮一峰老师的文章， 点这里了解更多
1976年，两位美国...
四毛
5个月前 (09-14) 31219浏览 570评论
49喜欢
最近和几个朋友开发项目，期间使用了一台服务器跑模型，这台服务器是多人公用的，很多人都在上面有自己的账号，互不干涉内政，一切看起来十分井然有序。近期，这个服务器上刚挂载了一块新硬盘，是一位朋友使用 root 账号挂载的，然后将磁盘映射到某个文件夹下。然而挂载好了之后发现使用普通账号...
崔庆才
6个月前 (09-04) 6264浏览 342评论
26喜欢
本文介绍一下如何给 Azure 的云服务器增加一块磁盘。
页面操作
首先切换到磁盘页面，然后点击添加数据磁盘按钮：
然后选定存储容器，这里使用的是存储账户 Blob，然后点击确定按钮：
主机缓存切换为“读/写”，然后点击保存：
这样就添加好了。
挂载磁盘
接下来回到 Lin...
崔庆才
6个月前 (09-04) 1102浏览 8评论
8喜欢
为何要搭建 Elasticsearch 集群
凡事都要讲究个为什么。在搭建集群之前，我们首先先问一句，为什么我们需要搭建集群？它有什么优势呢？
高可用性
Elasticsearch 作为一个搜索引擎，我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息...
崔庆才
7个月前 (08-04) 11479浏览 306评论
21喜欢
