投稿    登录
欢迎来访~

崔庆才的文章

http://cv.cuiqingcai.com
技术杂谈

Pyppeteer 如何打包 Docker

Pyppeteer 如何打包 Docker
之前开发了一个工具包 GerapyPyppeteer,GitHub 地址为 https://github.com/Gerapy/GerapyPyppeteer,这个包实现了 Scrapy 和 Pyppeteer 的对接,利用它我们就可以方便地实现 Scrapy 使用 Pyppet...

2020-08-02 17:20 1782浏览 0评论 309喜欢

技术杂谈

如何区分一个页面是列表页还是详情页

如何区分一个页面是列表页还是详情页
解析页面是做爬虫的过程中的重要环节,而且如果站点多了,解析也会变得非常复杂,所以智能化解析就可能是一个不错的解决方案。如果我们能够容忍一定的错误率,那么我们可以利用智能化解析算法帮我们提取一些内容,简单高效。 那有没有办法做到一个网站的全自动化解析呢? 比如来了一个博客网站,我能...

2020-08-02 17:19 2074浏览 0评论 1喜欢

技术杂谈

Kubernetes 如何限制特定 namespace 的权限

Kubernetes 如何限制特定 namespace 的权限
最近遇到一个问题,那就是需要给别人共享一下 Kubernetes 的某个资源的使用和访问权限,这个仅仅存在于某个 namespace 下,但是我又不能把管理员权限全都给它,我想只给他授予这一个 Namespace 下的权限,那应该怎么办呢? 比如我这边是需要只想授予 postgr...

2020-08-02 17:16 1065浏览 0评论 0喜欢

技术杂谈

发布一个爬虫练习平台

发布一个爬虫练习平台
之前也写过不少关于爬虫的博客了,比如我拿一个案例来写了一篇博客,当时写的时候好好的,结果过了一段时间这个页面改版了,甚至直接下线了,那这篇案例就废掉了。 另外如果拿别人的站或者 App 来做案例的话,比较容易触犯到对方的利益,风险比较高,比如把某个站的 JavaScript 逆向...

2020-08-02 17:10 6517浏览 2评论 8喜欢

技术杂谈

发布一个智能解析框架 Gerapy Auto Extractor

发布一个智能解析框架 Gerapy Auto Extractor
之前我写过几篇文章介绍过有关爬虫的智能解析算法,包括商业化应用 Diffbot、Readability、Newspaper 这些库,另外我有一位朋友之前还专门针对新闻正文的提取算法 GeneralNewsExtractor,这段时间我也参考和研究了一下这些库的算法,同时参考一些论...

2020-07-05 23:42 2608浏览 1评论 5喜欢

技术杂谈

把 Mac 终端上的标题去掉

把 Mac 终端上的标题去掉
我自己用 Mac 自带的终端很久了,感觉一直还不错。 但美中不足的是终端上面的这个标题实在让人看着太糟心了,看图: 上面这行标题,没什么用,又这么难看。 我把偏好设置里面的显示内容都去掉了,设置如下: 但是它总是还显示了一个标题,显示成这个样子: 上面这个标题看得很难受,我...

2020-05-28 16:00 2674浏览 0评论 13喜欢

技术杂谈

如何用 JMeter + Kubernetes + Prometheus + Grafana + Alert Manager 实时监控你的服务器

如何用 JMeter + Kubernetes + Prometheus + Grafana + Alert Manager 实时监控你的服务器
最近我在公司负责的业务已经正式投入上线了,既然是线上环境,那么就需要保证其可用性。 我负责的业务其中就包括一个 Web Service,我需要保证 Service 的每个接口都是可用的,如果某个时间流量大了或者服务器挂掉了,那需要第一时间通知到我。 这时候可能我有这些需求: 定...

2020-04-21 12:51 5640浏览 4评论 13喜欢