投稿    登录
欢迎来访~

小白学爬虫-在无GUI的CentOS上使用Selenium+Chrome

Python 哎哟卧槽 13730浏览 3评论

扫码或搜索:进击的Coder

发送

即可立即永久解锁本站全部文章

2019年01月04日16:32:17 更新了新的Chrome镜像 将Python版本升级到了3.7

Note: 推荐使用结尾提供的Docker镜像进行二次打包运行代码

 

各位小伙伴儿的采集日常是不是被JavaScript的各种点击事件折腾的欲仙欲死啊?好不容易找到个Selenium+Chrome可以解决问题!

但是另一个▄█▀█●的事实摆在面前,服务器都特么没有GUI啊··

好吧!咱们要知难而上!决不能被这个点小困难打倒·······

然而摆在面前的事实是····  他丫的各种装不上啊!坑爹啊!

 

那么我来拯救你们于水火之间了!

服务器如下:

 

安装Chromeium:

 

去这个地方:https://sites.google.com/a/chromium.org/chromedriver/downloads 下载ChromeDriver驱动放在/usr/bin/目录下:

完成结果如下:

 

安装XVFB:

 

新建在/usr/bin/ 一个名叫 xvfb-chromium 的文件写入以下内容:

 

更改软连接:

 

来瞅瞅能不能用哦:

No problem!!!!

 

好了部署完了!当然Docker这么火贼适合懒人了!来来 看这儿 Docker版的 妥妥滴!

做好了Python3.7和Chrome集成

需要自己使用Dockerfile来重新打包安装你需要的Python包。

Note: 请按照以下方式初始化Webdriver!!!!!!!!

否则会出现无法初始化Webdriver的情况

顺便一提!!!!这个玩意儿从事Web测试工作的小伙伴可以用!!!!!!!!

 

下面是Dockerfile文件:

 

转载请注明:静觅 » 小白学爬虫-在无GUI的CentOS上使用Selenium+Chrome

更多文章、联系博主、技术交流、商务合作

扫码或搜索:进击的Coder

进击的Coder

微信公众号 扫一扫关注

喜欢 (30)or分享 (0)

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请狠狠点击下面的

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(3)个小伙伴在吐槽
  1. 请问能出一片centos6.5下的安装教程吗?
    232019-04-26 15:54 回复
  2. 在手动安装的步骤里有一步安装XVFB,但是最后的Dockerfile里却没有这步,为什么还能正常使用呢?是因为 FROM python:3.7-stretch这里已经包括了XVFB?
    iii2019-04-24 10:54 回复
  3. 可能还需要加上:chmod a+x /usr/bin/google-chrome 否则启动不了,我这里就是这样。
    MikuSama2019-03-12 13:02 回复