投稿    登录
  博主录制的Python3爬虫视频教程已发布!详情请戳Python3爬虫视频教程!希望大家支持!非常感谢!

小白进阶之Scrapy第一篇

Python 哎哟卧槽 42701浏览 94评论

下面我的爬虫进入了这个页面:

Scrapy10

这个页面就有很多我们需要的信息了:废话不说了代码上来:

Scrapy11

第四十行:将我们导入的item文件进行实例化,用来存储我们的数据。

后面全部:将需要的数据,复制给item[key] (注意这儿的Key就是我们前面在item文件中定义的那些字段。)

注意!response.meta[key]:这个是提取从上一个函数传递下来的值。

return item 就是返回我们的字典了,然后Pipelines就可以开始对这些数据进行处理了。比如 存储之类的。

好啦,Spiders我们先编写到这个地方。(是不是有小伙伴发现我还有几个字段没有取值?当然留着你们自己试试了,哈哈哈ヽ(=^・ω・^=)丿)后面再继续。

转载请注明:静觅 » 小白进阶之Scrapy第一篇

喜欢 (74)or分享 (0)

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请狠狠点击下面的