投稿    登录
欢迎来访~

小白进阶之Scrapy第一篇

Python 哎哟卧槽 374819浏览 0评论

扫码或搜索:进击的Coder

发送

即可立即永久解锁本站全部文章

下面我的爬虫进入了这个页面:

Scrapy10

这个页面就有很多我们需要的信息了:废话不说了代码上来:

Scrapy11

第四十行:将我们导入的item文件进行实例化,用来存储我们的数据。

后面全部:将需要的数据,复制给item[key] (注意这儿的Key就是我们前面在item文件中定义的那些字段。)

注意!response.meta[key]:这个是提取从上一个函数传递下来的值。

return item 就是返回我们的字典了,然后Pipelines就可以开始对这些数据进行处理了。比如 存储之类的。

好啦,Spiders我们先编写到这个地方。(是不是有小伙伴发现我还有几个字段没有取值?当然留着你们自己试试了,哈哈哈ヽ(=^・ω・^=)丿)后面再继续。

转载请注明:静觅 » 小白进阶之Scrapy第一篇

更多文章、联系博主、技术交流、商务合作

扫码或搜索:进击的Coder

进击的Coder

微信公众号 扫一扫关注

喜欢 (346)or分享 (0)

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请狠狠点击下面的

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址