投稿    登录
  您好,欢迎光临崔庆才的博客,祝大家新年快乐,鸡年大吉!

小白进阶之Scrapy第一篇

Python 哎哟卧槽 29566浏览 82评论

下面我的爬虫进入了这个页面:

Scrapy10

这个页面就有很多我们需要的信息了:废话不说了代码上来:

Scrapy11

第四十行:将我们导入的item文件进行实例化,用来存储我们的数据。

后面全部:将需要的数据,复制给item[key] (注意这儿的Key就是我们前面在item文件中定义的那些字段。)

注意!response.meta[key]:这个是提取从上一个函数传递下来的值。

return item 就是返回我们的字典了,然后Pipelines就可以开始对这些数据进行处理了。比如 存储之类的。

好啦,Spiders我们先编写到这个地方。(是不是有小伙伴发现我还有几个字段没有取值?当然留着你们自己试试了,哈哈哈ヽ(=^・ω・^=)丿)后面再继续。

转载请注明:静觅 » 小白进阶之Scrapy第一篇

喜欢 (62)or分享 (0)

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请狠狠点击下面的

  1. 广州工厂货源ᣘChopard(肖邦)炫岫Tory Butch(汤丽柏琦)PRADA(普拉达)Jacob Winston(海瑞温斯顿)BARITU(巴藜兔)3.1 Phillip Lim威信 LoveMeJck

  2. DatabaseError: 1366 (HY000): Incorrect string value: ‘xE7xAB xE4xBAx89…’ for column ‘xs_chaptername’数据库编码错误,网上的解决方法都不管用啊,数据库怎么会,大神帮忙解决一下

  3. 博主,你的意思是把dingdian.py文件从spiders文件夹中移出,移到dingdian文件夹中么?但是运行entrypoint.py时还是报错,错误内容为’Spider not found: dingdian’。哎!真是折磨死我了。

    • 你的解决了吗?我试过@问问164 的方法,结果还是报错错误:ValueError: attempted relative import beyond top-level package找了网上资料,试过用 from .. import DingdianItem 和 from . import DingdianItem 都不行额,望大神解答