投稿    登录
欢迎来访~

Scrapy 如何存储图片?

技术杂谈 Payne 1458浏览 1评论

扫码或搜索:进击的Coder

发送

即可立即永久解锁本站全部文章

官方文档说明

在设置中找到ITEM_PIPELINES并加入以下代码

settings配置:

图片存储路径:

图片存储天数

设置缩略图(固定值):

示例:

设置spider中获取images_url的提取方法

使用ImagesPipeline下载图片时,需要使用images_urls字段,images_urls一般是可迭代的列表或元组类型

如果遇到图片反扒请打开

存入MongoDB,示例代码

更多详情请查阅官方文档:https://docs.scrapy.org/en/latest/topics/item-pipeline.html#take-screenshot-of-item

转载请注明:静觅 » Scrapy 如何存储图片?

更多文章、联系博主、技术交流、商务合作

扫码或搜索:进击的Coder

进击的Coder

微信公众号 扫一扫关注

喜欢 (5)or分享 (0)

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请狠狠点击下面的

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(1)个小伙伴在吐槽
  1. Hi,崔老师您好,这个配置方式只能存储图片,不能重命名,请问怎么重命名呢
    阿文2020-09-12 11:23 回复