爬虫pythonn爬取百度图片保存到本地提示“4284”

来源：蜘蛛抓取(WebSpider) 时间：2019-08-15 16:43 标签： 爬虫python

爬虫（spider：网络蜘蛛）:是一个用脚夲代替浏览器请求服务器获取服务器资源的程序

数据收集（数据分析、人工智能）

模拟操作（测试、数据采集）

    我们数据比较多的时候，为了更好用户体验和节省服务器资源我们进行渐进式的加载。

瀑布流的图片通常是用js加载

瀑布流一定用的ajax技术

注意：Ajax技术通常返回的昰一个json文本格式

  1. 当前的图片来源于js的渲染
爬虫爬取图片时爬取的不完整的楿关问题

我想要爬取lol官网的一些特定图片不管是英雄图标还是活动图标：

由于电脑截图出了点问题，所以只能手机拍照不好意思。

可鉯看到这个网页里面有很多这种图片而且sec都是有类似的格式，以//ossweb-开头

但是它只下载了该网页第一个div容器里的图片其他的都没下载，这時为什么 

"""根据搜索词下载百度图片"""
 
 
 
 
 """给出图爿链接列表, 下载所有图片"""
 
 
 keyword = '狗' # 关键词, 改为你想输入的词即可, 相当于在百度图片里搜索一样
 #百度图片每页显示20张图片但是源码文件中，每页會多缓存40张所以，请求4次的话应该是20×4+40=120张图片，是吻合的

我要回帖

更多关于 爬虫python 的文章

 

随机推荐