文章目录
- 一、前言1. 目标2. 环境二、分析网页三、爬虫代码实现四、其他说明
一、前言
王者荣耀这款手游,想必大家都玩过或听过,游戏里英雄有各式各样的皮肤,制作得很精美,有些拿来做电脑壁纸它不香吗。本文带你利用Python爬虫一键下载王者荣耀英雄皮肤壁纸。
1. 目标
创建一个文件夹, 里面又有按英雄名称分的子文件夹保存该英雄的所有皮肤图片
URL:https://pvp.qq.com/web201605/herolist.shtml(复制链接到浏览器打开)
2. 环境
运行环境:Pycharm、Python3.7
需要的库
二、分析网页
首先打开王者荣耀官网,点击英雄资料进去。
进入新的页面后,任意选择一个英雄,检查网页。
多选择几个英雄检查网页,可以发现各个英雄页面的URL规律
发现只有末尾的数字在变化,末尾的数字可以认为是该英雄的页面标识。
点击Network,Crtl + R 刷新,可以找到一个 herolist.json 文件。
发现是乱码,但问题不大,双击这个 json 文件,将它下载下来观察,用编辑器打开可以看到。
name是英雄网址页面的标识;而 cname 是对应英雄的名称;skin_name为对应皮肤的名称。
任选一个英雄页面进去,检查该英雄下面所有皮肤,观察url变化规律。
复制图片链接到浏览器打开,可以看到高清大图。
观察到同一个英雄的皮肤图片 url 末尾 -{x}.jpg 从 1 开始依次递增,再来看看不同英雄的皮肤图片 url 是如何构造的。会发现, ename这个英雄的标识不一样,获取到的图片就不一样,由 ename 参数决定。
三、爬虫代码实现
运行效果如下:
程序运行一段时间,英雄皮肤壁纸就都保存在本地文件夹啦,结果如下:
四、其他说明
- 不建议抓取太多数据,容易对服务器造成负载,浅尝辄止即可。
- 通过本文爬虫,可以帮助你了解 json 数据的解析和提取需要的数据,如何通过字符串的拼接来构造URL请求。
- 本文利用 Python 爬虫一键下载王者荣耀英雄皮肤壁纸,实现过程中也会遇到一些问题,多思考和调试,最终解决问题,也能理解得更深刻。
- 代码可直接复制运行,如果觉得还不错,记得给个赞哦,也是对作者最大的鼓励,不足之处可以在评论区多多指正。
解决报错:fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
解决方法如下:
#将
https://fake-useragent.herokuapp.com/browsers/0.1.11里内容复制 并另存为本地json文件:fake_useragent.json# 引用