当你学会了Python爬虫技术之后看到什么都想去爬一下,今天小千就来教大家如何去获取虎牙直播中的美女主播照片,带好小本本记好重点!
Python爬虫获取直播封面图
首先我们需要知道整体的流程:
1.获取请求链接,并判断响应结果的类型。2.使用requests发出请求,获取响应结果。3.解析响应结果。4.将响应的结果做持久化保存。
按照上面的步骤,第一步我们打开虎牙直播的网站,找到想要获取数据的专区,然后按下F11开发者工具,选择Network进行网络请求和响应的查看。我们的目的是获取海量的美女图片将页面拉到底部,进行翻页。发现地址栏没有变化。
如果大家遇到这种情况,就要考虑是不是使用ajax进行异步请求了。在Network中选择XHR,进行异步请求的筛选。
点开上图中圈起来的链接,发现在response处是一个json返回结果
链接其他的没有发生变化,唯独在最后位置page发生了改变。分别跟页码数对应上了。于是我们就有了下面的代码:
现在我们就来到了步骤二,使用requests发出请求了。
我们发现成功获取了3条json结果,接下来就是分析和解析数据了。因为json内容很长,我们不便分析它们,所以我们使用json的格式化工具完成
通过分析我们发现所有的数据都在data-->datas中,而图片在screenshot对应的值上。所以我们开始解析,先将json字符串使用json.loads()进行转换,得到的是一个字典,然后层层的获取数据。
我们虽然提取出来了图片的url,但是还没有保存到本地。所以接下来要做第四步持久化保存了。因为我们下载的仅仅是图片,所以直接使用request.urlretrieve实现就可以
因此最后的完整代码是:
以上就是利用Python获取美女直播图片的教程了,其他直播网站的图片也可以同样方式操作,如果你对Python爬虫感兴趣的话不妨来千锋Python培训班了解一下我们的Python培训课程,包含全套Python爬虫教程,权威名师全程面授学不会继续学直到学会为止,现在咨询还有免费的学习资料可以领取,赶紧来了解一下吧。