去重是对数据去重还是对请求url进行去重?分别是如何来实现的?
url去重可以使用Scrapy+redis实现url去重(使用set)
另-种方式: Scrapy-Redis手 动添加去重ur|(指纹)，实现实录:通过MD5加密，把请求体，请求方式，请求url放在一起。
然后进行32进制的转义符字符串生成指纹。
生成-个字符串，放到数据库中 作为唯-标示。
数据去重可以使用sql语句或者pandas对爬取数据进行去重操作即可。
相关推荐HOT
【Python面试题】谈谈你对“猴子补丁”（monkey patching）的理解
“猴子补丁”是动态类型语言的一个特性，代码运行时在不修改源代码的前提下改变代码中的方法、属性、函数等以达到热补丁（hot patch）的效果。详情>>
2022-08-23 10:29:17
【Python面试题】使用Python代码实现遍历一个文件夹的操作
Python标准库os模块的walk函数提供了遍历一个文件夹的功能，它返回一个生成器。import os g = os.walk('/Users/Hao/Downloads/') for path, dir...详情>>
2022-08-23 10:29:09
【Python面试题】如何理解python中的封装,继承,多态的
封装：封装就是把对象的属性和行为结合成一个独立的整体，把内部的实现细节隐藏起来，不能被外界所看见，调用的人只能执行，而看不到实现的细节...详情>>
2022-08-23 10:29:06
【Python面试题】运行下面的代码是否会报错
扩展：如果不希望代码运行时动态的给对象添加新属性，可以在定义类时使用__slots__魔法。例如，我们可以在上面的A中添加一行__slots__ = ('__va...详情>>
2022-08-23 10:29:03
【Python面试题】阅读下面的代码说出运行结果。
在没有多重继承的情况下，向对象发出一个消息，如果对象没有对应的方法，那么向上（父类）搜索的顺序是非常清晰的。如果向上追溯到object类（所...详情>>
2022-08-23 10:29:00
京公网安备 11010802030320号