okcupiduser agent 手机 修改怎么改user

大多数情况下网站都会根据我們的请求头信息来区分你是不是一个爬虫程序,如果一旦识别出这是一个爬虫程序很容易就会拒绝我们的请求,因此我们需要给我们的爬虫手动添加请求头信息来模拟浏览器的行为,但是当我们需要大量的爬取某一个网站的时候一直使用同一个User-Agent显然也是不够的,因此我们本节的内容就是学习在scrapy中设置随机的User-Agent。

当然你可以去搜索更多的User-Agent添加进来。

而后在middlewares.py文件中添加如下的信息,这也是我们设置User-Agent的主要逻辑先上代码再解释。

可以看到整个过程非常的简单相关模块的导入就不说了,我们首先自定义了一个类这个类继承自UserAgentMiddleware。之前巳经说过scrapy为我们提供了from_crawler()的方法,用于访问相关的设置信息这里就是用到了这个方法,从settings里面取出我们的USER_AGENT列表而后就是随机从列表中選择一个,添加到headers里面最后默认返回了None。

到这里全部的设置就算完成了!

我要回帖

更多关于 okcupid.com 的文章

 

随机推荐