您当前的位置:首页 > 计算机 > 编程开发 > Python

Could not open CONNECT tunnel with proxy错误异常捕获TunnelError

时间:12-10来源:作者:点击数:

scrapy中间件middlewares中当我们使用代理爬取页面的时候,提示如下错误:

Could not open CONNECT tunnel with proxy 14.115.105.155:808 [{'status': 307, 'reason': b'Temporary Redirect'}]

很有可能已加入对方黑名单,可以用如下命令捕获异常,并删除这个代理:

from scrapy.core.downloader.handlers.http11 import TunnelError

class RandomProxyMiddleware(object):
    ......
    def process_exception(self,request,exception,spider):
        if isinstance(exception,TunnelError):
            pass

 

方便获取更多学习、工作、生活信息请关注本站微信公众号城东书院 微信服务号城东书院 微信订阅号
推荐内容
相关内容
栏目更新
栏目热门
本栏推荐