Scrapy establece el límite de profundidad por permitidos_dominios

Estoy rastreando 6 dominios distintos permitidos y me gustaría limitar la profundidad de 1 dominio. ¿Cómo podría limitar la profundidad de ese dominio 1 en scrapy? ¿O sería posible rastrear solo 1 profundidad de un dominio externo?

Scrapy no proporciona nada como esto. Puede configurar DEPTH_LIMIT por spider , pero no por dominio.

¿Qué podemos hacer? Lea el código , tome café y resuélvalo (el orden es importante).

La idea es deshabilitar el software integrado DepthMiddleware de DepthMiddleware y proporcionar nuestro personalizado en su lugar.

Primero, definamos la configuración:

  • DOMAIN_DEPTHS sería un diccionario con límites de profundidad por dominio
  • DEPTH_LIMIT configuración de DEPTH_LIMIT dejaremos como predeterminada en caso de que un dominio no esté configurado

Configuraciones de ejemplo:

 DOMAIN_DEPTHS = {'amazon.com': 1, 'homedepot.com': 4} DEPTH_LIMIT = 3 

Bien, ahora el middleware personalizado (basado en DepthMiddleware ):

 from scrapy import log from scrapy.http import Request import tldextract class DomainDepthMiddleware(object): def __init__(self, domain_depths, default_depth): self.domain_depths = domain_depths self.default_depth = default_depth @classmethod def from_crawler(cls, crawler): settings = crawler.settings domain_depths = settings.getdict('DOMAIN_DEPTHS', default={}) default_depth = settings.getint('DEPTH_LIMIT', 1) return cls(domain_depths, default_depth) def process_spider_output(self, response, result, spider): def _filter(request): if isinstance(request, Request): # get max depth per domain domain = tldextract.extract(request.url).registered_domain maxdepth = self.domain_depths.get(domain, self.default_depth) depth = response.meta.get('depth', 0) + 1 request.meta['depth'] = depth if maxdepth and depth > maxdepth: log.msg(format="Ignoring link (depth > %(maxdepth)d): %(requrl)s ", level=log.DEBUG, spider=spider, maxdepth=maxdepth, requrl=request.url) return False return True return (r for r in result or () if _filter(r)) 

Tenga en cuenta que requiere que se tldextract módulo tldextract (utilizado para extraer un nombre de dominio de url):

 >>> import tldextract >>> url = 'http://stackoverflow.com/questions/27805952/scrapy-set-depth-limit-per-allowed-domains' >>> tldextract.extract(url).registered_domain 'stackoverflow.com' 

Ahora debemos desactivar el middleware predeterminado y usar el que implementamos:

 SPIDER_MIDDLEWARES = { 'myproject.middlewares.DomainDepthMiddleware': 900, 'scrapy.contrib.spidermiddleware.depth.DepthMiddleware': None }