¿Por qué Scrapy devuelve un Iframe?

Quiero rastrear este sitio por Python-Scrapy

Intento esto

class Parik(scrapy.Spider): name = "ooshop" allowed_domains = ["http://www.ooshop.com/courses-en-ligne/Home.aspx"] def __init__(self, idcrawl=None, proxy=None, *args, **kwargs): super(Parik, self).__init__(*args, **kwargs) self.start_urls = ['http://www.ooshop.com/courses-en-ligne/Home.aspx'] def parse(self, response): print response.css('body').extract_first() 

pero no tengo la primera página, tengo un iframe vacío

 2016-09-06 19:09:24 [scrapy] DEBUG: Crawled (200)  (referer: None)    2016-09-06 19:09:24 [scrapy] INFO: Closing spider (finished) 

El sitio web está protegido por Incapsula, un servicio de seguridad de sitios web. Le proporciona a su “navegador” un desafío que debe realizar antes de recibir una cookie especial que le da acceso al sitio web en sí.

Afortunadamente, no es tan difícil pasar por alto. Instale incapsula-cracker e instale su middleware de descarga:

 DOWNLOADER_MIDDLEWARES = { 'incapsula.IncapsulaMiddleware': 900 }