conseguir Prohibido por robots.txt: scrapy

mientras rastrea el sitio web como https://www.netflix.com , quedando prohibido por robots.txt: https://www.netflix.com/>

ERROR: No se ha descargado ninguna respuesta para: https://www.netflix.com/

En la nueva versión (scrapy 1.1) lanzada el 2016-05-11, el rastreo primero descarga el archivo robots.txt antes del rastreo. Para cambiar este cambio de comportamiento en su settings.py con ROBOTSTXT_OBEY

 ROBOTSTXT_OBEY=False 

Aquí están las notas de lanzamiento

Lo primero que debe asegurarse es que cambie su agente de usuario en la solicitud, de lo contrario, el agente de usuario predeterminado se bloqueará con seguridad.