Descarga una página completa con scrapy.

Quiero descargar el contenido de una página entera usando scrapy.

Con el selenium esto es bastante fácil:

import os,sys reload(sys) sys.setdefaultencoding('utf8') from selenium import webdriver url = 'https://es.wikipedia.org/wiki/Python' driver = webdriver.Firefox() driver.get(url) content = driver.page_source with open('source','w') as output: output.write(content) 

Pero el selenium es mucho más lento que el áspero.

¿Es una forma sencilla de hacerlo en scrapy?

Quiero guardar el código de cada página en un texto de archivo diferente, no como un archivo csv o json. Además, si es posible sin crear un proyecto, lo que parece un poco excesivo para una tarea tan simple.

El código descargará esta página y la guardará en el archivo download-a-full-page-with-scrapy.html

test_scr.py

 import scrapy class TestSpider(scrapy.Spider): name = "test" start_urls = [ "http://stackoverflow.com/questions/38233614/download-a-full-page-with-scrapy", ] def parse(self, response): filename = response.url.split("/")[-1] + '.html' with open(filename, 'wb') as f: f.write(response.body) 

ejecutar scrapy por este comando

 scrapy runspider test_scr.py