¿Cómo ejecutar el proyecto Scrapy en Jupyter?

En una Mac, tengo instalado Jupyter y cuando jupyter notebook desde la carpeta raíz de mi proyecto de Scrapy, se abre la notebook. Puedo navegar todos los archivos del proyecto en este punto.

¿Cómo ejecuto el proyecto desde el cuaderno?

Si hago clic en la pestaña En ejecución, debajo de Terminales, veo:

 There are no terminals running. 

Hay dos formas principales de lograrlo:

1. En la pestaña Archivos, abra un nuevo terminal: Nuevo> Terminal
Luego simplemente ejecute spider: scrapy crawl [options]

2. Cree un nuevo cuaderno y use las clases CrawlerProcess o CrawlerRunner para ejecutarse en una celda:

 from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_project_settings process = CrawlerProcess(get_project_settings()) process.crawl('your-spider') process.start() # the script will block here until the crawling is finished 

Documentos de Scrapy – Ejecuta Scrapy desde un script