Python scrapy parse () function, ¿a dónde se devuelve el valor de retorno?

Soy nuevo en Scrapy, y lamento que esta pregunta sea trivial. He leído el documento en Scrapy de la página web oficial. Y mientras miro el documento, me encontré con este ejemplo:

import scrapy from myproject.items import MyItem class MySpider(scrapy.Spider): name = 'example.com' allowed_domains = ['example.com'] start_urls = [ 'http://www.example.com/1.html', 'http://www.example.com/2.html', 'http://www.example.com/3.html', ] def parse(self, response): for h3 in response.xpath('//h3').extract(): yield MyItem(title=h3) for url in response.xpath('//a/@href').extract(): yield scrapy.Request(url, callback=self.parse) 

Lo sé, el método de análisis debe devolver un elemento y / o una solicitud, pero ¿a dónde se devuelven estos valores de retorno?

Uno es un elemento y el otro es una solicitud, creo que estos dos tipos se manejarían de manera diferente y, en el caso de CrawlSpider , tiene Regla con callback. ¿Qué pasa con el valor de retorno de esta callback? a donde ? igual que parse() ?

Estoy muy confundido con el procedimiento de Scrapy, incluso leí el documento …

Según la documentación :

El método parse () se encarga de procesar la respuesta y devolver los datos raspados (como objetos del elemento) y más direcciones URL a seguir (como objetos de la solicitud).

En otras palabras, los elementos devueltos / cedidos y las solicitudes se manejan de manera diferente, los elementos se entregan a los canales de elementos y a los exportadores de elementos, pero las solicitudes se envían al Scheduler que canaliza las solicitudes al Downloader para realizar una solicitud y devolver una respuesta. Luego, el motor recibe la respuesta y la entrega a la araña para su procesamiento (al método de callback ).

Todo el proceso de flujo de datos se describe en la página Visión general de la architecture de manera muy detallada.

Espero que ayude.