Cómo enviar datos de publicación en start_urls de la araña scrapy

Quiero rastrear un sitio web que solo admite datos de publicación. Quiero enviar los parámetros de consulta en datos de publicación en todas las solicitudes. ¿Cómo lograr esto?

Las solicitudes POST se pueden realizar utilizando las clases Request o FormRequest de scrapy .

Además, considera usar el método start_requests() lugar de la propiedad start_urls .

Ejemplo:

 from scrapy.http import FormRequest class myspiderSpider(Spider): name = "myspider" allowed_domains = ["www.example.com"] def start_requests(self): return [ FormRequest("http://www.example.com/login", formdata={'someparam': 'foo', 'otherparam': 'bar'}, callback=self.parse) ] 

Espero que ayude.