Raspando un sitio web utilizando Scrapy y selenium

Voy a raspar los contenidos html en http://ntry.com/#https://stackoverflow.com/scores/named_ladder/main.php con Scrapy .

Pero, debido al uso de Javascript y # del sitio, supongo que también tengo que usar Selenium ( Python ).

Me gustaría escribir mi propio código, pero soy nuevo en progtwigción, así que supongo que necesito ayuda;

Primero quiero ingresar a ntry.com y pasar a http://ntry.com/#https://stackoverflow.com/scores/named_ladder/main.php haciendo clic en un ancla llamada

    

y luego quiero raspar htmls en la página cambiada usando Scrapy .

¿Cómo puedo hacer una araña Scrapy mezclada con selenium ?

Instalé Selenium y luego cargué el módulo PhantomJS y funcionó perfectamente.

Esto es lo que puedes probar

 from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities class FormSpider(Spider): name = "form" def __init__(self): dcap = dict(DesiredCapabilities.PHANTOMJS) dcap["phantomjs.page.settings.userAgent"] = ("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36") self.driver = webdriver.PhantomJS(desired_capabilities=dcap, service_args=['--ignore-ssl-errors=true', '--ssl-protocol=any', '--web-security=false']) self.driver.set_window_size(1366,768) def parse_page(self, response): self.driver.get(response.url) cookies_list = self.driver.get_cookies()