Estoy tratando de actualizar una base de datos llena de enlaces a sitios web externos, por alguna razón, se omite la callback cuando los encabezados / sitio web / w / e de solicitud se mueven / marca 301 def start_requests(self): #… database stuff for x in xrange(0, numrows): row = cur.fetchone() item = exampleItem() […]
Cada vez que ejecuto mi código mi ip es baneada. Necesito ayuda para retrasar cada solicitud durante 10 segundos. He intentado colocar DOWNLOAD_DELAY en el código pero no da resultados. Cualquier ayuda es apreciada. # item class included here class DmozItem(scrapy.Item): # define the fields for your item here like: link = scrapy.Field() attr = […]
Por favor, eche un vistazo a este ejemplo de araña en la documentación de Scrapy. La explicación es: Esta araña comenzaría a rastrear la página de inicio de example.com, recostackndo enlaces de categoría y enlaces de elementos, analizando esta última con el método parse_item. Para cada respuesta del elemento, algunos datos se extraerán del HTML […]
Estoy escribiendo un progtwig de rastreo web con python y no puedo iniciar sesión usando mecanizar. El formulario en el sitio se ve como: Last Name: University ID or Library Barcode: Institution: Select University —- American Catholic District of Columbia Gallaudet George Mason George Washington Georgetown Marymount Trinity Por lo tanto, puedo configurar todo […]
Estoy intentando que se ejecute un rastreo recursivo y, como el que escribí no funcionaba bien, saqué un ejemplo de la web y lo intenté. Realmente no sé dónde está el problema, pero el rastreo no muestra ningún ERROR. Puede alguien ayudarme con esto. Además, ¿existe alguna herramienta de depuración paso a paso para ayudar […]
Estoy tratando de progtwigr una araña rastreadora para rastrear las fonts RSS de un sitio web y luego analizar las metatags del artículo. La primera página RSS es una página que muestra las categorías RSS. Logré extraer el enlace porque la etiqueta está en una etiqueta. Se parece a esto: subject1 subject2 Una vez que […]
Estoy tratando de raspar los datos de un sitio. Los datos se estructuran como múltiples objetos, cada uno con un conjunto de datos. Por ejemplo, personas con nombres, edades y ocupaciones. Mi problema es que estos datos se dividen en dos niveles en el sitio web. La primera página es, digamos, una lista de nombres […]
Tengo dificultades para entender las reglas de la araña de rastreo desechado. Tengo un ejemplo que no funciona como me gustaría, por lo que puede ser dos cosas: No entiendo cómo funcionan las reglas. Formé expresiones regulares incorrectas que me impiden obtener los resultados que necesito. OK aqui es lo que quiero hacer: Quiero escribir […]
Estoy tratando de llenar start_url con un SELECT de una tabla MYSQL usando spider.py . Cuando ejecuto “scrapy runspider spider.py” no obtengo salida, solo que terminó sin error. He probado la consulta SELECT en un script de python y start_url se rellena con las entradas de la tabla MYSQL. araña.py from scrapy.spider import BaseSpider from […]
Tengo que escribir un rastreador web en Python. No sé cómo analizar una página y extraer las URL de HTML. ¿Dónde debo ir y estudiar para escribir un progtwig así? En otras palabras, ¿existe un progtwig Python simple que pueda usarse como plantilla para un rastreador web genérico? Idealmente, debería usar módulos que sean relativamente […]