Articles of web de

¿Cómo obtener valores de parámetros de solicitud de obtención en matraz?

La respuesta que encontré en la web es usar request.args.get . Sin embargo, no puedo lograr que funcione. Tengo el siguiente ejemplo simple: from flask import Flask app = Flask(__name__) @app.route(“/hello”) def hello(): print request.args[‘x’] return “Hello World!” if __name__ == “__main__”: app.run() Voy a la 127.0.0.1:5000/hello?x=2 en mi navegador y como resultado obtengo: Internal […]

Scrapy – Reactor no reiniciable

con: from twisted.internet import reactor from scrapy.crawler import CrawlerProcess Siempre he ejecutado este proceso con éxito: process = CrawlerProcess(get_project_settings()) process.crawl(*args) # the script will block here until the crawling is finished process.start() pero desde que moví este código a una función web_crawler(self) , así: def web_crawler(self): # set up a crawler process = CrawlerProcess(get_project_settings()) process.crawl(*args) […]

conseguir Prohibido por robots.txt: scrapy

mientras rastrea el sitio web como https://www.netflix.com , quedando prohibido por robots.txt: https://www.netflix.com/> ERROR: No se ha descargado ninguna respuesta para: https://www.netflix.com/

Crear aplicación para web y escritorio.

Quiero crear una aplicación y debería funcionar tanto en el escritorio (sin conexión a Internet) como en la web. Las aplicaciones deben ser las mismas (me refiero a la interfaz de usuario y el código) y trabajar tanto en la web como en el escritorio (o quizás con una pequeña diferencia) Como lenguaje de progtwigción […]

Python Scrapy en datos fuera de línea (locales)

Tengo un conjunto de datos de 270MB (10000 archivos html) en mi computadora. ¿Puedo usar Scrapy para rastrear este conjunto de datos localmente? ¿Cómo?

Buena documentación / tutorial para el kit web de python

He encontrado enlaces con ejemplos básicos de webkit. pero no pudo encontrar ninguna documentación adecuada sobre la estructura de clases de webkit en google. ¿Alguien podría sugerir buenos enlaces o documentación para webkit? ¡Gracias!

Ejecutar el comando de administración Python / Django desde un UnitTest / WebTest

Tenemos un montón de comandos en nuestro sitio de Django, algunos que son administrativos y otros que se ejecutan en trabajos cron que no puedo averiguar cómo probar. Se parecen mucho a esto: # Saved in file /app/management/commands/some_command.py # Usage: python manage.py some_command from django.core.management.base import NoArgsCommand class Command(NoArgsCommand): def handle_noargs(self, **options): # Do something […]

Necesita un ejemplo simple de “Hello World” usando la biblioteca Webkit en Python

¿Alguien sabe de un ejemplo simple de “Hello World” para usar la biblioteca Webkit en Python? Tengo una ventana de GTK, y dentro quiero poner Webkit. Con Python / mozembed (Mozilla / Gecko), esto es simple: mozembed = gtkmozembed.MozEmbed() mozembed.load_url(‘http://google.com/’) ..y ya he creado mi navegador, ¿cómo hago esto con WebKit?

¿Cómo detengo todas las arañas y el motor inmediatamente después de que se cumple una condición en una tubería?

Tenemos un sistema escrito con chatarra para rastrear algunos sitios web. Hay varias arañas y algunas tuberías en cascada para todos los elementos que pasan todos los rastreadores. Uno de los componentes de la canalización consulta a los servidores de Google las direcciones de geoencoding . Google impone un límite de 2500 solicitudes por día […]

¿Cómo puedo usar diferentes tuberías para diferentes arañas en un solo proyecto Scrapy?

Tengo un proyecto desechable que contiene múltiples arañas. ¿Hay alguna manera en que pueda definir qué tuberías usar para cada araña? No todas las tuberías que he definido son aplicables para todas las arañas. Gracias