Estoy ejecutando scrapy desde un script pero todo lo que hace es activar la araña. No pasa a través de mi tubería de artículos. He leído http://scrapy.readthedocs.org/en/latest/topics/practices.html pero no dice nada acerca de incluir tuberías. Mi configuración: Scraper/ scrapy.cfg ScrapyScript.py Scraper/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py my_spider.py Mi guion: from twisted.internet import reactor from […]
Estoy tratando de implementar mi propia versión de un DailyLogFile from twisted.python.logfile import DailyLogFile class NDailyLogFile(DailyLogFile): def __init__(self, name, directory, rotateAfterN = 1, defaultMode=None): DailyLogFile.__init__(self, name, directory, defaultMode) # why do not use super. here? lisibility maybe? # self.rotateAfterN = rotateAfterN def shouldRotate(self): “””Rotate when N days have passed since file creation””” delta = datetime.date(*self.toDate()) […]
Quiero consultar de forma asíncrona las claves de una base de datos, luego realizar solicitudes a varias direcciones URL para cada clave. Tengo una función que devuelve un Deferred de la base de datos cuyo valor es la clave para varias solicitudes. Idealmente, llamaría a esta función y devolvería un generador de start_requests desde start_requests […]
Trenzado, soy un bucle de eventos perpetuos que siempre está buscando una nueva consulta para ejecutarla Sondea una cola SQS y son momentos en los que el tiempo entre consultas es lo suficientemente largo como para salir y este es el error que recibo cuando llega una nueva consulta. .. MySQLdb _mysql_exceptions.OperationalError: (2006, ‘El servidor […]
Recuerdo haber leído que las siguientes funciones llevan al desarrollo de marcos / bibliotecas interesantes en Python: – (Leí el artículo de http://www.python.org/workshops/2002-02/papers/09/index.htm ) Un modelo de clase simple, que facilita la herencia. Escritura dinámica, lo que significa que el código debe asumir menos. Gestión de memoria incorporada. Java está comstackdo estáticamente, y también tiene […]
Estoy tratando de aprender Twisted, un framework Python, y quiero poner una aplicación básica en línea que, cuando reciba un mensaje, se la envíe. Decidí usar Heroku para hospedarlo, y seguí las instrucciones en sus documentos. import os from twisted.internet import protocol, reactor class Echo(protocol.Protocol): def dataReceived(self, data): self.transport.write(data) class EchoFactory(protocol.Factory): def buildProtocol(self, addr): return […]
Un ejemplo de mi código es el siguiente. Me gustaría enviar datos de manera arbitraria en varios puntos del progtwig. Twisted parece genial para escuchar y luego reactjsr, pero cómo simplemente envío datos. from twisted.internet.protocol import DatagramProtocol from twisted.internet import reactor import os class listener(DatagramProtocol): def __init__(self): def datagramReceived(self, data, (host, port)): print “GOT ” […]
He instalado correctamente Portia en Windows 8.1 de acuerdo con esta guía http://doc.scrapy.org/en/latest/intro/install.html#windows (usé pip en lugar de easy_install). Al iniciar slyd a través de twistd.py -n slyd todo parece funcionar bien hasta que abro el sitio web http://localhost:9001/static/main.html . El siguiente error se muestra en la ventana de la consola: 2014-06-03 19:05:56+0200 [-] Log […]
ERROR: Error downloading : User timeout caused connection failure. Me sale este problema de vez en cuando cuando uso mi raspador. ¿Hay alguna manera de detectar este problema y ejecutar una función cuando sucede? No puedo averiguar cómo hacerlo en línea en cualquier lugar.
Todos: Estoy buscando ideas de entrada / orientación / y diseño. Mi objective es encontrar una forma sencilla pero confiable de tomar carga útil XML de un HTTP POST (no hay problemas con esta parte), analizarla y generar un proceso de vida relativamente larga de forma asíncrona. El proceso generado requiere un uso intensivo de […]