Utilizando python 3.4 en windows. Estoy tratando de terminar el procesamiento de un niño simulando a una persona presionando Ctrl + C (Ctrl + D en Linux). Acabo de agregar el controlador para comprobar si la señal se estaba manejando. Utilicé la idea de esta pregunta. El objective es capturar el Interruptor de teclado (SIGINT) […]
Esta pregunta puede ser un duplicado. Sin embargo, leí muchas cosas sobre este tema y no encontré una que coincida con mi caso, o al menos no lo entendí. Perdón por las molestias. Lo que estoy tratando de hacer es bastante común, pasar una lista de kwargs a pool.starmap (), para lograr el multiprocesamiento. Aquí […]
Estoy tratando de usar el multiprocesamiento para leer 100 archivos CSV en paralelo (y luego procesarlos por separado en paralelo). Aquí está mi código que se ejecuta en Jupyter alojado en mi nodo maestro de EMR en AWS. (Eventualmente serán archivos de 100k csv, de ahí la necesidad de lectura distribuida). import findspark import boto3 […]
Por ejemplo: class DemoFrame(wx.Frame): def __init__(self): Initializing … self.TextA = wx.StaticText(MainPanel, id = -1, label = “TextAOrWhatever”) self.TextB = wx.StaticText(MainPanel, id = -1, label = “TextBOrWhatever”) … def StaticTextUpdating(self, ObjectName, Message): ObjectName.SetLabel(Message) def WorkerA(self): while True: Work on something UpdatingThread = threading.Thread(target = self.StaticTextUpdating, args = (self.TextA, “Something for TextA”, )) UpdatingThread.start() time.sleep(randomSecs) def WorkerB(self): […]
Como he descubierto, Windows es un poco porcino cuando se trata de multiprocesamiento y tengo preguntas al respecto. El pydoc indica que debe proteger el punto de entrada de una aplicación de Windows al usar multiprocesamiento . ¿Significa esto solo el código que crea el nuevo proceso? Por ejemplo Script 1 import multiprocessing def somemethod(): […]
Soy muy nuevo en Celery y aquí está la pregunta que tengo: Supongamos que tengo un script que se supone que constantemente busca datos nuevos de la base de datos y los envía a los trabajadores usando Celery. tareas.py # Celery Task from celery import Celery app = Celery(‘tasks’, broker=’amqp://guest@localhost//’) @app.task def process_data(x): # Do […]
Escribí una función en Python 2.7 (en Windows OS 64bit) para calcular el valor medio del área de intersección a partir de un polígono de referencia (Ref) y uno o más polígonos segmentados (Seg) en formato de archivo de forma ESRI. El código es bastante lento porque tengo más de 2000 polígonos de referencia y, […]
Ejecutándolo en Ubuntu 14 con Python 2.7.6 Simplifiqué el script para mostrar mi problema: import time import multiprocessing data = range(1, 3) start_time = time.clock() def lol(): for i in data: print time.clock() – start_time, “lol seconds” def worker(n): print time.clock() – start_time, “multiprocesor seconds” def mp_handler(): p = multiprocessing.Pool(1) p.map(worker, data) if __name__ == […]
Estoy escribiendo una aplicación en pyqt4 que tiene que leer y analizar muchos archivos XML. Hecho un solo hilo, toma un tiempo hacer todo ese análisis y hacer los miles de objetos de Python correspondientes a ese XML entrante. He perfilado el código y, por lo que puedo decir, se trata de un proceso de […]
Posible duplicado: Multiprocesamiento iniciando demasiadas instancias de Python VM Módulo ejecutado a través de python myscript.py (no entrada de shell) import uuid import time import multiprocessing def sleep_then_write(content): time.sleep(5) print(content) if __name__ == ‘__main__’: for i in range(15): p = multiprocessing.Process(target=sleep_then_write, args=(‘Hello World’,)) p.start() print(‘Ah, what a hard day of threading…’) Este script da como […]