Articles of multiprocesamiento de

Envíe SIGINT al subproceso de Python usando os.kill como si presionara Ctrl + C

Utilizando python 3.4 en windows. Estoy tratando de terminar el procesamiento de un niño simulando a una persona presionando Ctrl + C (Ctrl + D en Linux). Acabo de agregar el controlador para comprobar si la señal se estaba manejando. Utilicé la idea de esta pregunta. El objective es capturar el Interruptor de teclado (SIGINT) […]

Multiproceso de Python – Pasar una lista de dictados a un grupo

Esta pregunta puede ser un duplicado. Sin embargo, leí muchas cosas sobre este tema y no encontré una que coincida con mi caso, o al menos no lo entendí. Perdón por las molestias. Lo que estoy tratando de hacer es bastante común, pasar una lista de kwargs a pool.starmap (), para lograr el multiprocesamiento. Aquí […]

Cómo distribuir el grupo de multiprocesamiento a los trabajadores de la chispa

Estoy tratando de usar el multiprocesamiento para leer 100 archivos CSV en paralelo (y luego procesarlos por separado en paralelo). Aquí está mi código que se ejecuta en Jupyter alojado en mi nodo maestro de EMR en AWS. (Eventualmente serán archivos de 100k csv, de ahí la necesidad de lectura distribuida). import findspark import boto3 […]

¿No es suficiente simplemente usar hilos para actualizar la GUI?

Por ejemplo: class DemoFrame(wx.Frame): def __init__(self): Initializing … self.TextA = wx.StaticText(MainPanel, id = -1, label = “TextAOrWhatever”) self.TextB = wx.StaticText(MainPanel, id = -1, label = “TextBOrWhatever”) … def StaticTextUpdating(self, ObjectName, Message): ObjectName.SetLabel(Message) def WorkerA(self): while True: Work on something UpdatingThread = threading.Thread(target = self.StaticTextUpdating, args = (self.TextA, “Something for TextA”, )) UpdatingThread.start() time.sleep(randomSecs) def WorkerB(self): […]

Multiprocesamiento de windows

Como he descubierto, Windows es un poco porcino cuando se trata de multiprocesamiento y tengo preguntas al respecto. El pydoc indica que debe proteger el punto de entrada de una aplicación de Windows al usar multiprocesamiento . ¿Significa esto solo el código que crea el nuevo proceso? Por ejemplo Script 1 import multiprocessing def somemethod(): […]

Apio: ¿cómo limitar el número de tareas en la cola y dejar de alimentar cuando está lleno?

Soy muy nuevo en Celery y aquí está la pregunta que tengo: Supongamos que tengo un script que se supone que constantemente busca datos nuevos de la base de datos y los envía a los trabajadores usando Celery. tareas.py # Celery Task from celery import Celery app = Celery(‘tasks’, broker=’amqp://guest@localhost//’) @app.task def process_data(x): # Do […]

Python: usar el módulo de multiprocesamiento como posible solución para boost la velocidad de mi función

Escribí una función en Python 2.7 (en Windows OS 64bit) para calcular el valor medio del área de intersección a partir de un polígono de referencia (Ref) y uno o más polígonos segmentados (Seg) en formato de archivo de forma ESRI. El código es bastante lento porque tengo más de 2000 polígonos de referencia y, […]

El tiempo de impresión en el script multiproceso de Python devuelve el tiempo negativo transcurrido

Ejecutándolo en Ubuntu 14 con Python 2.7.6 Simplifiqué el script para mostrar mi problema: import time import multiprocessing data = range(1, 3) start_time = time.clock() def lol(): for i in data: print time.clock() – start_time, “lol seconds” def worker(n): print time.clock() – start_time, “multiprocesor seconds” def mp_handler(): p = multiprocessing.Pool(1) p.map(worker, data) if __name__ == […]

¿Cómo usar Python multinúcleo con proceso PyQt4?

Estoy escribiendo una aplicación en pyqt4 que tiene que leer y analizar muchos archivos XML. Hecho un solo hilo, toma un tiempo hacer todo ese análisis y hacer los miles de objetos de Python correspondientes a ese XML entrante. He perfilado el código y, por lo que puedo decir, se trata de un proceso de […]

Python – copias múltiples de salida cuando se usa multiprocesamiento

Posible duplicado: Multiprocesamiento iniciando demasiadas instancias de Python VM Módulo ejecutado a través de python myscript.py (no entrada de shell) import uuid import time import multiprocessing def sleep_then_write(content): time.sleep(5) print(content) if __name__ == ‘__main__’: for i in range(15): p = multiprocessing.Process(target=sleep_then_write, args=(‘Hello World’,)) p.start() print(‘Ah, what a hard day of threading…’) Este script da como […]