Articles of multiprocesamiento de

Python Pika – Consumidor en hilo

Estoy trabajando en una aplicación Python con un subproceso en segundo plano para consumir mensajes de una cola de RabbitMQ (escenario de tema). Comienzo el hilo en el evento on_click de un botón. Aquí está mi código, preste atención a “# self.receive_command ()”. def on_click_start_call(self,widget): t_msg = threading.Thread(target=self.receive_command) t_msg.start() t_msg.join(0) #self.receive_command() def receive_command(self): syslog.syslog(“ENTERED”) connection […]

La formación de una matriz numpy a partir de un búfer de matriz desde la memoria compartida (multiprocesamiento) falla

Necesito tener una matriz multidimensional en una memoria compartida entre dos procesos. Estoy tratando de hacer un ejemplo simple que funcione: envío [1, 2, 3, 4, 5, 6, 7, 8, 9] al otro proceso, que lo remodela en [[1, 2, 3], [4, 5, 6], [7, 8, 9]] sin tener memoria adicional. import multiprocessing import ctypes […]

El multiprocesamiento de Python map_async genera un error en Windows

El siguiente código funciona perfectamente en Unix pero genera un multiprocesamiento.TimeoutError en Windows 7 (ambos sistemas operativos utilizan Python 2.7). ¿Alguna idea de por qué? Gracias. from multiprocessing import Pool def increment(x): return x + 1 def decrement(x): return x – 1 pool = Pool(processes=2) res1 = pool.map_async(increment, range(10)) res2 = pool.map_async(decrement, range(10)) print res1.get(timeout=1) […]

py2exe con multiprocesamiento no puede ejecutar los procesos

Estoy usando Python 2.6 en Windows 7 y estoy tratando de usar multiproceso: p = Process(target=f, args=(SOME_ARGS)) p.start() p.join() mientras ejecuto el código de CMD (usando el intérprete), todo funciona bien, pero después de crear un archivo exe con py2exe, la ejecución del proceso falla con el siguiente error: error: no hay tal opción: – […]

Paralelizar este bucle nested para python

Estoy luchando de nuevo para mejorar el tiempo de ejecución de este pedazo de código. Dado que los cálculos realmente requieren mucho tiempo, creo que la mejor solución sería paralelizar el código. Primero trabajé con mapas como se explica en esta pregunta, pero luego probé un enfoque más simple pensando que podría encontrar una mejor […]

Implementación de multiprocesamiento de pyqtgraph en un widget pyqt

Estoy tratando de trazar imágenes en una GUI que estoy diseñando en Python. El progtwig completo recostackrá datos de imágenes de una cámara y luego mostrará las imágenes en la GUI. He explorado el uso de matplotlib, pero fue demasiado lento para mi aplicación. Necesito que la ttwig se actualice con bastante rapidez (preferiblemente lo […]

El uso de la agrupación de multiprocesamiento de la tarea de apio genera una excepción

PARA AQUELLOS QUE LEEN ESTO: he decidido utilizar RQ, que no falla cuando se ejecuta el código que utiliza el módulo de multiprocesamiento. Te sugiero que uses eso. Estoy tratando de usar un grupo de multiprocesamiento dentro de una tarea de apio usando Python 3 y redis como intermediario (ejecutándolo en una Mac). Sin embargo, […]

Cómo usar Python multiprocessing Pool.map dentro de loop

Estoy ejecutando una simulación utilizando Runge-Kutta. En cada paso del tiempo, se requieren dos FFT de dos variables independientes que pueden ser paralelizadas. Implementé el código así: from multiprocessing import Pool import numpy as np pool = Pool(processes=2) # I like to calculate only 2 FFTs parallel # in every time step, therefor 2 processes […]

Paralela un bucle nested en python para encontrar el valor máximo

Estoy luchando por algún tiempo para mejorar el tiempo de ejecución de este fragmento de código. Dado que los cálculos realmente requieren mucho tiempo, creo que la mejor solución sería paralelizar el código. La salida también se puede almacenar en la memoria, y luego escribirse en un archivo. Soy nuevo tanto en Python como en […]

Multiprocesamiento: resultado NULO sin error en PyObject_Call

Aquí hay un progtwig de ejemplo donde uso multiprocesamiento. Los cálculos se realizan con multiprocessing.Process y los resultados se recostackn mediante multiprocessing.Queue . #THIS PROGRAM RUNS WITH ~40Gb RAM. (you can reduce a,b,c for less RAM #but then it works for smaller values) #PROBLEM OCCURS ONLY FOR HUGE DATA. from numpy import * import multiprocessing […]