Articles of python multiproceso

Process.join () y la cola no funcionan con grandes números

Estoy tratando de dividir por bucle, es decir N = 1000000 for i in xrange(N): #do something utilizando multiprocesamiento. El proceso funciona bien con valores pequeños de N. El problema surge cuando uso valores mayores de N. Algo extraño sucede antes o durante el proceso de p.join () y el progtwig no responde. Si pongo […]

Multiprocesamiento dentro de un hilo hijo.

Estaba aprendiendo sobre multiprocesamiento y multiproceso. Por lo que entiendo, los subprocesos se ejecutan en el mismo núcleo, por lo que me preguntaba si crearé múltiples procesos dentro de un subproceso secundario. ¿Estarán limitados a ese único núcleo también? Estoy usando python, así que esta es una pregunta sobre ese idioma específico, pero me gustaría […]

Comprensión del multiprocesamiento: administración de memoria compartida, lockings y colas en Python

El multiprocesamiento es una herramienta poderosa en Python, y quiero entenderlo más a fondo. Quiero saber cuándo usar los lockings y colas regulares y cuándo usar un administrador de multiprocesamiento para compartirlos entre todos los procesos. Se me ocurrieron los siguientes escenarios de prueba con cuatro condiciones diferentes para multiprocesamiento: Usando un pool y NO […]

¿Cómo realizar mejor el multiprocesamiento dentro de las solicitudes con el servidor Tornado de Python?

Estoy usando el servidor de Python sin locking de E / S Tornado. Tengo una clase de solicitudes GET que pueden tardar una cantidad de tiempo significativa en completarse (piense en el rango de 5 a 10 segundos). El problema es que el Tornado bloquea estas solicitudes para que las solicitudes rápidas posteriores se retengan […]

Excepción de salmuera para cv2.Boost cuando se utiliza multiprocesamiento

Estoy trabajando en el proyecto llamado “Detección de unidades de acciones faciel” Estoy usando python2.7 y opencv 2.4 El error: pickle.PicklingError: Can’t pickle : it’s not the same object as cv2.Boost Un rastreo parcial, transcrito de una captura de pantalla : Loading classifier for action unit 27 Traceback (most recent call last): File “C:\Python27\audetect-master\audetect-interactive.py”, line […]

El multiprocesamiento funciona en Ubuntu, no en Windows

Estoy tratando de usar este ejemplo como plantilla para un sistema de colas en mi aplicación cherrypy. Pude convertirlo de Python 2 a Python 3 (cambiar from Queue import Empty a from queue import Empty ) y ejecutarlo en Ubuntu. Pero cuando lo ejecuto en Windows me sale el siguiente error: F:\workspace\test>python test.py Traceback (most […]

Python IPC con matplotlib

Descripción del Proyecto: Conecte el progtwig “C” existente (control principal) a la GUI / Widget de Python. Para esto estoy usando un FIFO. El progtwig C está diseñado para mirar telemetría basada en cuadros. La GUI de Python realiza dos funciones: Ejecuta / crea gráficos (probablemente creados a través de matplotlib) a través del widget […]

El progtwig de multiprocesamiento tiene AttributeError en el cuaderno Anaconda

Estoy ejecutando un sencillo progtwig “Hello World” en Windows 7 de 64 bits con las siguientes especificaciones: Python 3.4.3 | Anaconda 2.3.0 (64-bit) | [MSC v.1600 64 bit (AMD64)] IPython 4.0.0 El progtwig: from multiprocessing import Process, freeze_support def f(): print (‘hello world!’) if __name__ == ‘__main__’: #freeze_support() Process(target=f).start() da el siguiente error: [I 15:02:23.855 […]

Python no puede asignar memoria utilizando multiprocessing.pool

Mi código (parte de un algoritmo de optimización genética) ejecuta algunos procesos en paralelo, espera a que todos terminen, lee la salida y luego se repite con una entrada diferente. Todo funcionaba bien cuando lo probé con 60 repeticiones. Como funcionó, decidí usar un número más realista de repeticiones, 200. Recibí este error: File “/usr/lib/python2.7/threading.py”, […]

Compartiendo una cola de resultados entre varios procesos.

La documentación para el módulo de multiprocessing muestra cómo pasar una cola a un proceso iniciado con multiprocessing.Process . Proceso. Pero, ¿cómo puedo compartir una cola con procesos de trabajo asíncronos iniciados con apply_async ? No necesito uniones dinámicas ni nada más, solo una forma de que los trabajadores (repetidamente) informen sus resultados a la […]