Articles of multiproceso

multiprocessing.Pool: llamar a las funciones de ayuda cuando se usa la opción de callback de apply_async

¿Cómo funciona el flujo de apply_async entre llamar a la función iterable (?) Y la función de callback? Configuración: Estoy leyendo algunas líneas de todos los archivos dentro de un directorio de archivos 2000, algunos con millones de líneas, algunos con solo unos pocos. Algunos datos de encabezado / formato / fecha se extraen para […]

Problema de multiproceso Python / malentendido

Tengo un problema con el multiprocesamiento; Estoy usando python2.7 en linux 2.6.36. Sé que esto sería mucho más fácil con un módulo o biblioteca de nivel superior, pero estoy intentando usar las funciones de nivel inferior (os.fork () y os.exec *) para asegurarme de que realmente entiendo. Esto es una especie de ejercicio de aprendizaje. […]

¿Se pueden compartir los objetos de socket con el multiprocesamiento de Python? socket.close () no parece estar funcionando

Estoy escribiendo un servidor que usa multiprocessing.Process para cada cliente. socket.accept () se llama en un proceso principal y el objeto de conexión se presenta como un argumento al Proceso. El problema es que al llamar a socket.close () el socket no parece estar cerrando. El recv () del cliente debe regresar inmediatamente después de […]

Multiprocesamiento básico con bucle while

Soy nuevo en el paquete de multiprocessing en Python y mi confusión probablemente será fácil de aclarar para alguien que sepa más. He estado leyendo sobre la concurrencia y he buscado otras preguntas como esta y no he encontrado nada. (Para su información, NO quiero usar multithreading porque la GIL ralentizará mucho mi aplicación). Estoy […]

FFT roscado en Python Enthought

Las transformadas rápidas de Fourier (FFT) en Numpy / SciPy no están enlazadas. Enthought Python se entrega con la biblioteca numérica Intel MKL, que es capaz de FFT de subprocesos. ¿Cómo se accede a estas rutinas?

Python os.pipe vs multiprocessing.Pipe

Recientemente estoy estudiando herramientas de progtwigción paralela en Python. Y aquí hay dos diferencias principales entre os.pipe y multiprocesamiento.Pipe (a pesar de la ocasión en que se utilizan) os.pipe es unidireccional , multiprocesamiento. La tubería es bidireccional ; Al colocar cosas en la tubería / recibir cosas de la tubería, os.pipe utiliza la encoding / […]

Paralela un bucle nested en python para encontrar el valor máximo

Estoy luchando por algún tiempo para mejorar el tiempo de ejecución de este fragmento de código. Dado que los cálculos realmente requieren mucho tiempo, creo que la mejor solución sería paralelizar el código. La salida también se puede almacenar en la memoria, y luego escribirse en un archivo. Soy nuevo tanto en Python como en […]

¿Mejor manera de compartir memoria para multiprocesamiento en Python?

He estado abordando este problema durante una semana y se está volviendo bastante frustrante porque cada vez que implemento un ejemplo más simple pero similar de lo que tengo que hacer, resulta que el multiprocesamiento se complica. La forma en que maneja la memoria compartida me desconcierta porque es tan limitada que puede volverse inútil […]

Multiproceso Python que lleva a muchos procesos zombie

He estado implementando la biblioteca de multiprocesamiento de python utilizando un grupo de trabajadores. Implementé el siguiente código import main1 t1 = time.time() p = Pool(cores) result = p.map(main1, client_list[client]) if result == []: return [] p.close() p.join() print “Time taken in performing request:: “, time.time()-t1 return shorted(result) Sin embargo, después de ejecutar el proceso […]

Python 2.7 SimlpeQueue Import Error (¿un error?)

$ python2.6 -c ‘from multiprocessing.queues import SimpleQueue’ $ python2.7 -c ‘from multiprocessing.queues import SimpleQueue’ Traceback (most recent call last): File “”, line 1, in File “/usr/lib/python2.7/multiprocessing/queues.py”, line 22, in from multiprocessing.synchronize import Lock, BoundedSemaphore, Semaphore, Condition File “/usr/lib/python2.7/multiprocessing/synchronize.py”, line 33, in ” function, see issue 3770.”) ImportError: This platform lacks a functioning sem_open implementation, therefore, […]