¿Cómo funciona el flujo de apply_async entre llamar a la función iterable (?) Y la función de callback? Configuración: Estoy leyendo algunas líneas de todos los archivos dentro de un directorio de archivos 2000, algunos con millones de líneas, algunos con solo unos pocos. Algunos datos de encabezado / formato / fecha se extraen para […]
Tengo un problema con el multiprocesamiento; Estoy usando python2.7 en linux 2.6.36. Sé que esto sería mucho más fácil con un módulo o biblioteca de nivel superior, pero estoy intentando usar las funciones de nivel inferior (os.fork () y os.exec *) para asegurarme de que realmente entiendo. Esto es una especie de ejercicio de aprendizaje. […]
Estoy escribiendo un servidor que usa multiprocessing.Process para cada cliente. socket.accept () se llama en un proceso principal y el objeto de conexión se presenta como un argumento al Proceso. El problema es que al llamar a socket.close () el socket no parece estar cerrando. El recv () del cliente debe regresar inmediatamente después de […]
Soy nuevo en el paquete de multiprocessing en Python y mi confusión probablemente será fácil de aclarar para alguien que sepa más. He estado leyendo sobre la concurrencia y he buscado otras preguntas como esta y no he encontrado nada. (Para su información, NO quiero usar multithreading porque la GIL ralentizará mucho mi aplicación). Estoy […]
Las transformadas rápidas de Fourier (FFT) en Numpy / SciPy no están enlazadas. Enthought Python se entrega con la biblioteca numérica Intel MKL, que es capaz de FFT de subprocesos. ¿Cómo se accede a estas rutinas?
Recientemente estoy estudiando herramientas de progtwigción paralela en Python. Y aquí hay dos diferencias principales entre os.pipe y multiprocesamiento.Pipe (a pesar de la ocasión en que se utilizan) os.pipe es unidireccional , multiprocesamiento. La tubería es bidireccional ; Al colocar cosas en la tubería / recibir cosas de la tubería, os.pipe utiliza la encoding / […]
Estoy luchando por algún tiempo para mejorar el tiempo de ejecución de este fragmento de código. Dado que los cálculos realmente requieren mucho tiempo, creo que la mejor solución sería paralelizar el código. La salida también se puede almacenar en la memoria, y luego escribirse en un archivo. Soy nuevo tanto en Python como en […]
He estado abordando este problema durante una semana y se está volviendo bastante frustrante porque cada vez que implemento un ejemplo más simple pero similar de lo que tengo que hacer, resulta que el multiprocesamiento se complica. La forma en que maneja la memoria compartida me desconcierta porque es tan limitada que puede volverse inútil […]
He estado implementando la biblioteca de multiprocesamiento de python utilizando un grupo de trabajadores. Implementé el siguiente código import main1 t1 = time.time() p = Pool(cores) result = p.map(main1, client_list[client]) if result == []: return [] p.close() p.join() print “Time taken in performing request:: “, time.time()-t1 return shorted(result) Sin embargo, después de ejecutar el proceso […]
$ python2.6 -c ‘from multiprocessing.queues import SimpleQueue’ $ python2.7 -c ‘from multiprocessing.queues import SimpleQueue’ Traceback (most recent call last): File “”, line 1, in File “/usr/lib/python2.7/multiprocessing/queues.py”, line 22, in from multiprocessing.synchronize import Lock, BoundedSemaphore, Semaphore, Condition File “/usr/lib/python2.7/multiprocessing/synchronize.py”, line 33, in ” function, see issue 3770.”) ImportError: This platform lacks a functioning sem_open implementation, therefore, […]