Articles of procesamiento paralelo

Paralelo mientras bucles en Python

Soy bastante nuevo en Python, y en la progtwigción en general, y estoy creando un juego de mascotas virtual para mi hermana pequeña. ¿Es posible ejecutar 2 mientras que los bucles son paralelos entre sí en python? p.ej: while 1: input_event_1 = gui.buttonbox( msg = ‘Hello, what would you like to do with your Potato […]

Python Parallel Computing – Scoop

Estoy tratando de familiarizarme con la biblioteca Scoop (documentación aquí: https://media.readthedocs.org/pdf/scoop/0.7/scoop.pdf ) para aprender a realizar cálculos estadísticos en paralelo, utilizando en particular los futuros. función de mapa Como tal, al principio, me gustaría intentar ejecutar una regresión lineal simple, y evaluar la diferencia en el rendimiento entre los cálculos en serie y en paralelo, […]

Tarea paralela concurrencia con dependencias en Python como GNU Make

Estoy buscando un método o posiblemente un enfoque filosófico sobre cómo hacer algo como GNU Make dentro de python. Actualmente, utilizamos makefiles para ejecutar el procesamiento porque los makefiles son extremadamente buenos en ejecuciones paralelas con el cambio de una sola opción: -j x. Además, gnu make ya tiene las stacks de dependencias integradas, por […]

Forma rápida (vectorizada) de encontrar puntos en un DF que pertenecen a rectangularjs de igual tamaño (dados por dos puntos) del segundo DF

Tengo el dataframe “A” que se ve así: type latw lngs late lngn 0 1000 45.457966 9.174864 45.458030 9.174907 1 1000 45.457966 9.174864 45.458030 9.174907 2 1000 45.458030 9.174864 45.458094 9.174907 3 1000 45.458094 9.174864 45.458157 9.174907 4 1000 45.458157 9.174864 45.458221 9.174907 5 1000 45.458221 9.174864 45.458285 9.174907 6 1000 45.458285 9.174864 45.458349 9.174907 […]

Cómo compartir una variable en la biblioteca de Python ‘joblib’

from joblib import Parallel, delayed def func(v): temp.append(v) return temp = [] Parallel(n_jobs=4)(delayed(func)(v) for v in range(10)) print temp Quiero hacer variable de memoria compartida. Pero el valor de la temperatura está vacío []. ¿Cómo puedo hacerlo? Para otro método, intenté pickle.dump y carga. Pero hay un problema de locking. ¡Por favor dame consejos!

Equivalente de Java para python pool.map/ Multiprocesamiento

Me preguntaba si alguien podría indicarme un equivalente simple del módulo de multiprocesamiento de python en java. Tengo un escenario de parallel processing simple (donde no interactúan 2 procesos): tome un conjunto de datos y divídalo en 12 y aplique un método Java a los 12 conjuntos de datos, recopile resultados y únalos en una […]

Recuento del número total de tareas ejecutadas en un multiproceso. Trabajo durante la ejecución

Me encantaría dar una indicación de la charla actual en total que estamos solo. Estoy trabajando en el campo y me gustaría saber el progreso actual. Entonces, si envié 100 trabajos a 10 procesadores, ¿cómo puedo mostrar cuál es el número actual de trabajos que han regresado? Puedo obtener los ID, pero ¿cómo puedo contar […]

El proceso de multiprocesamiento de Python se bloquea silenciosamente

Estoy usando Python 2.7.3. He paralelizado algún código usando objetos multiprocessing.Process subclasificado. Si no hay errores en el código en mis objetos de proceso subclasificados, todo funciona bien. Pero si hay errores en el código en mis objetos de proceso subclasificados, aparentemente se bloquearán silenciosamente (no se imprimirá un seguimiento de stack en el shell […]

Python multiprocesamiento con generador.

Estoy tratando de procesar un archivo (cada línea es un documento json). El tamaño del archivo puede subir hasta 100’s de mbs a gb’s. Así que escribí un código generador para obtener cada documento línea por línea desde el archivo. def jl_file_iterator(file): with codecs.open(file, ‘r’, ‘utf-8’) as f: for line in f: document = json.loads(line) […]

¿Cómo paralelizar la iteración en un rango, usando StdLib y Python 3?

He estado buscando una respuesta a esto ahora por días sin éxito. Probablemente no entiendo las piezas que flotan por ahí y la documentación de Python en el módulo de multiprocessing es bastante grande y no está clara para mí. Digamos que tienes lo siguiente para bucle: import timeit numbers = [] start = timeit.default_timer() […]