Articles of procesamiento paralelo

Cómo compartir una variable en la biblioteca de Python ‘joblib’

from joblib import Parallel, delayed def func(v): temp.append(v) return temp = [] Parallel(n_jobs=4)(delayed(func)(v) for v in range(10)) print temp Quiero hacer variable de memoria compartida. Pero el valor de la temperatura está vacío []. ¿Cómo puedo hacerlo? Para otro método, intenté pickle.dump y carga. Pero hay un problema de locking. ¡Por favor dame consejos!

Equivalente de Java para python pool.map/ Multiprocesamiento

Me preguntaba si alguien podría indicarme un equivalente simple del módulo de multiprocesamiento de python en java. Tengo un escenario de parallel processing simple (donde no interactúan 2 procesos): tome un conjunto de datos y divídalo en 12 y aplique un método Java a los 12 conjuntos de datos, recopile resultados y únalos en una […]

Recuento del número total de tareas ejecutadas en un multiproceso. Trabajo durante la ejecución

Me encantaría dar una indicación de la charla actual en total que estamos solo. Estoy trabajando en el campo y me gustaría saber el progreso actual. Entonces, si envié 100 trabajos a 10 procesadores, ¿cómo puedo mostrar cuál es el número actual de trabajos que han regresado? Puedo obtener los ID, pero ¿cómo puedo contar […]

El proceso de multiprocesamiento de Python se bloquea silenciosamente

Estoy usando Python 2.7.3. He paralelizado algún código usando objetos multiprocessing.Process subclasificado. Si no hay errores en el código en mis objetos de proceso subclasificados, todo funciona bien. Pero si hay errores en el código en mis objetos de proceso subclasificados, aparentemente se bloquearán silenciosamente (no se imprimirá un seguimiento de stack en el shell […]

Python multiprocesamiento con generador.

Estoy tratando de procesar un archivo (cada línea es un documento json). El tamaño del archivo puede subir hasta 100’s de mbs a gb’s. Así que escribí un código generador para obtener cada documento línea por línea desde el archivo. def jl_file_iterator(file): with codecs.open(file, ‘r’, ‘utf-8’) as f: for line in f: document = json.loads(line) […]

¿Cómo paralelizar la iteración en un rango, usando StdLib y Python 3?

He estado buscando una respuesta a esto ahora por días sin éxito. Probablemente no entiendo las piezas que flotan por ahí y la documentación de Python en el módulo de multiprocessing es bastante grande y no está clara para mí. Digamos que tienes lo siguiente para bucle: import timeit numbers = [] start = timeit.default_timer() […]

aiohttp: tasa limitando solicitudes paralelas

Las API a menudo tienen límites de velocidad que los usuarios deben seguir. Como ejemplo tomemos 50 peticiones / segundo. Las solicitudes secuenciales toman 0.5-1 segundos y, por lo tanto, son demasiado lentas para acercarse a ese límite. Sin embargo, las solicitudes paralelas con aiohttp superan el límite de velocidad. Para sondear la API tan […]

El ejemplo de grupo de multiprocesamiento no funciona y congela el kernel

Estoy intentando paralelizar un script, pero por una razón desconocida, el kernel simplemente se congela sin que se produzcan errores. Ejemplo de trabajo mínimo: from multiprocessing import Pool def f(x): return x*x p = Pool(6) print(p.map(f, range(10))) Curiosamente, todo funciona bien si defino mi función en otro archivo y luego lo importo. ¿Cómo puedo hacer […]