Articles of multiprocesamiento

Python n_jobs para gran escala prob

Cuando uso el parámetro n_jobs en cross_val_score() . Funciona bien cuando mi escala de datos es pequeña, pero al ampliar la escala de mis datos, parece que el multiprocessing no funciona. ¿Cómo podría ser esto? PS: yo uso IPython

Ejecución asíncrona de Cassandra en múltiples procesos bloqueando solicitudes síncronas.

Tengo una aplicación que lee una serie de archivos XML que contienen registros de pasajes de vehículos en una carretera. Luego, la aplicación procesa cada registro, transforma algunas de las informaciones para que coincidan con las columnas de la base de datos y las inserta en una base de datos Cassandra (ejecutando un solo nodo […]

Python – Uso de Streamhandler en un entorno de multiprocesamiento

Tengo un script de CLI que registra todos sus procesos en un archivo de registro. Una de las funciones de la CLI es cargar un archivo grande dividiéndolo en partes y subiéndolos en paralelo. En Linux, todo funciona como un encanto, pero en Windows parece que no puedo transmitir las entradas de registro del proceso […]

Multiprocesamiento de Python: ¿Puedo reutilizar procesos (funciones ya paralelizadas) con una variable global actualizada?

Al principio déjame mostrarte la configuración actual que tengo: import multiprocessing.pool from contextlib import closing import os def big_function(param): process(another_module.global_variable[param]) def dispatcher(): # sharing read-only global variable taking benefit from Unix # which follows policy copy-on-update # https://stackoverflow.com/questions/19366259/ another_module.global_variable = huge_list # send indices params = range(len(another_module.global_variable)) with closing(multiprocessing.pool.Pool(processes=os.cpu_count())) as p: multiprocessing_result = list(p.imap_unordered(big_function, params)) […]

¿Cómo hacer un bucle de cómputo fácilmente divisible y resumible?

Quiero encontrar los parámetros óptimos i, j, k en 0..99 para un problema computacional dado, y necesito ejecutar: for i in range(100): for j in range(100): for k in range(100): dothejob(i, j, k) # 1 second per computation Esto toma un total de 10 ^ 6 segundos, es decir, 11.5 días. Comencé a hacerlo dividiendo […]

Problemas con la música al usar pygame + multiprocesamiento

Estoy tratando de ejecutar un script que reproduzca música a través de un proceso. El código a continuación es una versión simplificada de mi código, pero es lo suficientemente bueno para replicar el problema. Si llamo al procedimiento normal() escucho música, así que sé que el procedimiento es correcto y todo está conectado correctamente, sin […]

Registro de multiprocesamiento de Python: error de QueueHandler con RotatingFileHandler “archivo utilizado por otro proceso”

Estoy convirtiendo un progtwig en multiproceso y necesito poder iniciar sesión en un solo registro rotativo desde el proceso principal, así como también a los subprocesos. Estoy tratando de usar el segundo ejemplo en el libro de cocina de Python. Registro en un solo archivo de varios procesos , que inicia un logger_thread ejecutándose como […]

OpenCV se bloquea en OS X al leer la cámara USB en un proceso separado

Estoy ejecutando OpenCV 2.4.5 a través de los enlaces de python cv2, utilizando OS X (10.8.4). Estoy tratando de capturar imágenes de una cámara web USB en un proceso separado a través del módulo de multiprocesamiento. Todo parece funcionar si uso la cámara web interna de mi computadora portátil (2011 macbook air), pero cuando bash […]

errores de depuración en multiproceso python

Estoy usando la función Pool del módulo de multiprocessing para ejecutar el mismo código en paralelo en diferentes datos. Resulta que en algunos datos mi código genera una excepción, pero no se indica la línea precisa en la que esto sucede: Traceback (most recent call last): File “my_wrapper_script.py”, line 366, in main() File “my_wrapper_script.py”, line […]

Cerraduras personalizadas para enhebrar python

Hola, estoy usando PyQt4 y necesito implementar lockings en un QThread pero esta clase no tiene un locking de método implementado como el subproceso de biblioteca. ¿Alguna idea de cómo puedo implementar un locking aquí? Tengo una pregunta si uso subprocesamiento implemento el locking de esta manera class Example: lock = threading.Lock() def __init__(self) pass […]