Articles of multiprocesamiento de

Limpie la terminación de multiproceso de Python dependiendo de un indicador de salida

Estoy intentando crear un progtwig que usa múltiples procesos y me gustaría finalizar de manera limpia todos los procesos generados si se producen errores. A continuación, escribí un código de pseudo tipo para lo que creo que debo hacer, pero no sé cuál es la mejor manera de comunicar a todos los procesos que ocurrió […]

Python CPU Count funciona en un servidor de Windows pero no en otro?

He escrito el código de acceso que ha funcionado tanto en Windows XP como en Windows Server 2008 de 64 bits. Sin embargo, acabo de lanzar una instancia de Amazon Windows de 64 bits y el código falla. Muy simple se parece a esto import multiprocessing processors = multiprocessing.cpu_count() print processors Recibo un error NotImplementedError […]

Importación de módulos que utilizan MultiProcessing Python

Estoy buscando utilizar el módulo de multiprocesamiento para acelerar el tiempo de ejecución de algunos modelos de planificación de transporte. He optimizado tanto como puedo a través de métodos “normales”, pero en el fondo de todo esto hay un problema absurdamente paralelo. Ej. Realice el mismo conjunto de operaciones matriciales cuatro, 4 conjuntos diferentes de […]

multiprocesamiento – asignación de grupo

Noté este comportamiento en python para la asignación de grupo. A pesar de que tengo 20 procesos en el grupo, cuando hago un map_async para los procesos de decir 8, en lugar de lanzar todos los procesos para ejecutar, solo tengo 4 en ejecución. cuando esos 4 terminan, envía dos más, y luego, cuando esos […]

Python Parallel hash bruteforce

He modificado este script de otro script escrito por otro usuario en este sitio. Intento entenderlo lo mejor que puedo, pero tengo dificultades. Cuando bash romper un hash usando el juego de caracteres como tal vez solo letras minúsculas, funciona bien. Pero cuando trato de descifrar hash que tiene números y letras, no funcionará a […]

Pool.map multiproceso de Python con múltiples argumentos

Necesito ayuda porque lo intenté desde hace dos días, y no sé cómo puedo hacer esto. Tengo la función compute_desc que toma múltiples argumentos (5 para ser exactos) y me gustaría ejecutar esto en paralelo. Tengo esto por ahora: def compute_desc(coord, radius, coords, feat, verbose): # Compute here my descriptors return my_desc # numpy array […]

Paralel for loop, map () works, pool.map () da TypeError

Estoy haciendo una matriz de distancia condensada (solo arriba a la derecha). El cálculo de la distancia lleva algún tiempo, por lo que quiero paralelizar el bucle for. El bucle sin pintar parece spectra_names, condensed_distance_matrix, index_0 = [], [], 0 for index_1, index_2 in itertools.combinations(range(len(clusters)), 2): if index_0 == index_1: index_0 += 1 spectra_names.append(clusters[index_1].get_names()[0]) try: […]

Python Pika – Consumidor en hilo

Estoy trabajando en una aplicación Python con un subproceso en segundo plano para consumir mensajes de una cola de RabbitMQ (escenario de tema). Comienzo el hilo en el evento on_click de un botón. Aquí está mi código, preste atención a “# self.receive_command ()”. def on_click_start_call(self,widget): t_msg = threading.Thread(target=self.receive_command) t_msg.start() t_msg.join(0) #self.receive_command() def receive_command(self): syslog.syslog(“ENTERED”) connection […]

La formación de una matriz numpy a partir de un búfer de matriz desde la memoria compartida (multiprocesamiento) falla

Necesito tener una matriz multidimensional en una memoria compartida entre dos procesos. Estoy tratando de hacer un ejemplo simple que funcione: envío [1, 2, 3, 4, 5, 6, 7, 8, 9] al otro proceso, que lo remodela en [[1, 2, 3], [4, 5, 6], [7, 8, 9]] sin tener memoria adicional. import multiprocessing import ctypes […]

El multiprocesamiento de Python map_async genera un error en Windows

El siguiente código funciona perfectamente en Unix pero genera un multiprocesamiento.TimeoutError en Windows 7 (ambos sistemas operativos utilizan Python 2.7). ¿Alguna idea de por qué? Gracias. from multiprocessing import Pool def increment(x): return x + 1 def decrement(x): return x – 1 pool = Pool(processes=2) res1 = pool.map_async(increment, range(10)) res2 = pool.map_async(decrement, range(10)) print res1.get(timeout=1) […]