Articles of multiprocesamiento de

¿Quién ejecuta la callback cuando se utiliza el método apply_async de un grupo de multiprocesamiento?

Estoy tratando de entender un poco de lo que sucede detrás de la escena cuando se utiliza el método apply_sync de un grupo de multiprocesamiento. ¿Quién ejecuta el método de callback? ¿Es el proceso principal que se llama apply_async? Digamos que envío un montón de comandos apply_async con devoluciones de llamada y luego continúo con […]

Tubos multiprocesamiento en ventanas con python.

¿Windows soporta multithreading.pipes ()? Si es así, ¿qué hay de malo con este código? ¿Necesito usar reducción? El código se cuelga en p2.recv () y obtengo un RuntimeError cuando se ejecuta desde la línea de comandos. import multiprocessing def ProcessCreator(pipe): pipe.send(“hello from other process”) p1, p2 = multiprocessing.Pipe() proc = multiprocessing.Process(target = ProcessCreator, args = […]

¿Cómo puedo heredar el registrador principal cuando uso el multiprocesamiento de Python? Especialmente para paramiko

Estoy usando el multiprocesamiento de Python. He configurado el registrador en el proceso principal, pero no puedo simplemente heredar la configuración de registro de los padres. No me preocupa mezclar el registro, ya que no uso multiprocesamiento para ejecutar trabajos simultáneamente, sino para controlar el tiempo, por lo que solo se ejecuta un subproceso al […]

Cree una conexión DB y manténgala en múltiples procesos (multiprocesamiento)

Al igual que en otra publicación que hice, esta responde a esa publicación y crea una nueva pregunta. Resumen: necesito actualizar cada registro en una base de datos espacial en la que tengo un conjunto de datos de puntos que superponen el conjunto de datos de polígonos. Para cada entidad de puntos, quiero asignar una […]

El uso de la memoria sigue creciendo con el multiproceso de Python.

Aquí está el progtwig: #!/usr/bin/python import multiprocessing def dummy_func(r): pass def worker(): pass if __name__ == ‘__main__’: pool = multiprocessing.Pool(processes=16) for index in range(0,100000): pool.apply_async(worker, callback=dummy_func) # clean up pool.close() pool.join() Descubrí que el uso de la memoria (tanto VIRT como RES) siguió creciendo hasta el cierre () / join (), ¿hay alguna solución para […]

No puedo decapitar usando el multiproceso de Pool.apply_async de Python ()

Quiero correr algo como esto: from multiprocessing import Pool import time import random class Controler(object): def __init__(self): nProcess = 10 pages = 10 self.__result = [] self.manageWork(nProcess,pages) def BarcodeSearcher(x): return x*x def resultCollector(self,result): self.__result.append(result) def manageWork(self,nProcess,pages): pool = Pool(processes=nProcess) for pag in range(pages): pool.apply_async(self.BarcodeSearcher, args = (pag, ), callback = self.resultCollector) print self.__result if __name__ […]

Piscina Multiproceso Python. ¿Cómo salir del script cuando uno de los procesos de trabajo determina que no se necesita hacer más trabajo?

mp.set_start_method(‘spawn’) total_count = Counter(0) pool = mp.Pool(initializer=init, initargs=(total_count,), processes=num_proc) pool.map(part_crack_helper, product(seed_str, repeat=4)) pool.close() pool.join() Así que tengo un grupo de procesos de trabajo que hace algo de trabajo. Solo necesita encontrar una solución. Por lo tanto, cuando uno de los procesos de trabajo encuentra la solución, quiero detener todo. Una forma en la que pensé […]

AttributeError: No se puede encoger el cálculo del objeto local .. function1 utilizando la cola de multiprocesamiento

Tengo el siguiente código usando el progtwigdor y el módulo de multiprocesamiento: def computation(): def function1(q): while True: daydate = datetime.now() number = random.randrange(1, 215) print(‘Sent to function2: ({}, {})’.format(daydate, number)) q.put((daydate, number)) time.sleep(2) def function2(q): while True: date, number = q.get() print(“Recevied values from function1: ({}, {})”.format(date, number)) time.sleep(2) if __name__ == “__main__”: q […]

Modificar objeto en multiproceso python

Tengo una gran variedad de objetos personalizados en los que necesito realizar tareas independientes (en paralelo), incluida la modificación de parámetros de objetos. He intentado usar tanto un Manager (). Dict como una memoria compartida, pero ninguno está funcionando. Por ejemplo: import numpy as np import multiprocessing as mp import sharedmem as shm class Tester: […]

Python: solución eficiente para multiprocesar una función que es un miembro de datos de una clase, desde dentro de esa clase

Soy consciente de varias discusiones sobre las limitaciones del módulo de multiprocesamiento cuando se trata de funciones que son miembros de datos de una clase (debido a problemas de decapado). Pero, ¿hay otro módulo, o algún tipo de solución en el multiprocesamiento, que permita que algo específicamente como el siguiente (específicamente sin forzar la definición […]