Estoy tratando de entender un poco de lo que sucede detrás de la escena cuando se utiliza el método apply_sync de un grupo de multiprocesamiento. ¿Quién ejecuta el método de callback? ¿Es el proceso principal que se llama apply_async? Digamos que envío un montón de comandos apply_async con devoluciones de llamada y luego continúo con […]
¿Windows soporta multithreading.pipes ()? Si es así, ¿qué hay de malo con este código? ¿Necesito usar reducción? El código se cuelga en p2.recv () y obtengo un RuntimeError cuando se ejecuta desde la línea de comandos. import multiprocessing def ProcessCreator(pipe): pipe.send(“hello from other process”) p1, p2 = multiprocessing.Pipe() proc = multiprocessing.Process(target = ProcessCreator, args = […]
Estoy usando el multiprocesamiento de Python. He configurado el registrador en el proceso principal, pero no puedo simplemente heredar la configuración de registro de los padres. No me preocupa mezclar el registro, ya que no uso multiprocesamiento para ejecutar trabajos simultáneamente, sino para controlar el tiempo, por lo que solo se ejecuta un subproceso al […]
Al igual que en otra publicación que hice, esta responde a esa publicación y crea una nueva pregunta. Resumen: necesito actualizar cada registro en una base de datos espacial en la que tengo un conjunto de datos de puntos que superponen el conjunto de datos de polígonos. Para cada entidad de puntos, quiero asignar una […]
Aquí está el progtwig: #!/usr/bin/python import multiprocessing def dummy_func(r): pass def worker(): pass if __name__ == ‘__main__’: pool = multiprocessing.Pool(processes=16) for index in range(0,100000): pool.apply_async(worker, callback=dummy_func) # clean up pool.close() pool.join() Descubrí que el uso de la memoria (tanto VIRT como RES) siguió creciendo hasta el cierre () / join (), ¿hay alguna solución para […]
Quiero correr algo como esto: from multiprocessing import Pool import time import random class Controler(object): def __init__(self): nProcess = 10 pages = 10 self.__result = [] self.manageWork(nProcess,pages) def BarcodeSearcher(x): return x*x def resultCollector(self,result): self.__result.append(result) def manageWork(self,nProcess,pages): pool = Pool(processes=nProcess) for pag in range(pages): pool.apply_async(self.BarcodeSearcher, args = (pag, ), callback = self.resultCollector) print self.__result if __name__ […]
mp.set_start_method(‘spawn’) total_count = Counter(0) pool = mp.Pool(initializer=init, initargs=(total_count,), processes=num_proc) pool.map(part_crack_helper, product(seed_str, repeat=4)) pool.close() pool.join() Así que tengo un grupo de procesos de trabajo que hace algo de trabajo. Solo necesita encontrar una solución. Por lo tanto, cuando uno de los procesos de trabajo encuentra la solución, quiero detener todo. Una forma en la que pensé […]
Tengo el siguiente código usando el progtwigdor y el módulo de multiprocesamiento: def computation(): def function1(q): while True: daydate = datetime.now() number = random.randrange(1, 215) print(‘Sent to function2: ({}, {})’.format(daydate, number)) q.put((daydate, number)) time.sleep(2) def function2(q): while True: date, number = q.get() print(“Recevied values from function1: ({}, {})”.format(date, number)) time.sleep(2) if __name__ == “__main__”: q […]
Tengo una gran variedad de objetos personalizados en los que necesito realizar tareas independientes (en paralelo), incluida la modificación de parámetros de objetos. He intentado usar tanto un Manager (). Dict como una memoria compartida, pero ninguno está funcionando. Por ejemplo: import numpy as np import multiprocessing as mp import sharedmem as shm class Tester: […]
Soy consciente de varias discusiones sobre las limitaciones del módulo de multiprocesamiento cuando se trata de funciones que son miembros de datos de una clase (debido a problemas de decapado). Pero, ¿hay otro módulo, o algún tipo de solución en el multiprocesamiento, que permita que algo específicamente como el siguiente (específicamente sin forzar la definición […]