Articles of multiprocesamiento de

Escritura simultánea en el mismo archivo usando hilos y procesos.

¿Cuál es la solución correcta para estar seguro de que el archivo nunca se dañará al usar muchos procesos y subprocesos? Versión para hilos, que cuidan los errores de apertura. lock = threading.RLock() with lock: try: f = open(file, ‘a’) try: f.write(‘sth’) finally: f.close() # try close in any circumstances if open passed except: pass […]

Python NotImplementedError: los objetos de la agrupación no se pueden pasar entre procesos

Estoy tratando de entregar trabajo cuando se agrega una página a la lista de páginas, pero la salida de mi código devuelve un error NotImplemented. Aquí está el código con lo que estoy tratando de hacer: Código: from multiprocessing import Pool, current_process import time import random import copy_reg import types import threading class PageControler(object): def […]

Python: cómo utilizar el valor y la matriz en el grupo de multiprocesamiento

Para multiprocessing con Process , puedo usar Value, Array configurando args param. Con multiprocessing con Pool , ¿cómo puedo usar Value, Array. No hay nada en los documentos sobre cómo hacer esto. from multiprocessing import Process, Value, Array def f(n, a): n.value = 3.1415927 for i in range(len(a)): a[i] = -a[i] if __name__ == ‘__main__’: […]

multiproceso de las funciones de llamada pool.map en cierto orden

¿Cómo puedo hacer que multiprocessing.pool.map distribuya los procesos en orden numérico? Más información: Tengo un progtwig que procesa unos pocos miles de archivos de datos, haciendo una gráfica de cada uno. Estoy usando multiprocessing.pool.map para distribuir cada archivo a un procesador y funciona muy bien. A veces esto lleva mucho tiempo, y sería bueno mirar […]

Canalización rota al usar los gestores de multiprocesamiento de Python (BaseManager / SyncManager) para compartir la cola con máquinas remotas

En el último mes, hemos tenido un problema persistente con el paquete de multiprocesamiento Python 2.6.x cuando intentamos usarlo para compartir una cola entre varios equipos diferentes (Linux). También he planteado esta pregunta directamente a Jesse Noller, ya que aún no hemos encontrado nada que aclare el problema en StackOverflow, documentos de Python, código fuente […]

¿Los grupos de multiprocesamiento otorgan a cada proceso la misma cantidad de tareas, o se asignan como disponibles?

Cuando se asigna un iterable a un multiprocessing.Pool ¿Las iteraciones se dividen en una cola para cada proceso en el grupo al comienzo, o hay una cola común de la que se toma una tarea cuando un proceso se libera? def generate_stuff(): for foo in range(100): yield foo def process(moo): print moo pool = multiprocessing.Pool() […]

terminación de grupo de multiprocesamiento de Python

Estoy trabajando en una granja de renderizado, y necesito que mis clientes puedan iniciar varias instancias de un renderizador, sin bloquear para que el cliente pueda recibir nuevos comandos. Lo tengo funcionando correctamente, sin embargo, estoy teniendo problemas para terminar los procesos creados. A nivel global, defino mi grupo (para poder acceder a él desde […]

¿Puedo crear un objeto de listas múltiples o listas de listas en python para multiprocesamiento?

Necesito hacer un objeto compartido de una matriz multidimensional o una lista de listas para que esté disponible para los otros procesos. ¿Hay alguna forma de crearlo porque lo que he visto no es posible? Yo he tratado: from multiprocessing import Process, Value, Array arr = Array(‘i’, range(10)) arr[:] [0, 1, 2, 3, 4, 5, […]

Python: multiprocesamiento y matriz de c_char_p

Estoy lanzando 3 procesos y quiero que pongan una cadena en una matriz compartida, en el índice correspondiente al proceso (i). Mira el siguiente código, el resultado generado es: [‘test 0’, None, None] [‘test 1’, ‘test 1’, None] [‘test 2’, ‘test 2’, ‘test 2′] ¿Por qué ‘prueba 0’ se sobrescribe con la test 1 y […]

Uso obligatorio de si __name __ == “__ main__” en las ventanas mientras se usa el multiprocesamiento

Mientras se usa el multiprocesamiento en Python en Windows, se espera que proteja el punto de entrada del progtwig. La documentación dice “Asegúrese de que el módulo principal pueda ser importado de manera segura por un nuevo intérprete de Python sin causar efectos secundarios no deseados (como comenzar un nuevo proceso)”. ¿Alguien puede explicar qué […]