Articles of multiprocesamiento

Conexión de transmisión mediante botella de Python, multiprocesamiento y gevent

Tengo una aplicación de Botella que utiliza subprocesos para hacer la mayor parte del trabajo para las solicitudes. Para las rutas que devuelven una sola respuesta, hago algo como lo que se muestra a continuación. @route(‘/index’) def index(): worker = getWorker() return worker.doStuff() Una de mis rutas debe ser un flujo de datos. No puedo […]

Pantalla de inicio y multiprocesamiento Tkinter fuera de mainloop

He implementado una pantalla de inicio que se muestra mientras mi aplicación carga la base de datos desde el almacenamiento remoto en la nube en el inicio. La pantalla de inicio se mantiene viva (hay una barra de progreso en ella) con llamadas a .update () y se destruye una vez que finaliza el proceso […]

Multiprocesamiento en Python tkinter

¿Cómo ejecutar múltiples procesos en python sin multithreading? Por ejemplo, considere el siguiente problema: Tenemos que hacer una Gui, que tiene un botón de inicio que inicia una función (por ejemplo, imprime todos los enteros) y hay un botón de parada, de modo que al hacer clic en él se detiene la función. ¿Cómo hacer […]

error_callback en multiprocessing.Pool apply_async en Python 2?

La función apply_async de multiprocessing.Pool class tiene argumento error_callback en Python 3 . Pero este argumento falta en Python 2 . ¿Hay algún truco para lograr la misma funcionalidad en Python 2? Idealmente, me gustaría escribir código que se ejecute tanto en Python 2 como en 3.

Gensim LdaMulticore no multiprocesamiento?

Cuando ejecuto el modelo LdaMulticore de LdaMulticore en una máquina con 12 núcleos, usando: lda = LdaMulticore(corpus, num_topics=64, workers=10) Me sale un mensaje de registro que dice using serial LDA version on this node Unas líneas más tarde, veo otro mensaje de registro que dice training LDA model using 10 processes Cuando ejecuto top, veo […]

Entendiendo Asíncrono / Multiprocesamiento en Python

Digamos que tengo una función: from time import sleep def doSomethingThatTakesALongTime(number): print number sleep(10) Y luego lo llamo en un bucle for for number in range(10): doSomethingThatTakesALongTime(number) ¿Cómo puedo configurar esto para que solo tome 10 segundos TOTAL para imprimir: $ 0123456789 En lugar de tomar 100 segundos. Si es de ayuda, utilizaré la información […]

Python 3.4 multiproceso recursivo Pool.map ()

Estoy desarrollando con Python 3.4 en Ubuntu 14.04. Estaba tratando de hacer Pool.map() recursivo. Después de invocar g() , se cuelga allí y nunca vuelve. import multiprocessing as mp pool = mp.Pool() def d(x): return x / 2.0 def f(x): w = pool.map(d, x) return w def g(): v = pool.map(f, [[1, 2], [3, 4]]) […]

Compartiendo una variable entre procesos.

Tengo una función de descarga que descarga varios archivos de forma paralela. Uso multiprocessing.Pool.map_async para descargar diferentes fragmentos del mismo archivo. Me gustaría mostrar una barra de estado de la descarga. Para esto, necesito saber el total de bytes que ya se han descargado ( total_bytes_dl ). pool = multiprocessing.Pool(processes) mapObj = pool.map_async(f, args) while […]

Multiprocesamiento y Sockets

Estoy tratando de usar multiprocesamiento y sockets para permitir múltiples conexiones al mismo socket. Sin embargo, me está costando mucho porque no tengo mucha experiencia en este campo. El código que tengo no funciona def server(port, listen=10): connected = [] s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.bind((”, port)) s.listen(listen) while True: conn, address = s.accept() p = […]

Python Enthought Canopy: multiprocesamiento no funciona

He estado intentando multiprocesar con dosel de entusiasmo (Windows 8). Probé el siguiente ejemplo: import multiprocessing nProcesses=3 def worker(): “””worker function””” print “working” return if __name__ == ‘__main__’: jobs = [] for i in range(nProcesses): p = multiprocessing.Process(target=worker) jobs.append(p) p.start() cerca de una gran cantidad de ejemplos que encuentras en línea … Los procesos se […]