Articles of multiproceso de

multiproceso de Python: escribir en el mismo archivo de Excel

Soy nuevo en Python y estoy tratando de guardar los resultados de cinco procesos diferentes en un archivo de Excel (cada proceso se escribe en una hoja diferente). He leído diferentes publicaciones aquí, pero aún no puedo hacerlo ya que estoy muy confundido acerca de pool.map, colas y lockings, y no estoy seguro de lo […]

Ejecutar siempre un número constante de subprocesos en paralelo.

Quiero usar subprocesos para permitir que 20 instancias de un script escrito se ejecuten en paralelo. Digamos que tengo una gran lista de urls con como 100.000 entradas y mi progtwig debería controlar que en todo momento 20 instancias de mi script estén trabajando en esa lista. Quería codificarlo de la siguiente manera: urllist = […]

El grupo de multiprocesamiento ‘apply_async’ solo parece llamar a la función una vez

He estado siguiendo los documentos para tratar de entender los grupos de multiprocesamiento. Se me ocurrió esto: import time from multiprocessing import Pool def f(a): print ‘f(‘ + str(a) + ‘)’ return True t = time.time() pool = Pool(processes=10) result = pool.apply_async(f, (1,)) print result.get() pool.close() print ‘ [i] Time elapsed ‘ + str(time.time() – […]

El tiempo de Python. Dormir, nunca despertar.

Creo que este será uno de esos problemas simples cuando uno lo ve, pero me ha desconcertado. [ Detener la prensa: tenía razón. Se encontró la solución. Ver las respuestas ] Estoy usando el marco unittest de Python para probar una aplicación de subprocesos múltiples. Agradable y directo: tengo 5 o más subprocesos de trabajo […]

trabajando en directorios diferentes (os.chdir) al mismo tiempo (subprocesos paralelos)

Quiero sincronizar todos mis directorios vcs en paralelo. Voy al directorio y ejecuto scripts de línea de comandos especiales para sincronizar git o repositorys mercuriales. Es un proceso lento, así que quiero intentar que sea paralelo. Pero hay problemas en mis hilos paralelos que luchan por el “directorio actual”, por lo que necesito algún truco […]

Paralelizar este bucle nested para python

Estoy luchando de nuevo para mejorar el tiempo de ejecución de este pedazo de código. Dado que los cálculos realmente requieren mucho tiempo, creo que la mejor solución sería paralelizar el código. Primero trabajé con mapas como se explica en esta pregunta, pero luego probé un enfoque más simple pensando que podría encontrar una mejor […]

Subproceso de Python. El subproceso solo se puede detener con el método privado self .__ Thread_stop ()

Tengo una función que acepta una gran variedad de pares x, y como una entrada que hace un ajuste de curva elaborado utilizando numpy y scipy y luego devuelve un solo valor. Para intentar y acelerar las cosas, estoy tratando de tener dos subprocesos en los que alimente los datos para usar Queue.Queue. Una vez […]

¿Es Scrapy de un solo hilo o de múltiples hilos?

Hay pocas configuraciones de concurrencia en Scrapy, como CONCURRENT_REQUESTS . ¿Significa que el rastreador de Scrapy es multiproceso? Entonces, si ejecuto scrapy crawl my_crawler , ¿literalmente se dispararán múltiples solicitudes simultáneas en paralelo? Lo pregunto porque, leí que Scrapy es de un solo hilo.

Creando una aplicación de chat simple en Python (Sockets)

Estoy tratando de crear una aplicación de chat simple usando sockets (python). Cuando un cliente puede enviar un mensaje al servidor, el servidor simplemente lo transmite a todos los demás clientes, excepto al que lo envió. El cliente tiene dos hilos, que se están ejecutando para siempre send : enviar simplemente envía el mensaje de […]

Barra de progreso TTK bloqueada al enviar correo electrónico

Estoy escribiendo una aplicación en python usando tkinter. En esta aplicación estoy intentando enviar un lote de correos electrónicos y quiero mostrar una barra de progreso mientras se envían. Puedo crear la barra de progreso e iniciarla, pero cuando se envían los correos electrónicos, la barra simplemente se detiene (si se inicia mucho antes de […]