Articles of cola de

Multiprocesamiento: resultado NULO sin error en PyObject_Call

Aquí hay un progtwig de ejemplo donde uso multiprocesamiento. Los cálculos se realizan con multiprocessing.Process y los resultados se recostackn mediante multiprocessing.Queue . #THIS PROGRAM RUNS WITH ~40Gb RAM. (you can reduce a,b,c for less RAM #but then it works for smaller values) #PROBLEM OCCURS ONLY FOR HUGE DATA. from numpy import * import multiprocessing […]

Obtener todos los artículos del hilo Queue

Tengo un hilo que escribe los resultados en una cola. En otro hilo (GUI), verifico periódicamente (en el evento IDLE) si hay resultados en la cola, como esto: def queue_get_all(q): items = [] while 1: try: items.append(q.get_nowait()) except Empty, e: break return items ¿Es esta una buena manera de hacerlo? Editar: Lo pregunto porque a […]

Fallo en la cola de multiprocesamiento de Python

Creo 100 procesos infantiles. proc_list = [ Process(target = simulator, args=(result_queue,)) for i in xrange(100)] y empezarlos for proc in proc_list: proc.start() Cada proceso pone en el resultado de la cola (instancia de multiprocessing.Queue) 10000 tuplas después de hacer algún procesamiento. def simulate(alg_instance, image_ids, gamma, results, simulations, sim_semaphore): (rs, qs, t_us) = alg_instance.simulate_multiple(image_ids, gamma, simulations) […]

API de stack máxima incorporada en Python

El heapq predeterminado es la implementación de la cola mínima y se pregunta si hay una opción para la cola máxima. Gracias. Probé la solución utilizando _heapify_max para max heap, pero ¿cómo manejar el elemento push / pop dinámicamente? Parece que _heapify_max solo podría usarse durante el tiempo de inicialización. import heapq def heapsort(iterable): h […]

python -> módulo de multiprocesamiento

Esto es lo que estoy tratando de lograr: Tengo alrededor de un millón de archivos que necesito para analizar y agregar el contenido analizado a un solo archivo. Dado que un solo proceso lleva años, esta opción está fuera. No usar hilos en Python ya que esencialmente se trata de ejecutar un solo proceso (debido […]

¿Pueden los hilos de Python acceder a las variables en el espacio de nombres?

Tengo una secuencia de comandos que crea un montón de subprocesos, ejecuta un progtwig para usar los subprocesos para ejecutar tareas desde una cola y devuelve algo de cada subproceso. Quiero contar cuántos de estos devolvieron con éxito, así que configuro una variable “exitoso = 0” y la incrementé cada vez que la cola informa […]

como hacer una cola en python

Hola ¿Cómo hacer una copia en profundidad de una cola en Python? Gracias

Multiprocesamiento de Python: RuntimeError: “Los objetos de cola solo deben compartirse entre procesos a través de la herencia”

Soy consciente de multiprocesamiento.Manager () y cómo se puede utilizar para crear objetos compartidos. En particular, colas que pueden ser compartidas entre los trabajadores. Hay esta pregunta , esta pregunta , y esta pregunta . Sin embargo, estos enlaces no mencionan por qué podemos usar la herencia para compartir entre procesos. Según tengo entendido, en […]

Problemas al mezclar hilos / procesos en python

Estoy empezando a intentar hacer cosas multiproceso / multiprocesador y me encuentro con algunos problemas. Lo que quiero hacer es generar una serie de solicitudes de datos que deben descargarse de una base de datos remota. Estos se almacenan en un Queue.Queue (llamémoslo in_q). Una vez que he generado todas las solicitudes, inicie un número […]

Comunicando el final de la cola

Estoy aprendiendo a usar el módulo de Cola, y estoy un poco confundido acerca de cómo se puede hacer que un subproceso de consumidor de la cola sepa que la cola está completa. Idealmente, me gustaría usar get() desde el subproceso del consumidor y hacer que lance una excepción si la cola ha sido marcada […]