Articles of multiproceso de

¿Cómo se puede acceder a un puerto serie desde dos procesos diferentes (Python)?

Me gustaría usar el multiprocesamiento (para evitar problemas de GIL en máquinas con varios núcleos) y tener un proceso de lectura y un proceso de escritura utilizando el mismo puerto serie. ¿Es eso posible? Si es así, ¿cómo obtengo el puerto adquirido y luego cómo el niño procesa los objetos de archivo que pueden usar? […]

Problemas al mezclar hilos / procesos en python

Estoy empezando a intentar hacer cosas multiproceso / multiprocesador y me encuentro con algunos problemas. Lo que quiero hacer es generar una serie de solicitudes de datos que deben descargarse de una base de datos remota. Estos se almacenan en un Queue.Queue (llamémoslo in_q). Una vez que he generado todas las solicitudes, inicie un número […]

Apio: ¿cómo limitar el número de tareas en la cola y dejar de alimentar cuando está lleno?

Soy muy nuevo en Celery y aquí está la pregunta que tengo: Supongamos que tengo un script que se supone que constantemente busca datos nuevos de la base de datos y los envía a los trabajadores usando Celery. tareas.py # Celery Task from celery import Celery app = Celery(‘tasks’, broker=’amqp://guest@localhost//’) @app.task def process_data(x): # Do […]

Python: usar el módulo de multiprocesamiento como posible solución para boost la velocidad de mi función

Escribí una función en Python 2.7 (en Windows OS 64bit) para calcular el valor medio del área de intersección a partir de un polígono de referencia (Ref) y uno o más polígonos segmentados (Seg) en formato de archivo de forma ESRI. El código es bastante lento porque tengo más de 2000 polígonos de referencia y, […]

Python múltiples procesos de subprocesos para ejecutar ejecutables

Estoy tratando de actualizar una secuencia de comandos de Python que ejecuta un ejecutable en Windows y administra los archivos de salida de texto a una versión que usa múltiples procesos de subprocesos para que pueda utilizar más de un núcleo. Tengo cuatro versiones separadas del ejecutable a las que cada hilo sabe que acceder. […]

Comunicando el final de la cola

Estoy aprendiendo a usar el módulo de Cola, y estoy un poco confundido acerca de cómo se puede hacer que un subproceso de consumidor de la cola sepa que la cola está completa. Idealmente, me gustaría usar get() desde el subproceso del consumidor y hacer que lance una excepción si la cola ha sido marcada […]

Python3 Windows multiprocesamiento pasando socket para procesar

Estoy tratando de hacer multiprocesamiento ServerApp para trabajar en Windows. Supongo que al problema le falta la función os.fork() , así que tendré que pasar el socket alguna manera que no sea pickleable (?!). He visto que esto podría ser posible utilizando reduce_handle y rebuild_handle desde multiprocessing.reduction como se muestra aquí, pero esos métodos no […]

¿Por qué la operación get () en multiprocessing.Pool.map_async toma tanto tiempo?

import multiprocessing as mp import numpy as np pool = mp.Pool( processes = 4 ) inp = np.linspace( 0.01, 1.99, 100 ) result = pool.map_async( func, inp ) #Line1 ( func is some Python function which acts on input ) output = result.get() #Line2 Por lo tanto, estaba tratando de paralelizar un código en Python, […]

Mejora la velocidad de ejecución de Python con hilos paralelos

Digamos que tengo este código de ejemplo: x = foo1(something1) y = foo2(something2) z = max(x, y) Quiero mejorar el tiempo de ejecución de este código mediante el uso de subprocesos (espero que ayude, ¿no es así?). Me gustaría mantener las cosas lo más simples posible, así que básicamente lo que me gustaría hacer es […]

¿Cómo implementar el progtwigdor de eventos de tiempo en python?

En Python, cómo implementar un hilo que se ejecuta en segundo plano (puede ser cuando se carga el módulo) y llama a la función cada minuto de lunes a viernes de 10 a.m. a 3 p.m. Por ejemplo, la función debe ser llamada en: 10:01 AM 10:02 AM 10:03 AM . 2:59 PM Cualquier punteros? […]