Articles of concurrencia

Ejecutando múltiples progtwigs de Python concurrentes accediendo a la misma tabla de base de datos

¿Hay algo en Python que le permita ejecutar múltiples progtwigs concurrentes de Python que potencialmente puedan acceder a la misma tabla de base de datos y evitar que cada progtwig use la CPU completa y, por lo tanto, permitir que el servidor tenga alguna capacidad adicional?

python concurrent.futures.ProcessPoolExecutor: Rendimiento de .submit () vs .map ()

Estoy usando concurrent.futures.ProcessPoolExecutor para encontrar la ocurrencia de un número de un rango de números. La intención es investigar la cantidad de rendimiento de aceleración obtenida de la concurrencia. Para comparar el rendimiento, tengo un control: un código de serie para realizar dicha tarea (que se muestra a continuación). He escrito 2 códigos concurrentes, uno […]

Diferencia de apio entre concurrencia, trabajadores y autoescalado.

En mi archivo de configuración /etc/defaults/celeryd , he establecido: CELERYD_NODES=”agent1 agent2 agent3 agent4 agent5 agent6 agent7 agent8″ CELERYD_OPTS=”–autoscale=10,3 –concurrency=5″ Entiendo que el demonio engendra 8 trabajadores de apio, pero no estoy completamente seguro de lo que hacen la autoscale y la concurrency . Pensé que la concurrencia era una forma de especificar el número máximo […]

¿Cómo ejecuto dos bucles de python al mismo tiempo?

Supongamos que tengo lo siguiente en Python # A loop for i in range(10000): Do Task A # B loop for i in range(10000): Do Task B ¿Cómo ejecuto estos bucles simultáneamente en Python?

Descargas concurrentes – Python

El plan es este: Descargo una página web, recopilo una lista de imágenes analizadas en el DOM y luego las descargo. Después de esto, recorrería las imágenes para evaluar qué imagen es la más adecuada para representar la página web. El problema es que las imágenes se descargan 1 a 1 y esto puede llevar […]

¿Se puede ejecutar un bucle de eventos asyncio en segundo plano sin suspender el intérprete de Python?

La documentación de asyncio da dos ejemplos de cómo imprimir “Hola mundo” cada dos segundos: https://docs.python.org/3/library/asyncio-eventloop.html#asyncio-hello-world-callback https: // docs.python.org/3/library/asyncio-task.html#asyncio-hello-world-coroutine Los puedo ejecutar desde el intérprete, pero si lo hago, pierdo el acceso al intérprete. ¿Se puede ejecutar un bucle de eventos asyncio en segundo plano, para que pueda seguir escribiendo comandos en el intérprete?

importar dentro de un hilo de Python

Tengo algunas funciones que cargan módulos de python de forma interactiva usando __import__ Recientemente me topé con algún artículo sobre un “locking de importación” en Python, es decir, un locking específicamente para importaciones (no solo el GIL). Pero el artículo era viejo, así que quizás eso ya no sea verdad. Esto me hace preguntarme acerca […]

Resolviendo problemas paralelos vergonzosamente usando el multiprocesamiento de Python

¿Cómo se usa el multiprocesamiento para abordar problemas vergonzosamente paralelos ? Los problemas paralelos de vergüenza consisten típicamente en tres partes básicas: Lea los datos de entrada (de un archivo, base de datos, conexión tcp, etc.). Ejecute los cálculos en los datos de entrada, donde cada cálculo es independiente de cualquier otro cálculo . Escriba […]