Articles of rabbitmq

Errores de encuadre en el apio 3.0.1

Recientemente actualicé a Celery 3.0.1 desde 2.3.0 y todas las tareas se ejecutan bien. Desafortunadamente. Estoy recibiendo una excepción de “error de marco” con bastante frecuencia. También estoy ejecutando supervisor para reiniciar los subprocesos, pero como estos nunca se eliminan realmente, el supervisor no tiene forma de saber que el apio debe reiniciarse. ¿Alguien ha […]

Apio: ¿cómo puedo encaminar una tarea fallida a una cola de mensajes no entregados?

Soy un principiante en apio e bash integrar esta cola de tareas en mi proyecto, pero todavía no entiendo cómo el apio maneja las tareas fallidas y me gustaría mantener a todos en una cola de mensajes no entregados. De acuerdo con el documento aquí , parece que el aumento de Rechazar en una tarea […]

Capturar a Heroku SIGTERM en trabajadores de apio para cerrar al trabajador con gracia

He investigado un montón sobre esto, y me sorprende que no haya encontrado una buena respuesta a esto todavía en ninguna parte. Estoy ejecutando una aplicación grande en Heroku, y tengo ciertas tareas de apio que se ejecutan durante mucho tiempo en el procesamiento, y al final de la tarea, guardar un resultado. Cada vez […]

Diferenciar apio, kombu, PyAMQP y RabbitMQ / ironMQ

Quiero cargar imágenes al servidor S3, pero antes de subir quiero generar miniaturas de 3 tamaños diferentes, y quiero que se haga fuera del ciclo de solicitud / respuesta, por lo tanto, estoy usando apio. He leído los documentos, esto es lo que he entendido. Por favor, corríjame si estoy equivocado. Celery le ayuda a […]

iniciar el apio trabajador y habilitarlo para cola de difusión

Estoy intentando iniciar el trabajo del apio para que solo escuche una sola cola. Esto no es un problema, puedo hacerlo de esta manera: python -m celery worker -A my_module -Q my_queue -c 1 Pero ahora también quiero que esta cola my_queue sea ​​una cola de transmisión, así que hago esto en mi celeryconfig: from […]

Usando apio con mensajes RabbitMQ existentes

Tengo una implementación de RabbitMQ que indica que algunas aplicaciones Java están utilizando los mensajes de registro de envío como objetos JSON de cadena en varios canales. Me gustaría usar el apio para consumir estos mensajes y escribirlos en varios lugares (por ejemplo, DB, Hadoop, etc.). Puedo ver que Celery está diseñado para ser el […]

Consumir colas múltiples en python / pika

Estoy tratando de crear un consumidor que se suscriba a varias colas y luego procese los mensajes a medida que llegan. El problema es que cuando hay algunos datos ya presentes en la primera cola, consume la primera cola y nunca va a consumir la segunda cola. Sin embargo, cuando la primera cola está vacía, […]

¿Por qué RabbitMQ no persiste los mensajes en una cola duradera?

Estoy usando RabbitMQ con Django a través de Celery. Estoy usando la configuración más básica: # RabbitMQ connection settings BROKER_HOST = ‘localhost’ BROKER_PORT = ‘5672’ BROKER_USER = ‘guest’ BROKER_PASSWORD = ‘guest’ BROKER_VHOST = ‘/’ Importé una tarea de apio y la puse en cola un año después. Desde el shell de iPython: In [1]: from […]

¿Qué forma de conexión utilizar con pika?

He estado tratando de averiguar qué forma de conexión debo usar cuando uso pika, tengo dos alternativas, según tengo entendido. Ya sea la SelectConnection BlockingConnection o la SelectConnection , sin embargo, no estoy realmente seguro de las diferencias entre estos dos (es decir, ¿qué es el locking de la Conexión de Bloqueo? Y más) La […]

Celery & RabbitMQ ejecutándose como contenedores de ventana acoplable: se recibió una tarea no registrada de tipo ‘…’

Soy relativamente nuevo en docker, apio y rabbitMQ. En nuestro proyecto, actualmente tenemos la siguiente configuración: 1 host físico con varios contenedores de ventana acoplable en ejecución: 1x rabbitmq: contenedor de 3 gestiones # pull image from docker hub and install docker pull rabbitmq:3-management # run docker image docker run -d -e RABBITMQ_NODENAME=my-rabbit –name some-rabbit […]