Articles of apio

Lista de apio progtwigda devuelve Ninguno

Soy bastante nuevo en Celery y he estado intentando configurar un script simple para progtwigr y anular tareas. Sin embargo, siento que estoy teniendo un problema extraño. Tengo la siguiente configuración from celery import Celery app = Celery(‘celery_test’, broker=’amqp://’, backend=’amqp’) @app.task def add(x, y): return x + y Arranco mi servidor de apio muy bien […]

Djando Celery: La tarea de apio no crea registro en DB

Quiero crear registros de base de datos con la tarea de apio. Pero, por alguna razón, el método object.save() no funciona con task.apply_async() (Aplicar tareas de forma asíncrona). El mismo registro (Ticker) se guarda en la base de datos con una tarea de apio mientras se ejecuta localmente: get_all_tickers.apply() Pero no se guarda con el […]

Cómo conectar el apio a rabbitMQ usando SSL

Estoy tratando de conectar apio con un agente de rabbitMQ usando certificados SSL. Este es el código: from celery import Celery import ssl broker_uri = ‘amqp://user:pwd@server:5672/vhost’ certs_conf = { “ca_certs”: “/certs/serverca/cacert.pem”, “certfile”: “/certs/client/rabbit-cert.pem”, “keyfile”: “/certs/client/rabbit-key.pem”, “cert_reqs”: ssl.CERT_REQUIRED } app = Celery(‘tasks’, broker=broker_uri) app.conf.update(BROKER_USE_SSL=certs_conf) app.send_task(‘task.name’, [{‘a’: 1}]) Cuando bash ejecutar este código obtengo la siguiente excepción: […]

pasando el objeto de solicitud django a la tarea de apio

Tengo una tarea en task.py así: @app.task def location(request): …. Estoy tratando de pasar el objeto de solicitud directamente de unos pocos a una tarea como esta: def tag_location(request): tasks.location.delay(request) return JsonResponse({‘response’: 1}) Estoy recibiendo un error que no puede ser serializado supongo? ¿Cómo puedo solucionar esto? el problema es que también tengo objetos de […]

El apio muere con DBPageNotFoundError

Tengo 3 máquinas con trabajadores de apio y rabbitmq como intermediario, un trabajador está corriendo con beat flag, todo esto es administrado por un supervisor, y algunas veces el apio muere con tal error. Este error aparece solo en el progtwig Beat Worker, pero cuando aparece, los trabajadores de todas las máquinas mueren. (Apio == […]

Apio: ¿cómo limitar el número de tareas en la cola y dejar de alimentar cuando está lleno?

Soy muy nuevo en Celery y aquí está la pregunta que tengo: Supongamos que tengo un script que se supone que constantemente busca datos nuevos de la base de datos y los envía a los trabajadores usando Celery. tareas.py # Celery Task from celery import Celery app = Celery(‘tasks’, broker=’amqp://guest@localhost//’) @app.task def process_data(x): # Do […]

Apio + gevent usando solo un núcleo de CPU

Tengo problemas con la carga de rendimiento al ejecutar Celery con gevent, todo se ejecuta en el mismo núcleo en mi VPS. Aquí hay una captura de pantalla de 4 instancias de Celery con 20 gevent concurrency cada una. Cómo arreglar esto ? Qué estoy haciendo mal ? Aquí está mi primera tarea: def update_sender(): […]

Revocar la tarea de apio antes de ejecutar utilizando la base de datos django

Estoy usando la base de datos Django en lugar de RabbitMQ por razones de concurrencia. Pero no puedo resolver el problema de revocar una tarea antes de que se ejecute. Encontré algunas respuestas sobre este asunto, pero no parecen estar completas o no puedo obtener suficiente ayuda. primera respuesta segunda respuesta ¿Cómo puedo extender la […]

Trabajo de multiprocesamiento de Python para la tarea de apio pero AttributeError

Hice una función multiprocesada como esta, import multiprocessing import pandas as pd import numpy as np def _apply_df(args): df, func, kwargs = args return df.apply(func, **kwargs) def apply_by_multiprocessing(df, func, **kwargs): workers = kwargs.pop(‘workers’) pool = multiprocessing.Pool(processes=workers) result = pool.map(_apply_df, [(d, func, kwargs) for d in np.array_split(df, workers)]) pool.close() return pd.concat(list(result)) def square(x): return x**x if […]

¿Cómo conseguir las tareas fallidas en el apio?

Estoy usando apio para procesar algunas tareas. Puedo ver cuántos están activos o progtwigdos, etc., pero no puedo encontrar ninguna forma de ver las tareas que han fallado. Flower me muestra el estado, pero solo si se estaba ejecutando cuando la tarea se inició y falló. ¿Hay algún comando para obtener todas las tareas que […]