Soy bastante nuevo en Celery y he estado intentando configurar un script simple para progtwigr y anular tareas. Sin embargo, siento que estoy teniendo un problema extraño. Tengo la siguiente configuración from celery import Celery app = Celery(‘celery_test’, broker=’amqp://’, backend=’amqp’) @app.task def add(x, y): return x + y Arranco mi servidor de apio muy bien […]
Quiero crear registros de base de datos con la tarea de apio. Pero, por alguna razón, el método object.save() no funciona con task.apply_async() (Aplicar tareas de forma asíncrona). El mismo registro (Ticker) se guarda en la base de datos con una tarea de apio mientras se ejecuta localmente: get_all_tickers.apply() Pero no se guarda con el […]
Estoy tratando de conectar apio con un agente de rabbitMQ usando certificados SSL. Este es el código: from celery import Celery import ssl broker_uri = ‘amqp://user:pwd@server:5672/vhost’ certs_conf = { “ca_certs”: “/certs/serverca/cacert.pem”, “certfile”: “/certs/client/rabbit-cert.pem”, “keyfile”: “/certs/client/rabbit-key.pem”, “cert_reqs”: ssl.CERT_REQUIRED } app = Celery(‘tasks’, broker=broker_uri) app.conf.update(BROKER_USE_SSL=certs_conf) app.send_task(‘task.name’, [{‘a’: 1}]) Cuando bash ejecutar este código obtengo la siguiente excepción: […]
Tengo una tarea en task.py así: @app.task def location(request): …. Estoy tratando de pasar el objeto de solicitud directamente de unos pocos a una tarea como esta: def tag_location(request): tasks.location.delay(request) return JsonResponse({‘response’: 1}) Estoy recibiendo un error que no puede ser serializado supongo? ¿Cómo puedo solucionar esto? el problema es que también tengo objetos de […]
Tengo 3 máquinas con trabajadores de apio y rabbitmq como intermediario, un trabajador está corriendo con beat flag, todo esto es administrado por un supervisor, y algunas veces el apio muere con tal error. Este error aparece solo en el progtwig Beat Worker, pero cuando aparece, los trabajadores de todas las máquinas mueren. (Apio == […]
Soy muy nuevo en Celery y aquí está la pregunta que tengo: Supongamos que tengo un script que se supone que constantemente busca datos nuevos de la base de datos y los envía a los trabajadores usando Celery. tareas.py # Celery Task from celery import Celery app = Celery(‘tasks’, broker=’amqp://guest@localhost//’) @app.task def process_data(x): # Do […]
Tengo problemas con la carga de rendimiento al ejecutar Celery con gevent, todo se ejecuta en el mismo núcleo en mi VPS. Aquí hay una captura de pantalla de 4 instancias de Celery con 20 gevent concurrency cada una. Cómo arreglar esto ? Qué estoy haciendo mal ? Aquí está mi primera tarea: def update_sender(): […]
Estoy usando la base de datos Django en lugar de RabbitMQ por razones de concurrencia. Pero no puedo resolver el problema de revocar una tarea antes de que se ejecute. Encontré algunas respuestas sobre este asunto, pero no parecen estar completas o no puedo obtener suficiente ayuda. primera respuesta segunda respuesta ¿Cómo puedo extender la […]
Hice una función multiprocesada como esta, import multiprocessing import pandas as pd import numpy as np def _apply_df(args): df, func, kwargs = args return df.apply(func, **kwargs) def apply_by_multiprocessing(df, func, **kwargs): workers = kwargs.pop(‘workers’) pool = multiprocessing.Pool(processes=workers) result = pool.map(_apply_df, [(d, func, kwargs) for d in np.array_split(df, workers)]) pool.close() return pd.concat(list(result)) def square(x): return x**x if […]
Estoy usando apio para procesar algunas tareas. Puedo ver cuántos están activos o progtwigdos, etc., pero no puedo encontrar ninguna forma de ver las tareas que han fallado. Flower me muestra el estado, pero solo si se estaba ejecutando cuando la tarea se inició y falló. ¿Hay algún comando para obtener todas las tareas que […]