Articles of flujo de aire de

Ejecutando más de 32 tareas concurrentes en Apache Airflow

Estoy ejecutando Apache Airflow 1.8.1. Me gustaría ejecutar más de 32 tareas simultáneas en mi instancia, pero no puedo conseguir que ninguna de las configuraciones funcione. Estoy utilizando CeleryExecutor, la configuración de Airflow en la interfaz de usuario muestra 64 para parallelism y dag_concurrency y he reiniciado el progtwigdor de Airflow, el servidor web y […]

Pase una lista de cadenas como parámetro de una tarea dependiente en Airflow

Estoy tratando de pasar una lista de cadenas de una tarea a otra a través de XCom, pero parece que no consigo que la lista insertada se interprete de nuevo como una lista. Por ejemplo, cuando hago esto en una función blah que se ejecuta en ShortCircuitOperator : paths = [‘gs://{}/{}’.format(bucket, obj) for obj in […]

Operador de flujo de air Python pasando parámetros.

Estoy tratando de escribir un operador de Python en un DAG de flujo de air y pasar ciertos parámetros al Python que se puede llamar. Mi código se ve a continuación. def my_sleeping_function(threshold): print(threshold) fmfdependency = PythonOperator( task_id=’poke_check’, python_callable=my_sleeping_function, provide_context=True, op_kwargs={‘threshold’: 100}, dag=dag) end = BatchEndOperator( queue=QUEUE, dag=dag) start.set_downstream(fmfdependency) fmfdependency.set_downstream(end) Pero sigo recibiendo el error […]

No se puede modificar mapred.job.name en tiempo de ejecución. No está en la lista de parámetros que pueden modificarse en tiempo de ejecución

Estoy intentando ejecutar un trabajo de hive en el flujo de air Hice una conexión jdbc de custome que se puede ver en la imagen. Podría consultar las tablas de Hive a través de la interfaz de usuario web de flujo de air (perfil de datos-> consulta ad hoc). También quiero ejecutar algún archivo dag […]

Flujo de air despeja las tareas que no se ejecutan.

Preámbulo Sin embargo, otras tareas de flujo de air no se ejecutan pregunta … Todo iba más o menos bien en mi experiencia de flujo de air hasta este fin de semana cuando las cosas realmente iban cuesta abajo. He comprobado todas las cosas estándar, por ejemplo, como se describe en esta publicación útil . […]

Flujo de air, marque una tarea con éxito o salte antes de ejecutar dag

Tenemos un gran DAG, con muchas tareas pequeñas y rápidas y algunas tareas grandes y que requieren mucho tiempo. Queremos ejecutar solo una parte del DAG, y la forma más sencilla que encontramos es no agregar la tarea que no queremos ejecutar. El problema es que nuestro DAG tiene muchas co-dependencias, por lo que se […]

Creación de usuarios de flujo de air

Estoy usando la versión 1.8.2 de Airflow y configuré un par de Dag. Todo se ejecuta como se esperaba. Tengo un usuario administrador creado para el acceso al servidor web de flujo de air. Pero para que otros equipos monitoreen su trabajo, no podemos proporcionar este usuario administrador. para crear un usuario diferente de la […]

Flujo de air: pasar un valor dynamic al operador Sub DAG

Soy nuevo en Airflow. Me he encontrado con un escenario en el que Parent DAG necesita pasar un número dynamic (digamos n ) a Sub DAG. Donde como SubDAG usará este número para crear dinámicamente n tareas paralelas. La documentación del flujo de air no cubre una manera de lograr esto. Así que he explorado […]

Almacenar y acceder a la contraseña utilizando el flujo de air de Apache

Estamos utilizando el flujo de air como un planificador. Quiero invocar un simple operador de bash en un DAG. El script de bash necesita una contraseña como argumento para realizar un procesamiento adicional. ¿Cómo puedo almacenar una contraseña de forma segura en el flujo de air (config / variables / connection) y acceder a ella […]

airflow trigger_dagecution_date es al día siguiente, ¿por qué?

Recientemente, he probado tanto el flujo de air que tiene un problema con la execution_date cuando se ejecuta el airflow trigger_dag . He aprendido que la fecha de execution_date no es lo que pensamos la primera vez desde aquí : El flujo de air fue desarrollado como una solución para las necesidades de ETL. En […]