Apache Airflow es una plataforma de gestión de flujo de trabajo de código abierto . Comenzó en Airbnb en octubre de 2014 [2] como una solución para gestionar los flujos de trabajo cada vez más complejos de la empresa. La creación de Airflow permitió a Airbnb crear y programar de forma programática sus flujos de trabajo y monitorearlos a través de la interfaz de usuario integrada de Airflow . [3] [4] Desde el principio, el proyecto se hizo de código abierto, convirtiéndose en un proyecto de Apache Incubator en marzo de 2016 y en un proyecto de alto nivel de Apache Software Foundation en enero de 2019.
Autor (es) original (es) | Maxime Beauchemin / Airbnb |
---|---|
Desarrollador (es) | Fundación de software Apache |
Versión inicial | 3 de junio de 2015 |
Lanzamiento estable | 2.1 (21 de mayo de 2021 [1] ) [±] |
Repositorio | |
Escrito en | Pitón |
Sistema operativo | Microsoft Windows , macOS , Linux |
Disponible en | Pitón |
Tipo | Plataforma de gestión de flujo de trabajo |
Licencia | Licencia Apache 2.0 |
Sitio web | flujo de aire |
Airflow está escrito en Python y los flujos de trabajo se crean a través de scripts de Python. El flujo de aire está diseñado bajo el principio de "configuración como código". Si bien existen otras plataformas de flujo de trabajo de "configuración como código" que utilizan lenguajes de marcado como XML , el uso de Python permite a los desarrolladores importar bibliotecas y clases para ayudarlos a crear sus flujos de trabajo.
Descripción general
Airflow utiliza gráficos acíclicos dirigidos (DAG) para gestionar la orquestación del flujo de trabajo. Las tareas y dependencias se definen en Python y luego Airflow administra la programación y ejecución. Los DAG se pueden ejecutar en un horario definido (por ejemplo, cada hora o diariamente) o en función de desencadenantes de eventos externos (por ejemplo, un archivo que aparece en Hive [5] ). Los programadores anteriores basados en DAG como Oozie y Azkaban tendían a depender de múltiples archivos de configuración y árboles del sistema de archivos para crear un DAG, mientras que en Airflow, los DAG a menudo se pueden escribir en un archivo Python. [6]
Proveedores administrados
Tres proveedores notables ofrecen servicios auxiliares en torno al proyecto central de código abierto. Astronomer ha creado una herramienta SaaS y una pila de flujo de aire desplegable de Kubernetes que ayuda con la supervisión, las alertas, la devops y la gestión de clústeres. [7] Cloud Composer es una versión administrada de Airflow que se ejecuta en Google Cloud Platform (GCP) y se integra bien con otros servicios de GCP. [8] A partir de noviembre de 2020, Amazon Web Services ofrece flujos de trabajo administrados para Apache Airflow. [9]
Referencias
- ^ "Anuncios - Apache Airflow" . airflow.apache.org . La Fundación de Software Apache . Consultado el 16 de marzo de 2021 .
- ^ "Apache Airflow" . Apache Airflow . Archivado desde el original el 12 de agosto de 2019 . Consultado el 30 de septiembre de 2019 .
- ^ Beauchemin, Maxime (2 de junio de 2015). "Airflow: una plataforma de gestión del flujo de trabajo" . Medio . Archivado desde el original el 13 de agosto de 2019 . Consultado el 30 de septiembre de 2019 .
- ^ "Flujo de aire" . Archivado desde el original el 6 de julio de 2019 . Consultado el 30 de septiembre de 2019 .
- ^ Trencseni, Marton (16 de enero de 2016). "Revisión de flujo de aire" . BytePawn . Archivado desde el original el 28 de febrero de 2019 . Consultado el 1 de octubre de 2019 .
- ^ "AirflowProposal" . Fundación de software Apache . 28 de marzo de 2019 . Consultado el 1 de octubre de 2019 .
- ^ Lipp, Cassie (13 de julio de 2018). "El astrónomo es ahora la empresa Apache Airflow" . americaninno . Consultado el 18 de septiembre de 2019 .
- ^ "Google lanza Cloud Composer, una nueva herramienta de automatización del flujo de trabajo para desarrolladores" . TechCrunch . Consultado el 18 de septiembre de 2019 .
- ^ "Presentación de los flujos de trabajo administrados por Amazon para Apache Airflow (MWAA)" . Servicios web de Amazon . 2020-11-24 . Consultado el 17 de diciembre de 2020 .