Apache NiFi es un proyecto de software de Apache Software Foundation diseñado para automatizar el flujo de datos entre sistemas de software . Aprovechando el concepto de Extraer, transformar, cargar , se basa en el software " NiagaraFiles " desarrollado anteriormente por la Agencia de Seguridad Nacional de los Estados Unidos (NSA), que también es la fuente de una parte de su nombre actual: NiFi . Fue de código abierto como parte del programa de transferencia de tecnología de la NSA en 2014. [2] [3] [4] [5] [6]
Desarrollador (es) | Fundación de software Apache , Cloudera , Hortonworks |
---|---|
Versión inicial | 2006 |
Lanzamiento estable | 1.13.2 / 19 de marzo de 2021 [1] |
Repositorio | Repositorio de NiFi |
Escrito en | Java |
Sistema operativo | Multiplataforma |
Tipo | Flujo de datos distribuido |
Licencia | Licencia Apache 2.0 |
Sitio web | nifi |
El diseño del software se basa en el modelo de programación basado en flujo y ofrece características que incluyen de manera destacada la capacidad de operar dentro de clústeres , seguridad mediante cifrado TLS , extensibilidad (los usuarios pueden escribir su propio software para ampliar sus capacidades) y características de usabilidad mejoradas como un portal. que se puede utilizar para ver y modificar el comportamiento visualmente. [7]
Actualmente, Hortonworks (ahora fusionado con Cloudera ) ofrece soporte comercial y de desarrollo de software , [8] que adquirió el creador de NiFi, Onyara Inc. [9]
Componentes
NiFi es un programa Java que se ejecuta dentro de una máquina virtual Java que se ejecuta en un servidor. [10] Los componentes destacados de Nifi son
- Servidor web: el componente basado en HTTP que se utiliza para controlar visualmente el software y monitorear los eventos que ocurren dentro
- Controlador de flujo: sirve como el cerebro del comportamiento de NiFi. Controla la ejecución de las extensiones de Nifi y programa la asignación de recursos para que esto suceda.
- Extensiones: varios complementos que permiten a Nifi interactuar con varios tipos de sistemas
- Repositorio de FlowFile: utilizado por NiFi para mantener y rastrear el estado del FlowFile actualmente activo o la información que NiFi está ayudando a moverse entre sistemas.
- Repositorio de contenido: los datos en tránsito se mantienen aquí
- Repositorio de procedencia: aquí se conservan los datos relacionados con la procedencia de los datos que fluyen a través del sistema.
Integración en software comercial
- En febrero de 2017, HPE 's SecureData para Hadoop y la IO de software se convirtió en el primer producto comercial de la industria para integrar NIFI [11]
Ver también
- DataFlow de Hortonworks
- Lista de proyectos de Apache Software Foundation
- Programación basada en flujo
Referencias
- ^ "Descargas de Apache NiFi" . nifi.apache.org . Consultado el 2 de abril de 2021 .
- ^ "NSA lanza primero en una serie de productos de software a la comunidad de código abierto" . www.nsa.gov . Consultado el 7 de diciembre de 2017 .
- ^ Bridgwater, Adrian (21 de julio de 2015). "Proyecto de automatización de Big Data NSA 'NiFi' al aire libre" . Forbes . Consultado el 21 de septiembre de 2016 .
- ^ Vaughan-Nichols, Steven J. "La NSA se asocia con Apache para lanzar el programa de tráfico de datos de código abierto | ZDNet" . ZDNet . Consultado el 21 de septiembre de 2016 .
- ^ "Fuga de código fuente de la NSA: herramientas de sorber de información para aparecer en línea" . El registro . Consultado el 21 de septiembre de 2016 .
- ^ Wolpe, Toby. "Hortonworks CTO en Apache NiFi: ¿Qué es y por qué es importante para IoT? | ZDNet" . ZDNet . Consultado el 21 de septiembre de 2016 .
- ^ "Documentación de Apache NiFi" . nifi.apache.org . Consultado el 7 de diciembre de 2017 .
- ^ "Bienvenidos a un Cloudera nuevo" . Hortonworks . 2019-01-03 . Consultado el 20 de mayo de 2019 .
- ^ "Hortonworks compra Onyara, la empresa detrás de Apache NiFi, que fue desarrollada en NSA" . VentureBeat . Consultado el 21 de septiembre de 2016 .
- ^ "Guía para desarrolladores de Apache NiFi" . nifi.apache.org . Consultado el 31 de enero de 2018 .
- ^ "Conferencia RSA: HPE busca impulsar la seguridad de IoT empresarial con Apache NiFi" . TechRepublic . Consultado el 31 de enero de 2018 .
enlaces externos
- Página web oficial
- NiFi en Cloudera.com
Subproyectos
- Registro Apache NiFi : una aplicación complementaria que proporciona una ubicación central para el almacenamiento y la gestión de recursos compartidos en una o más instancias de NiFi y / o MiNiFi, como Plantillas.
- MiNiFi : un enfoque de recopilación de datos complementario que complementa los principios básicos de NiFi en la gestión del flujo de datos, centrándose en la recopilación de datos en la fuente de su creación.
- Flow Design System (FDS) : una plataforma atómica reutilizable para proporcionar un conjunto común de componentes UI / UX para Apache NiFi, Apache NiFi Registry, Apache NiFi MiNiFi y cualquier otra aplicación web de código abierto para consumir.