Azure Data Lake [1] es un servicio de análisis y almacenamiento de datos escalable. El servicio está alojado en Azure , la nube pública de Microsoft .
Desarrollador (es) | Microsoft |
---|---|
Versión inicial | 16 de noviembre de 2016 |
Disponible en | inglés |
Tipo | Servicio de análisis y almacenamiento de datos |
Sitio web | azure |
Historia
El servicio Azure Data Lake se lanzó el 16 de noviembre de 2016. Se basa en COSMOS, [2] que se utiliza para almacenar y procesar datos para aplicaciones como Azure, AdCenter , Bing , MSN , Skype y Windows Live . COSMOS presenta un motor de consultas similar a SQL llamado SCOPE sobre el cual se construyó U-SQL. [2]
Tienda de Azure Data Lake
Los usuarios pueden almacenar datos estructurados, semiestructurados o no estructurados producidos a partir de aplicaciones que incluyen redes sociales, datos relacionales, sensores, videos, aplicaciones web, dispositivos móviles o de escritorio. Una sola cuenta de Azure Data Lake Store puede almacenar billones de archivos donde un solo archivo puede tener un tamaño superior a un petabyte .
Análisis de Azure Data Lake
Azure Data Lake Analytics es un servicio de trabajo bajo demanda paralelo. El sistema de procesamiento paralelo se basa en la solución Microsoft Dryad . [3] Dryad puede representar Gráficos Acíclicos Dirigidos (DAG) arbitrarios de cálculo. Data Lake Analytics proporciona una infraestructura distribuida que puede asignar o desasignar recursos de forma dinámica para que los clientes paguen solo por los servicios que utilizan.
Azure Data Lake Analytics usa Apache YARN, la parte central de Apache Hadoop para gobernar la administración de recursos y entregar operaciones en los clústeres de Hadoop. Microsoft Azure Data Lake Store admite cualquier aplicación que utilice el estándar abierto Apache Hadoop Distributed File System (HDFS). [3]
U-SQL
Con Data Lake Analytics, los usuarios pueden desarrollar y ejecutar programas de procesamiento y transformación de datos en paralelo en U-SQL, un lenguaje de consulta que combina SQL con C #. U-SQL fue diseñado como una evolución del lenguaje SQL declarativo con extensibilidad nativa a través del código de usuario escrito en C #. U-SQL usa tipos de datos C # y el lenguaje de expresión C #.
Ver también
Referencias
- ^ "Lago de datos" . Microsoft Azure . Consultado el 17 de junio de 2019 .
- ^ a b Harris, Derrick (5 de febrero de 2015). "Por qué la apertura de su sistema de big data Cosmos sería la decisión correcta para Microsoft" . gigaom.com . Consultado el 27 de julio de 2017 .
- ^ a b Harris, Ed. "Cosmos" (PDF) .