Procesamiento híbrido de transacciones / análisis (HTAP), un término creado por Gartner Inc., una empresa de asesoramiento e investigación en tecnología de la información. Según lo definido por Gartner:
El procesamiento híbrido de transacciones / análisis (HTAP) es una arquitectura de aplicación emergente que "rompe el muro" entre el procesamiento de transacciones y el análisis. Permite una toma de decisiones más informada y "en tiempo real". [1] [2]
Fondo
En la década de 1960, el uso de computadoras en el sector empresarial comenzó con transacciones de nómina y luego incluyó tareas en áreas como contabilidad y facturación. En ese momento, los usuarios ingresaron datos y el sistema los procesó en un momento posterior . Un mayor desarrollo del procesamiento instantáneo de datos, o procesamiento de transacciones en línea (OLTP), llevó a un uso generalizado de OLTP en los sistemas de información gubernamentales y del sector empresarial. [3]
El procesamiento analítico en línea (OLAP) cubre el procesamiento analítico involucrado en la creación, síntesis y administración de datos. Con una mayor demanda de datos entre las empresas, [ cita requerida ] OLAP también ha evolucionado. Para satisfacer las necesidades de las aplicaciones, ambas tecnologías dependen de sus propios sistemas y arquitecturas distintas. [4] [3] Como resultado de la complejidad de la arquitectura e infraestructura de la información de los sistemas OLTP y OLAP, el análisis de datos se retrasa. [4] [ necesita cotización para verificar ]
Ventajas y desafíos de HTAP
Hay varias interpretaciones de HTAP distintas de la definición original de Gartner; una "arquitectura emergente". Estas interpretaciones sugieren diferentes ventajas, una de las cuales es la funcionalidad de una base de datos. Los avances recientes en investigación, hardware, capacidades OLTP y OLAP, tecnologías de base de datos nativas en memoria y en la nube, [5] productos y administración transaccional escalable permiten que el procesamiento y análisis transaccional, o HTAP, opere en la misma base de datos. [4] [6] [3]
Sin embargo, los informes más recientes de Gartner sugieren ventajas más amplias que las que puede ofrecer una sola base de datos unificada. Las arquitecturas de aplicaciones tradicionales separaron los sistemas transaccionales y analíticos. El negocio digital y la necesidad de responder a los momentos empresariales significa que el uso del análisis "a posteriori" ya no es adecuado. Los momentos comerciales son oportunidades transitorias que deben aprovecharse en tiempo real. Si una organización no puede reconocer y / o responder rápidamente a un momento empresarial tomando decisiones rápidas y bien informadas, entonces alguna otra organización lo hará, lo que resultará en una oportunidad perdida (o una nueva amenaza empresarial). HTAP permite ejecutar análisis avanzados en tiempo real sobre datos de transacciones "en vuelo", proporcionando una arquitectura que permite a los usuarios responder de manera más eficaz a los momentos comerciales. [7]
Los principales desafíos técnicos para una base de datos HTAP son cómo ser eficiente tanto para cargas de trabajo operativas (muchas transacciones pequeñas con una alta fracción de actualizaciones) como analíticas (consultas grandes y complejas que atraviesan una gran cantidad de filas) en el mismo sistema de base de datos y cómo prevenir la interferencia de las consultas analíticas sobre la carga de trabajo operativa. Este tipo de carga de trabajo operativa también se conoce comúnmente como procesamiento analítico operativo .
HTAP resuelve el problema de la latencia analítica de varias maneras, incluida la eliminación de la necesidad de múltiples copias de los mismos datos y el requisito de que los datos se descarguen de las bases de datos operativas a los almacenes de datos a través de procesos ETL . [4] [6]
La mayoría de las aplicaciones de HTAP están habilitadas por tecnologías en memoria que pueden procesar un gran volumen de transacciones y ofrecer funciones como pronósticos y simulaciones. Las nuevas tecnologías HTAP utilizan un procesamiento transaccional escalable y no necesitan depender de mantener toda la base de datos en la memoria. HTAP tiene el potencial de cambiar la forma en que las organizaciones hacen negocios al ofrecer capacidades de toma de decisiones comerciales inmediatas basadas en análisis en vivo y sofisticados de grandes volúmenes de datos. Los líderes gubernamentales y empresariales pueden estar informados sobre problemas, resultados y tendencias en tiempo real que requieren acción, como en las áreas de seguridad pública, gestión de riesgos y detección de fraudes. [4] [8]
Algunos desafíos para HTAP incluyen experiencia y habilidades limitadas en la industria, así como mejores prácticas no definidas. [4]
Las empresas de bases de datos ofrecen la funcionalidad HTAP, como MariaDB Enterprise [9] , MariaDB SkySQL [10] , Microsoft Azure SQL Database , Microsoft Azure Synapse Link [11] para Cosmos DB , DbAlibaba DRDS, LeanXcale, [12] TiDB , [13 ] [14] Hubble, ArangoDB , Aerospike , Apache Ignite / GridGain In-Memory Data Fabric , IBM IBM_Db2 IDAA, [15] InterSystems , [16] [17] Kdb + , Microsoft SQL Server , Neo4j , TigerGraph , Oracle 12c en memoria , [18] SAP HANA , [19] [20] MemSQL , MongoDB , VoltDB , NuoDB , OrientDB , DataStax , eXtremeDB , Splice Machine , [21] EsgynDB , Cloud Spanner , HarperDB, Amazon Aurora (consulta en paralelo), BlobCity, Couchbase , [22] YugabyteDB [23] y PostgreSQL.
Referencias
- ^ "Guía de mercado para tecnologías informáticas en memoria que habilitan HTAP" . www.gartner.com . Consultado el 15 de abril de 2017 .
- ^ "Transacción híbrida / procesamiento analítico fomentará oportunidades para una innovación empresarial espectacular" . www.gartner.com . Consultado el 15 de abril de 2017 .
- ^ a b c Pantano, Anja. Benchmarking Transaction and Analytical Processing Systems: La creación de un Benchmark de cargas de trabajo mixtas y su aplicación Springer-Verlage Berlin Heidelberg. 2014
- ^ a b c d e f Pezzini, Massimo; Feinberg, Donald; Rayner, Nigel; Edjlali, Roxane. "La transacción híbrida / procesamiento analítico fomentará oportunidades para una innovación empresarial espectacular". Gartner. 28 de enero de 2014
- ^ "Azure Analytics: Claridad en un instante" . azure.microsoft.com . Consultado el 20 de junio de 2020 .
- ^ a b Wolpe, Toby. "¿SQL y NoSQL? Bien, pero ¿cómo encaja la base de datos híbrida?" ZDNet. 12 de mayo de 2014
- ^ "Cómo habilitar la innovación empresarial digital a través de transacciones híbridas / procesamiento analítico" . www.gartner.com . Consultado el 15 de abril de 2017 .
- ^ Baer, Tony. "Fast Data llega al carril rápido de Big Data". ZDNet. 16 de abril de 2012
- ^ https://mariadb.org/columnstore-native/
- ^ https://www.businesswire.com/news/home/20210107005475/en/MariaDB-Releases-New-R2DBC-Connector
- ^ "Una mirada más cercana a Azure Synapse Link" . www.zdnet.com . Consultado el 15 de abril de 2017 .
- ^ Investigación., Bloor. "Procesamiento de datos híbrido en tiempo real" . bloorresearch.com . Consultado el 30 de octubre de 2019 .
- ^ "La base de datos híbrida capturando información perecedera en Yiguo" . Datanami . 22 de febrero de 2018 . Consultado el 2 de marzo de 2018 .
- ^ Xu, Kevin. "Cómo TiDB combina OLTP y OLAP en una base de datos distribuida" . InfoWorld . Consultado el 14 de noviembre de 2018 .
- ^ "Análisis en tiempo real con IDAA y Big Data en System z"
- ^ Inc., Gartner. "Revisiones de software de sistemas de gestión de bases de datos operativas (ODBMS)" . Gartner . Consultado el 14 de febrero de 2018 .
- ^ Gartner (12 de febrero de 2018). "Capacidades críticas para sistemas operativos de gestión de bases de datos" . Gartner .
- ^ "Tecnología de base de datos de vanguardia ahora disponible en todos los entornos" . oracle.com . Archivado desde el original el 28 de agosto de 2018.
- ^ Revisión, CIO. "Internet de todo y procesamiento analítico transaccional híbrido" . CIOReview . Consultado el 26 de marzo de 2016 .
- ^ "Reimpresión de Gartner" . www.gartner.com . Consultado el 26 de marzo de 2016 .
- ^ "La plataforma de datos de la máquina de empalmes" . Máquina de empalme .
- ^ https://www.datanami.com/2018/09/20/couchbase-to-deliver-parallel-json-analytics-without-the-etl/
- ^ https://docs.yugabyte.com/latest/faq/general/