Actian Vector (anteriormente conocido como VectorWise ) es un sistema de administración de bases de datos relacionales SQL diseñado para un alto rendimiento en aplicaciones de bases de datos analíticas. [3] Publicó resultados récord en el benchmark TPC-H del Transaction Processing Performance Council para tamaños de base de datos de 100 GB, 300 GB, 1 TB y 3 TB en hardware no agrupado. [4] [5] [6] [7]
Desarrollador (es) | Actian Corporation |
---|---|
Lanzamiento estable | Vector 5.1 / 14 de noviembre de 2018 [1] |
Sistema operativo | Multiplataforma |
Tipo | RDBMS |
Licencia | Propiedad |
Sitio web | www |
Desarrollador (es) | Actian Corporation |
---|---|
Lanzamiento estable | Vector en Hadoop 5.1 / 10 de junio de 2018 [2] |
Sistema operativo | Linux |
Tipo | RDBMS |
Licencia | Propiedad |
Sitio web | www |
Vectorwise se originó a partir del proyecto de investigación X100 llevado a cabo dentro del Centrum Wiskunde & Informatica (CWI, el Instituto Nacional de Investigación de Matemáticas y Ciencias de la Computación de los Países Bajos) entre 2003 y 2008. Se escindió como una empresa de nueva creación en 2008 y fue adquirida por Ingres Corporation en 2011. [8] Fue lanzado como producto comercial en junio de 2010, [9] [10] [11] [12] inicialmente para la plataforma Linux de 64 bits y más tarde también para Windows. A partir de la versión 3.5 en abril de 2014, el nombre del producto se redujo a "Vector". [13] En junio de 2014, se anunció Actian Vortex, una versión MPP agrupada de Vector, que funciona en Hadoop con almacenamiento en HDFS . [14] [15] Actian Vortex fue posteriormente renombrado a Actian Vector en Hadoop.
Tecnología
La arquitectura básica y los principios de diseño del motor X100 de la base de datos de VectorWise se describieron bien en dos tesis doctorales de los fundadores de VectorWise, Marcin Żukowski: "Equilibrio de la ejecución de consultas vectorizadas con almacenamiento optimizado para el ancho de banda" [16] y Sandor Héman: "Actualización de almacenes de columnas comprimidas ", [17] bajo la supervisión de otro fundador, el profesor Peter Boncz . El motor X100 se ha integrado con el front-end Ingres SQL, lo que hace que la base de datos sea operable utilizando la sintaxis Ingres SQL y el conjunto Ingres de herramientas cliente y DBA . [18]
La arquitectura de ejecución de consultas hace uso de la "Ejecución de consultas vectorizada": procesamiento en fragmentos de vectores de datos que se ajustan a la caché . Esto permite involucrar los principios de procesamiento vectorial e instrucción única, datos múltiples (SIMD) - para realizar la misma operación en múltiples datos simultáneamente y explotar el paralelismo a nivel de datos en hardware moderno. También reduce los gastos generales que se encuentran en el "procesamiento de fila a la vez" tradicional que se encuentra en la mayoría de los RDBMS.
El almacenamiento de la base de datos está en un formato comprimido orientado a columnas , [19] con un administrador de búfer optimizado para escaneo. En Actian Vortex en HDFS se utiliza el mismo formato propietario.
La carga de grandes cantidades de datos se admite a través de anexos directos al almacenamiento estable, mientras que las pequeñas actualizaciones transaccionales se admiten mediante patentes pendientes [20] Árboles delta posicionales (PDT) [17] [21] : estructuras especializadas en forma de árbol B de diferencias indexadas además del almacenamiento estable, que se parchean sin problemas durante los escaneos y que se propagan de forma transparente al almacenamiento estable en un proceso en segundo plano. El método de almacenar diferencias en estructuras similares a parches y reescribir el almacenamiento estable a granel hizo posible trabajar en un sistema de archivos como HDFS, en el que los archivos son solo para agregar. [14]
Historia
Hitos
Una prueba comparativa de rendimiento del Transaction Processing Performance Council TPC-H de MonetDB realizada por su creador original en Centrum Wiskunde & Informatica (CWI) en 2003 mostró margen de mejora en su rendimiento como base de datos analítica. Como resultado, los investigadores de CWI propusieron una nueva arquitectura que utiliza el procesamiento de consultas en canalización ("procesamiento vectorizado") para mejorar el rendimiento de las consultas analíticas. Esto llevó a la creación del proyecto "X100", con la intención de diseñar un nuevo kernel para MonetDB, que se llamaría "MonetDB / X100". [16] [22] [23]
El equipo del proyecto X100 ganó el premio DaMoN al mejor artículo 2007 por el artículo "Procesamiento de datos vectorizados en el motor de banda ancha celular" [24] [25] , así como el premio DaMoN al mejor artículo 2008 por el artículo "DSM vs. NSM: rendimiento de la CPU Compensaciones en el procesamiento de consultas orientado a bloques ". [26] [27]
En agosto de 2009, los creadores del proyecto X100 ganaron el "Premio al mejor artículo de diez años" en la 35ª Conferencia Internacional sobre Bases de Datos Muy Grandes (VLDB) por su artículo de 1999 "Arquitectura de base de datos optimizada para el nuevo cuello de botella: acceso a la memoria". La VLDB reconoció que el equipo del proyecto había logrado un gran progreso en la implementación de las ideas contenidas en el documento durante los últimos 10 años. [28] La premisa central del artículo es que los sistemas tradicionales de bases de datos relacionales se diseñaron a finales de la década de 1970 y principios de la de 1980 durante una época en la que el rendimiento de la base de datos estaba determinado por el tiempo necesario para leer y escribir datos en el disco duro. En ese momento, la CPU disponible era relativamente lenta y la memoria principal era relativamente pequeña, por lo que se podían cargar muy pocos datos a la vez. Con el tiempo, el hardware mejoró, y la velocidad de la CPU y el tamaño de la memoria se duplicaron aproximadamente cada dos años de acuerdo con la ley de Moore , pero el diseño de los sistemas de bases de datos relacionales tradicionales no se había adaptado. El equipo de investigación de CWI describió las mejoras en el código de la base de datos y las estructuras de datos para hacer un mejor uso del hardware moderno. [29]
En 2008, el proyecto X100 se separó de MonetDB como un proyecto independiente por derecho propio y se renombró como "VectorWise". Los cofundadores incluyeron a Peter A. Boncz y Marcin Żukowski. [30] [31]
En junio de 2010, Ingres Corporation anunció oficialmente la tecnología VectorWise , [10] [32] con el lanzamiento de Ingres VectorWise 1.0. [33]
En marzo de 2011, se lanzó VectorWise 1.5, [34] publicando un resultado récord en el benchmark TPC-H 100 GB. [5] [35] Las nuevas características incluyen la ejecución de consultas en paralelo (consulta única ejecutada en múltiples núcleos de CPU), carga masiva mejorada y soporte SQL mejorado.
En junio de 2011, se lanzó VectorWise 1.6, [6] publicando resultados récord en TPC-H de 100 GB, [36] 300 GB [37] y 1 TB [38] de referencia no agrupada.
En diciembre de 2011, se lanzó VectorWise 2.0 [39] con nuevo soporte SQL para funciones analíticas como rango y percentil y tipos de datos mejorados de fecha, hora y marca de tiempo, y soporte para la dispersión de discos en combinaciones y agregación hash.
En junio de 2012, se lanzó VectorWise 2.5. [40] En esta versión, el formato de almacenamiento se reorganizó para permitir el almacenamiento de la base de datos en múltiples ubicaciones, el mecanismo de propagación de actualización en segundo plano desde los PDT al almacenamiento estable se mejoró para permitir la reescritura solo de los bloques modificados en lugar de reescrituras completas, y un nuevo patentado [41] Se introdujo Predictive Buffer Manager (PBM). [42]
En marzo de 2013, se lanzó VectorWise 3.0. [43] Las nuevas características incluyeron un motor de almacenamiento más eficiente, soporte para más tipos de datos y funciones analíticas de SQL, características mejoradas de DDL y accesibilidad mejorada de monitoreo y creación de perfiles.
En marzo de 2014, se lanzó Actian Vector 3.5, con un nuevo nombre abreviado y rebautizado. [13] Nueva cuenta con soporte incluido para tablas con particiones, la mejora de derramamiento de disco, en línea capacidades de respaldo y soporte mejorado de SQL - por ejemplo, MERGE/UPSERT
las operaciones de DML y FIRST_VALUE
y LAST_VALUE
funciones de agregación ventana.
En marzo de 2015 se lanzó Actian Vector 4
Solución de clúster
En junio de 2014, en Hadoop Summit 2014 en San José, Actian anunció Actian Vortex: versión MPP agrupada en clúster de Vector, con el mismo nivel de soporte SQL que funciona en Hadoop con almacenamiento directamente en HDFS. [14]
Actian Vortex se lanzó desde entonces, luego se renombró como Actian Vector en Hadoop, y las versiones de Actian Vector no agrupadas también se actualizaron para que coincidan. [1] Actian Vector en Hadoop 4 se lanzó en diciembre de 2015.
Expandiéndose a la Nube
En abril de 2019, Actian Avalanche se lanzó como la opción en la nube para Actian Vector de alto rendimiento.
Lanzamientos actuales
Las siguientes versiones están disponibles y son compatibles con Actian, a partir de mayo de 2019.
Vector
- Actian Vector 5.0 se lanzó en julio de 2016
- Actian Vector 5.1 se lanzó en junio de 2018
Vector en Hadoop
- Actian Vector en Hadoop 5.0 se lanzó en octubre de 2017
- Actian Vector en Hadoop 5.1 se lanzó en noviembre de 2018
Avalancha de Actian
- La versión 5.1 de AWS se lanzó en abril de 2019.
- La versión 5.1 de Azure se lanzó en octubre de 2019.
Ver también
- Sistema de administración de base de datos
- Base de datos relacional
- MonetDB
- Ingres (base de datos)
Referencias
- ^ a b "Lanzamientos de Actian Vector" (PDF) . Consultado el 20 de agosto de 2016 .
- ^ "Vector en Hadoop 5.0 - Nuevas características que deberían interesarle" . 2017-09-19 . Consultado el 4 de abril de 2018 .
- ^ "Vectorwise Enterprise" . Actian Corporation . Consultado el 3 de mayo de 2012 .
- ^ "TPC-H - Los diez mejores resultados de rendimiento - No agrupado" . Consejo de rendimiento de procesamiento de transacciones . Consultado el 3 de mayo de 2012 .
- ^ a b "Vectorwise supera el récord de TPC-H a un factor de escala 100, obteniendo el 340% del mejor récord anterior" (comunicado de prensa). Actian Corporation. 15 de febrero de 2011 . Consultado el 7 de febrero de 2016 .
- ^ a b "Vectorwise rompe récords de referencia de 300GB y 1TB TPC-H sin duda alguna" (Comunicado de prensa). Actian Corporation. 4 de mayo de 2011 . Consultado el 7 de febrero de 2011 .
- ^ "La plataforma de análisis de Actian supera a todas las demás por 2 veces, establece un nuevo récord en el último punto de referencia de TPC-H" . Actian Corporation . Consultado el 20 de agosto de 2016 .
- ^ "La empresa derivada de CWI VectorWise vendida a Ingres Corporation" .
- ^ Clarke, Gavin (2 de febrero de 2010). "VectorWise de Ingres se levanta para responder a Microsoft" . El registro .
- ^ a b Babcock, Charles (9 de junio de 2010). "Ingres presenta el motor de base de datos VectorWise" . InformationWeek .
- ^ Suleman, Khidr (8 de junio de 2010). "Ingres lanza el motor de base de datos VectorWise" . V3.co.uk .
- ^ Zukowski, Marcin; Boncz, Peter (2012). "De x100 a vectorwise". Actas de la conferencia internacional de 2012 sobre gestión de datos - SIGMOD '12 . pag. 861. doi : 10.1145 / 2213836.2213967 . ISBN 978-1-4503-1247-9.
- ^ a b "Pssst: ¿Quiere saber más sobre Actian Vector 3.5?" . 2016-05-04.
- ^ a b c "Vector (sabio) va Hadoop" .
- ^ "Peter Boncz - Actian Vector en Hadoop: el primer DBMS de fuerza industrial para aprovechar realmente Hadoop" .
- ^ a b Żukowski, Marcin (11 de septiembre de 2009). "Equilibrio de la ejecución de consultas vectorizadas con almacenamiento optimizado para ancho de banda" (PDF) . Universiteit van Amsterdam . Consultado el 7 de febrero de 2016 . Cite journal requiere
|journal=
( ayuda ) - ^ a b Héman, Sandor (2015). "Actualización de almacenes de columnas comprimidas" (PDF) . Vrije Universiteit Amsterdam . Consultado el 7 de febrero de 2016 . Cite journal requiere
|journal=
( ayuda ) - ^ Inkster, Doug; Żukowski, Marcin; Boncz, Peter (septiembre de 2011). "Integración de VectorWise con Ingres" (PDF) . Registro SIGMOD . 40 (3): 45–53. doi : 10.1145 / 2070736.2070747 . hdl : 1871/33100 . Consultado el 7 de febrero de 2016 .
- ^ Zukowski, Marcin; Boncz, Peter (marzo de 2012). "Vectorwise: más allá de las tiendas de columnas" (PDF) . Boletín de ingeniería de datos IEEE . 35 (1): 21-27 . Consultado el 4 de mayo de 2012 .
- ^ Aplicación estadounidense 20100235335 , Sandor ABC Heman, Peter A. Boncz, Marcin Zukowski, Nicolaas J. Nes, "Arquitectura de base de datos de almacén de columnas que utiliza métodos y sistema de actualización del árbol delta posicional", publicado el 16 de septiembre de 2010
- ^ Héman, Sándor; Żukowski, Marcin; Nes, Niels; Sidirourgos, Lefteris; Boncz, Peter. "Manejo de actualizaciones posicionales en almacenes de columnas" (PDF) . Conferencia SIGMOD 2010 : 543–554.
- ^ "Página de inicio de Peter Boncz" . Consultado el 7 de febrero de 2016 .
- ^ "Tecnología de base de datos más rápida con MonetDB / X100" . CWI Amsterdam . Consultado el 4 de mayo de 2012 .
- ^ Héman, S .; Nes, Nueva Jersey; Zukowski, M .; Boncz, PA (2007). "Procesamiento de datos vectorizados en el motor de banda ancha celular" . Universiteit van Amsterdam . Consultado el 4 de mayo de 2012 . Cite journal requiere
|journal=
( ayuda ) - ^ "Tercer Taller Internacional sobre Gestión de Datos en Nuevo Hardware (DaMoN 2007)" . Escuela de Ciencias de la Computación de Carnegie Mellon (SCS) . Consultado el 4 de mayo de 2012 .
- ^ Zukowski, Marcin; Nes, Niels; Boncz, Peter (2008). "DSM frente a NSM". Actas del 4º taller internacional sobre gestión de datos en nuevo hardware - DaMoN '08 . pag. 47. doi : 10.1145 / 1457150.1457160 . ISBN 9781605581842.
- ^ "Cuarto Taller Internacional sobre Gestión de Datos en Nuevo Hardware (DaMoN 2008)" . Escuela de Ciencias de la Computación Carnegie Mellon . Consultado el 4 de mayo de 2012 .
- ^ "Premio al Mejor Papel 10 años - VLDB 2009" . Conferencia internacional sobre bases de datos muy grandes . Consultado el 4 de mayo de 2012 .
- ^ Boncz, Peter; Manegold, Stefan; Kersten, Martin L. (15 de junio de 1999). Arquitectura de base de datos optimizada para el nuevo cuello de botella: acceso a la memoria (PDF) . Actas de la 25ª Conferencia Internacional sobre Bases de Datos Muy Grandes . Universiteit van Amsterdam . págs. 54–65. ISBN 1-55860-615-7. Consultado el 11 de diciembre de 2013 .
- ^ Curt Monash (25 de abril de 2013). "Adiós VectorWise, adiós ParAccel?" . DBMS2 . Consultado el 11 de diciembre de 2013 .
- ^ "Peter Boncz" . Página web del personal . CWI . Consultado el 11 de diciembre de 2013 .
- ^ Clark, Don (22 de septiembre de 2011). "La empresa de software de base de datos prueba 'aplicaciones de acción ' " . El Wall Street Journal .
- ^ "Ingres Vectorwise 1.0" . Consultado el 7 de febrero de 2016 .
- ^ "Una primera mirada a Actian VectorWise 1.5" .
- ^ "TPC-H SF100 Vectorwise 1.5" .
- ^ "TPC-H SF100 Vectorwise 1.6" .
- ^ "TPC-H SF300 Vectorwise 1.6" .
- ^ "TPC-H SF1000 Vectorwise 1.6" .
- ^ "Un VectorWise aún más rápido" .
- ^ "Actian lanza Vectorwise 2.5 - la base de datos que rompe récords es ahora incluso más rápida" .
- ^ B1 Patente de EE. UU. 8825959 B1 , Michal Switakowski, Peter Boncz, Marcin Zukowski, "Método y aparato para usar la predicción del tiempo de acceso a datos para mejorar las políticas de almacenamiento en búfer de datos", publicado el 2 de septiembre de 2014
- ^ Świtakowski, Michał; Boncz, Peter; Żukowski, Marcin (agosto de 2012). "De escaneos cooperativos a la gestión de búfer predictiva" (PDF) . Actas de la Dotación VLDB . VLDB 2012. 5 (12). arXiv : 1208.4170 . Código bibliográfico : 2012arXiv1208.4170S . Consultado el 7 de febrero de 2016 .
- ^ "Actian anuncia la disponibilidad de Vectorwise 3.0 para obtener respuestas rápidas de Big Data" .
enlaces externos
- Sitio web oficial de Actian Vector
- Sitio web oficial de Actian Vector en Hadoop
- Sitio web oficial de Actian Avalanche