GPFS , abreviatura de General Parallel File System (con el nombre de marca IBM Spectrum Scale ), [1] es un software de sistema de archivos en clúster de alto rendimiento desarrollado por IBM . Se puede implementar en modos paralelos distribuidos de disco compartido o nada compartido , o una combinación de estos. Es utilizado por muchas de las empresas comerciales más grandes del mundo, así como por algunas de las supercomputadoras de la lista Top 500 . [2] Por ejemplo, es el sistema de archivos de Summit [3] en el Laboratorio Nacional de Oak Ridge.que fue la supercomputadora número 1 más rápida del mundo en la lista top500 de supercomputadoras de noviembre de 2019. [4] Summit es un sistema de 200 Petaflops compuesto por más de 9.000 microprocesadores IBM POWER y 27.000 GPU NVIDIA Volta . El sistema de archivos de almacenamiento llamado Alpine [5] tiene 250 PB de almacenamiento utilizando Spectrum Scale en hardware de almacenamiento IBM ESS, capaz de aproximadamente 2,5 TB / s de E / S secuenciales y 2,2 TB / s de E / S aleatorias.
Desarrollador (es) | IBM |
---|---|
Nombre completo | Escala de espectro de IBM |
Introducido | 1998 AIX | con
Limites | |
Max. tamaño del volumen | 8 YB |
Max. tamaño del archivo | 8 EB |
Max. Número de archivos | 2 64 por sistema de archivos |
Características | |
Permisos del sistema de archivos | POSIX |
Cifrado transparente | sí |
Otro | |
Apoyados sistemas operativos | AIX , Linux , servidor de Windows |
Al igual que los sistemas de archivos de clúster típicos, GPFS proporciona acceso simultáneo a archivos de alta velocidad a aplicaciones que se ejecutan en múltiples nodos de clústeres. Se puede utilizar con clústeres AIX , clústeres Linux , [6] en Microsoft Windows Server o un clúster heterogéneo de nodos AIX, Linux y Windows que se ejecutan en arquitecturas de procesador x86 , POWER o IBM Z. Además de proporcionar capacidades de almacenamiento del sistema de archivos, proporciona herramientas para la gestión y administración del clúster GPFS y permite el acceso compartido a los sistemas de archivos desde clústeres remotos.
Historia
GPFS comenzó como el sistema de archivos Tiger Shark , un proyecto de investigación en el Centro de Investigación de Almaden de IBM ya en 1993. Tiger Shark se diseñó inicialmente para admitir aplicaciones multimedia de alto rendimiento. Este diseño resultó ser muy adecuado para la informática científica. [7]
Otro antepasado es el sistema de archivos Vesta de IBM , desarrollado como un proyecto de investigación en el Centro de Investigación Thomas J. Watson de IBM entre 1992 y 1995. [8] Vesta introdujo el concepto de partición de archivos para adaptarse a las necesidades de aplicaciones paralelas que se ejecutan en multicomputadoras de alto rendimiento con subsistemas de E / S en paralelo . Con la partición, un archivo no es una secuencia de bytes, sino múltiples secuencias disjuntas a las que se puede acceder en paralelo. La partición es tal que abstrae el número y el tipo de nodos de E / S que albergan el sistema de archivos, y permite una variedad de vistas de archivos particionadas lógicamente, independientemente de la distribución física de los datos dentro de los nodos de E / S. Las secuencias disjuntas están organizadas para corresponder a procesos individuales de una aplicación paralela, lo que permite una escalabilidad mejorada. [9] [10]
Vesta se comercializó como el sistema de archivos PIOFS alrededor de 1994, [11] y fue reemplazado por GPFS alrededor de 1998. [12] [13] La principal diferencia entre los sistemas de archivos más antiguos y más nuevos fue que GPFS reemplazó la interfaz especializada ofrecida por Vesta / PIOFS con el API Unix estándar : todas las funciones para admitir E / S paralelas de alto rendimiento se ocultaron a los usuarios y se implementaron bajo el capó. [7] [13]
Spectrum Scale ha estado disponible en AIX de IBM desde 1998, en Linux desde 2001 y en Windows Server desde 2008.
Hoy en día es utilizado por muchas de las 500 supercomputadoras más importantes que figuran en la lista de las 500 supercomputadoras principales. Desde su inicio, se ha implementado con éxito para muchas aplicaciones comerciales, incluidos medios digitales, análisis de redes y servicios de archivos escalables.
En 2010, IBM presentó una versión preliminar de GPFS que incluía una capacidad conocida como GPFS-SNC, donde SNC significa Shared Nothing Cluster. Este fue lanzado oficialmente con GPFS 3.5 en diciembre de 2012 y ahora se conoce como FPO [14] (File Placement Optimizer). Esto le permite usar discos conectados localmente en un grupo de servidores conectados a la red en lugar de requerir servidores dedicados con discos compartidos (por ejemplo, usando una SAN). FPO es adecuado para cargas de trabajo con una alta localidad de datos, como clústeres de bases de datos no compartidas, como SAP HANA y DB2 DPF, y se puede utilizar como un sistema de archivos compatible con HDFS .
Arquitectura
Es un sistema de archivos agrupado . Divide un archivo en bloques de un tamaño configurado, de menos de 1 megabyte cada uno, que se distribuyen en varios nodos del clúster.
El sistema almacena datos en volúmenes de almacenamiento en bloque estándar, pero incluye una capa RAID interna que puede virtualizar esos volúmenes para redundancia y acceso paralelo de manera muy similar a un sistema de almacenamiento en bloque RAID. También tiene la capacidad de replicarse en todos los volúmenes en el nivel de archivo superior.
Las características de la arquitectura incluyen
- Metadatos distribuidos, incluido el árbol de directorios. No existe un único "controlador de directorio" o "servidor de índices" a cargo del sistema de archivos.
- Indexación eficiente de entradas de directorio para directorios muy grandes.
- Bloqueo distribuido. Esto permite la semántica completa del sistema de archivos POSIX , incluido el bloqueo para acceso exclusivo a archivos.
- Partición consciente. Una falla de la red puede dividir el sistema de archivos en dos o más grupos de nodos que solo pueden ver los nodos de su grupo. Esto se puede detectar a través de un protocolo de latidos, y cuando ocurre una partición, el sistema de archivos permanece activo para la partición más grande formada. Esto ofrece una degradación elegante del sistema de archivos: algunas máquinas seguirán funcionando.
- El mantenimiento del sistema de archivos se puede realizar en línea. La mayoría de las tareas de mantenimiento del sistema de archivos (agregar nuevos discos, reequilibrar datos entre discos) se pueden realizar mientras el sistema de archivos está activo. Esto asegura que el sistema de archivos esté disponible con más frecuencia, por lo que mantiene el clúster de supercomputadoras disponible durante más tiempo.
Otras características incluyen alta disponibilidad, capacidad para usarse en un clúster heterogéneo, recuperación ante desastres, seguridad, DMAPI , HSM e ILM .
En comparación con el sistema de archivos distribuido de Hadoop (HDFS)
El sistema de archivos HDFS de Hadoop está diseñado para almacenar cantidades similares o mayores de datos en hardware básico, es decir, centros de datos sin discos RAID y una red de área de almacenamiento (SAN).
- HDFS también divide los archivos en bloques y los almacena en diferentes nodos del sistema de archivos.
- GPFS tiene una semántica completa del sistema de archivos Posix.
- GPFS distribuye sus índices de directorio y otros metadatos a través del sistema de archivos. Hadoop, por el contrario, mantiene esto en los Namenodes primario y secundario, servidores grandes que deben almacenar toda la información del índice en la RAM.
- GPFS divide los archivos en pequeños bloques. A Hadoop HDFS le gustan los bloques de 64 MB o más, ya que esto reduce los requisitos de almacenamiento del Namenode. Los bloques pequeños o muchos archivos pequeños llenan los índices de un sistema de archivos rápidamente, así que limite el tamaño del sistema de archivos.
Gestión del ciclo de vida de la información
Las agrupaciones de almacenamiento permiten la agrupación de discos dentro de un sistema de archivos. Un administrador puede crear niveles de almacenamiento agrupando discos según las características de rendimiento, localidad o confiabilidad. Por ejemplo, un grupo podría ser discos de canal de fibra de alto rendimiento y otro almacenamiento SATA más económico.
Un conjunto de archivos es un subárbol del espacio de nombres del sistema de archivos y proporciona una forma de dividir el espacio de nombres en unidades más pequeñas y manejables. Los conjuntos de archivos proporcionan un límite administrativo que puede usarse para establecer cuotas y especificarse en una política para controlar la ubicación inicial de datos o la migración de datos. Los datos de un único conjunto de archivos pueden residir en uno o más grupos de almacenamiento. El lugar donde residen los datos del archivo y cómo se migran se basa en un conjunto de reglas en una política definida por el usuario.
Hay dos tipos de políticas definidas por el usuario: ubicación de archivos y administración de archivos. Las políticas de ubicación de archivos dirigen los datos del archivo a medida que se crean los archivos al grupo de almacenamiento apropiado. Las reglas de ubicación de archivos se seleccionan por atributos como el nombre de archivo, el nombre de usuario o el conjunto de archivos. Las políticas de administración de archivos permiten mover o replicar los datos del archivo o eliminar archivos. Las políticas de administración de archivos se pueden usar para mover datos de un grupo a otro sin cambiar la ubicación del archivo en la estructura del directorio. Las políticas de administración de archivos están determinadas por atributos de archivo como la hora del último acceso, el nombre de la ruta o el tamaño del archivo.
El motor de procesamiento de políticas es escalable y se puede ejecutar en muchos nodos a la vez. Esto permite que las políticas de administración se apliquen a un solo sistema de archivos con miles de millones de archivos y se completen en unas pocas horas. [ cita requerida ]
Ver también
- Alluxio
- Sistema de archivos de clúster de ASM (ACFS)
- BeeGFS
- GFS2
- Gluster
- Sistema de archivos de Google
- Lista de sistemas de archivos
- Lustre (sistema de archivos)
- MapR FS
- MooseFS
- OCFS2
- Panasas PanFS
- QFS
- Servicios de archivos escalables de IBM : NAS-grid
- Sistema de archivos de disco compartido
- Servidor de clúster de Veritas
- ZFS
Referencias
- ^ "GPFS (Sistema de archivos paralelo general)" . IBM . Consultado el 7 de abril de 2020 .
- ^ Schmuck, Frank; Roger Haskin (enero de 2002). "GPFS: un sistema de archivos de disco compartido para grandes clústeres informáticos" (PDF) . Actas de la conferencia FAST'02 sobre tecnologías de archivo y almacenamiento . Monterey, California, EE.UU .: USENIX. págs. 231–244. ISBN 1-880446-03-0. Consultado el 18 de enero de 2008 .
- ^ "Sistemas de cómputo Summit" . Laboratorio Nacional de Oak Ridge . Consultado el 7 de abril de 2020 .
- ^ "Lista top500 de noviembre de 2019" . top500.org . Consultado el 7 de abril de 2020 .
- ^ "Preguntas frecuentes sobre la Cumbre" . Laboratorio Nacional de Oak Ridge . Consultado el 7 de abril de 2020 .
- ^ Wang, Teng; Vasko, Kevin; Liu, Zhuo; Chen, Hui; Yu, Weikuan (noviembre de 2014). "BPAR: un marco de agregación paralelo basado en paquetes para ejecución de E / S desacoplada". 2014 Taller internacional sobre sistemas informáticos escalables intensivos en datos . IEEE. págs. 25–32. doi : 10.1109 / DISCS.2014.6 . ISBN 978-1-4673-6750-9. S2CID 2402391 .
- ^ a b Mayo, John M. (2000). E / S paralelas para computación de alto rendimiento . Morgan Kaufmann. pag. 92. ISBN 978-1-55860-664-7. Consultado el 18 de junio de 2008 .
- ^ Corbett, Peter F .; Feitelson, Dror G .; Prost, J.-P .; Baylor, SJ (1993). "Acceso paralelo a archivos en el sistema de archivos Vesta". Supercomputación . Portland, Oregon, Estados Unidos: ACM / IEEE. págs. 472–481. doi : 10.1145 / 169627.169786 . ISBN 978-0818643408. S2CID 46409100 .
- ^ Corbett, Peter F .; Feitelson, Dror G. (agosto de 1996). "El sistema de archivos en paralelo de Vesta" (PDF) . Transacciones en sistemas informáticos . 14 (3): 225–264. doi : 10.1145 / 233557.233558 . S2CID 11975458 . Consultado el 18 de junio de 2008 .
- ^ Teng Wang; Kevin Vasko; Zhuo Liu; Hui Chen; Weikuan Yu (2016). "Mejorar la entrada / salida en paralelo con la agregación de paquetes cruzados". Revista internacional de aplicaciones informáticas de alto rendimiento . 30 (2): 241-256. doi : 10.1177 / 1094342015618017 . S2CID 12067366 .
- ^ Corbett, PF; DG Feitelson; J.-P. Prost; GS Almasi; SJ Baylor; AS Bolmarcich; Y. Hsu; J. Satran; M. Snir; R. Colao; BD Herr; J. Kavaky; TR Morgan; A. Zlotek (1995). "Sistemas de archivos paralelos para los equipos IBM SP" (PDF) . Revista de sistemas de IBM . 34 (2): 222–248. CiteSeerX 10.1.1.381.2988 . doi : 10.1147 / sj.342.0222 . Consultado el 18 de junio de 2008 .
- ^ Barris, Marcelo; Terry Jones; Scott Kinnane; Mathis Landzettel Safran Al-Safran; Jerry Stevens; Christopher Stone; Chris Thomas; Ulf Troppens (septiembre de 1999). Dimensionamiento y ajuste de GPFS (PDF) . IBM Redbooks, Organización Internacional de Soporte Técnico. consulte la página 1 ( "GPFS es el sucesor del sistema de archivos PIOFS" ).
- ^ a b Snir, Marc (junio de 2001). "Sistemas paralelos escalables: Contribuciones 1990-2000" (PDF) . Seminario HPC, Departamento de Arquitectura de Computadores, Universitat Politècnica de Catalunya . Consultado el 18 de junio de 2008 .
- ^ "IBM GPFS FPO (DCS03038-USEN-00)" (PDF) . IBM Corporation. 2013 . Consultado el 12 de agosto de 2012 .[ enlace muerto permanente ]
enlaces externos
- IBM Spectrum Scale en Almaden
- Grupo de usuarios de escala de espectro
- Documentación del producto IBM Spectrum Scale