El sistema de archivos Blue Whale Clustered ( BWFS ) es un sistema de archivos de disco compartido (también llamado sistema de archivos agrupado , sistemas de archivos de almacenamiento compartido o sistema de archivos SAN ) fabricado por Tianjin Zhongke Blue Whale Information Technologies Company en China .
Descripción general
BWFS permite el acceso simultáneo a archivos en plataformas heterogéneas y la creación, almacenamiento y uso compartido de archivos de alto rendimiento. BWFS se instala en hosts que están conectados a la misma matriz de discos en una red de área de almacenamiento (SAN). No es necesario que los sistemas cliente ejecuten el mismo sistema operativo para acceder a un sistema de archivos compartido que contenga datos de StorNext. A partir de enero de 2010, los sistemas operativos con el software de cliente disponibles son Microsoft Windows , Linux , y Mac OS X .
BWFS puede convertir muchas matrices de discos FibreChannel o iSCSI en un clúster de almacenamiento que admite varios servidores para el procesamiento paralelo, proporciona un servicio de intercambio de archivos extensible y de alto rendimiento, y mantiene el flujo de trabajo o las aplicaciones de varias máquinas en un entorno de clúster.
El sistema de archivos BWFS se realiza en el modo de acceso directo a los datos. Los datos de archivos compartidos acceden directamente a la matriz de discos FC o iSCSI a través de la red SAN para transferir datos omitiendo el servidor de archivos o el cabezal NAS, lo que muestra completamente la ventaja del alto ancho de banda del entorno SAN. BWFS permite una gran mejora de la capacidad de procesamiento del sistema para archivos simultáneos sin cambiar el entorno de la aplicación de front-end y la condición de la SAN de back-end.
BWFS respalda el MDC de estructura redundante (controlador de metadatos), proporcionando un excelente rendimiento y capacidades de alta disponibilidad, combinado con la infraestructura SAN para brindar confiabilidad del sistema y seguridad de datos para el almacenamiento a nivel empresarial.
Proceso de acceso a datos
BWFS que admite una plataforma heterogénea de sistemas operativos múltiples, lo que permite que varios servidores accedan simultáneamente al mismo conjunto de discos y archivos sin importar el tipo de su respectivo sistema de archivos. Actualmente, BWFS admite una variedad de plataformas Linux de clase empresarial y Windows 2000, Windows XP y Windows 2003. Con el objetivo de diferentes sistemas operativos, BWFS tiene diferentes programas cliente, algunos de los cuales pueden identificar y proporcionar acceso al sistema de archivos compartidos BWFS. y garantizar una presentación coherente del sistema de archivos en diferentes sistemas operativos. Las solicitudes de IO se pueden manejar correctamente.
Cuando varios servidores acceden simultáneamente al mismo sistema de archivos, se necesita cierto mecanismo para evitar que dos servidores escriban en la misma ubicación de disco. También debe asegurarse de que cierto servidor no lea contenido diferente en el archivo de lectura mientras otro servidor está actualizando este archivo. En BWFS, dicho mecanismo y función es proporcionado por MetaData Controller.
MDC es responsable de coordinar el acceso del servidor al sistema de archivos BWFS, ubicado fuera de la ruta de lectura y escritura de los datos del archivo. El cliente se comunica a través de enlaces IP separados y MDC para obtener la ubicación de los archivos y la información de asignación de recursos del bloque de datos. Y luego, a través de la red SAN, el disco se lee y escribe directamente en modo de nivel de bloque. Este diseño de arquitectura se denomina "trama de transmisión fuera de banda" o "arquitectura asimétrica" en términos técnicos:
El proceso de acceso a los datos se puede desglosar de la siguiente manera:
- El programa de aplicación emite una solicitud de escritura
- El cliente BWFS envía una solicitud operativa a MDC a través de LAN
- MDC procesa esta solicitud y responde al cliente para qué bloques de disco se pueden leer en datos a través de LAN.
- El cliente BWFS escribe datos directamente en el sistema de archivos a la velocidad de la línea.
BWFS está diseñado sobre la base del entorno SAN, lo que permite que una gran cantidad de servidores o estaciones de trabajo que se conectan a FC SAN o IP SAN (iSCSI) accedan directamente al mismo sistema de archivos. BWFS FC puede usar uno o más enlaces FC para acceder a los recursos del disco, de modo que el rendimiento de E / S de un solo servidor puede extenderse a varios GB / s desde más de 100 MB / s simplemente aumentando la tarjeta FC HBA.
Por supuesto, el rendimiento general de un sistema no solo es relevante para el rendimiento del host y la red, sino que también está influenciado por el rendimiento del disco que constituye el sistema de archivos. Por lo tanto, el LUN puede estructurar el sistema de archivos BWFS a partir de varias matrices de discos. Equivale a otra capa de RAID estructurada entre varias matrices de discos, lo que maximiza el rendimiento de las matrices de discos.
Otro factor de rendimiento que debe considerarse es la ubicación de los metadatos. Un archivo consta de datos y metadatos reales. Los datos reales son el contenido de un archivo, mientras que los metadatos incluyen atributos de archivo, permisos, etc. Cuando se crea, modifica o elimina un archivo, la información de metadatos se modificará, lo que significa que un archivo se procesa leyendo tanto los datos del archivo como los metadatos. Por lo general, los archivos grandes se leen y escriben continuamente, mientras que los metadatos se leerán moviendo la cabeza del disco magnético a otra ubicación. Para el disco, su modo de lectura y escritura es mucho mayor que el grado de aleatoriedad. Si los datos y metadatos se memorizan en el mismo disco (modo de la mayoría de los sistemas de archivos), el grado de aleatoriedad de los archivos grandes se mejorará en consecuencia para reducir el rendimiento de lectura y escritura. Por esta razón, el sistema de archivos BWFS memoriza metadatos en diferentes discos o volúmenes en el diseño, de modo que la lectura y escritura continuas del archivo se separan con la aleatoriedad de los metadatos. No se influyen mutuamente, de modo que proporcionen un mayor ancho de banda de E / S tanto como sea posible.
Además, después de la separación de datos y metadatos, los datos y metadatos se pueden procesar de forma independiente en diferentes hosts sin ocupar el ancho de banda del canal de datos, lo que puede mejorar la concurrencia de datos y metadatos para mejorar aún más el rendimiento del sistema de archivos.
Comercialización
Una publicación de Gartner de 2006 decía:
"BWFS, un sistema de archivos de clúster de protocolo de Internet (IP) (CFS), ha ido más allá del laboratorio de investigación y ha entrado en la etapa de comercialización, y ahora se ha implementado con éxito en diversas industrias, incluidas las de energía, automotriz, militar y de medios. Su El éxito demuestra las fortalezas de los institutos de investigación de China en el ámbito de la tecnología, a pesar de su relativa falta de experiencia comercial y recursos de inversión en comparación con muchos proveedores de tecnología occidentales. Aunque los CFS aún no prevalecen en el mercado de almacenamiento convencional, para algunos usuarios que necesitan una gran cantidad de insumos / rendimiento de E / S de salida - especialmente aplicaciones de vanguardia como petróleo y gas, biotecnología y diseño asistido por computadora (CAD) - BWFS ofrece una buena solución de precio / rendimiento. Los usuarios también deben considerar BWFS si buscan un CFS de menor precio .Los usuarios que necesitan una solución más comercial, o que les gusta tener una interfaz más "lista para usar", deben considerar otros proveedores como Panasas, Isilon e Ibrix en lugar de que BWFS ". [1]
BWFS se desarrolló en los Centros Nacionales de Investigación de Computadoras de Alto Rendimiento de la Academia de Ciencias de China . En 2007, FalconStor anunció una empresa conjunta para vender el software. [2] La empresa conjunta se denominó Tianjin Zhongke Blue Whale Information Technologies Company, ubicada en Tianjin , China . [3] La empresa de capital riesgo VantagePoint Capital también realizó una inversión. [4] Se anunció que BWFS se usaría para video de un satélite destinado a cubrir los Juegos Olímpicos de Verano de 2008 . [5]
Ver también
Referencias
- ^ Jimmie Chang (28 de septiembre de 2006). "Dataquest Insight: el estudio de caso del laboratorio de investigación de China muestra los beneficios de la tecnología avanzada 'de cosecha propia'" . Número de identificación: G00142484 . Gartner . pag. 2.
- ^ James Rogers (27 de octubre de 2007). "FalconStor lanza China Venture" . Computación en red . Archivado desde el original el 19 de marzo de 2012 . Consultado el 15 de julio de 2011 .
- ^ "CAS une fuerzas con FalconStor" . Comunicado de prensa . 26 de octubre de 2007. Archivado desde el original el 19 de marzo de 2012 . Consultado el 15 de julio de 2011 .
- ^ "BlueWhale" . Cartera: Asia . Socios de capital de VantagePoint. Archivado desde el original el 2 de octubre de 2011 . Consultado el 15 de julio de 2011 .
- ^ "Sistema de archivos de ballena azul que se utilizará para el satélite olímpico " . Academia china de ciencias. 21 de junio de 2006. Archivado desde el original el 27 de septiembre de 2011 . Consultado el 15 de julio de 2011 .
Otras lecturas
- Zhenhan Liu, Xiaoxuan Meng, Lu Xu. Gestión de bloqueo en el sistema de archivos de ballena azul. En Actas de la 2da Conferencia Internacional sobre Ciencias de la Interacción: Tecnología de la Información, Cultura y Humanos (ICIS 2009)
- Zhenhan Liu, Xiaoxuan Meng, Lu Xu (2009). "Optimización del rendimiento en cargas de trabajo intensivas de archivos pequeños en BWFS". Conferencia internacional sobre computación distribuida y paralela, aplicaciones y tecnologías : 154-159. doi : 10.1109 / PDCAT.2009.60 .Mantenimiento de CS1: utiliza el parámetro de autores ( enlace )
- Liu Shi, Jingliang Zhang, Lu Xu (2010). "Aislamiento de datos basado en el cliente del sistema de archivos Blue Whale en un campo de edición no lineal". Actas de la 12ª Conferencia Internacional IEEE sobre Computación y Comunicaciones de Alto Rendimiento : 49–54. doi : 10.1109 / HPCC.2010.39 .Mantenimiento de CS1: utiliza el parámetro de autores ( enlace )
- Un asignador de losas de almacenamiento para la gestión del almacenamiento en disco en el sistema de archivos [Q] , NAS'09,2009
- Lu Xu, Hongyuan Ma, Zhenjun Liu, Huan Zhang, Shuo Feng, Xiaoming Han, "Experiences with Hierarchical Storage Management Support in Blue Whale File System", pdcat, págs. 369–374, Conferencia internacional de 2010 sobre informática distribuida y paralela, aplicaciones y tecnologías, 2010
enlaces externos
- "海量 数据 高性能 存储 产品 与 解决 方案 提供商" . sitio web oficial (en chino). Archivado desde el original el 20 de agosto de 2011 . Consultado el 15 de julio de 2011 .