Comparación de sistemas de archivos distribuidos

En informática, un sistema de archivos distribuido (DFS) o sistema de archivos de red es cualquier sistema de archivos que permite el acceso a archivos de varios hosts compartidos a través de una red informática . Esto hace posible que varios usuarios de varias máquinas compartan archivos y recursos de almacenamiento.

Los sistemas de archivos distribuidos difieren en su rendimiento, mutabilidad de contenido, manejo de escrituras concurrentes, manejo de pérdida permanente o temporal de nodos o almacenamiento, y su política de almacenamiento de contenido.

Administrado localmente [ editar ]

FOSS [ editar ]

Cliente	Escrito en	Licencia	API de acceso	Alta disponibilidad	Fragmentos	Redundancia eficiente	Granularidad de redundancia	Año de lanzamiento inicial	Requisitos de memoria (GB)
Alluxio (sistema de archivos distribuido virtual)	Java	Licencia Apache 2.0	HDFS , FUSIBLE , HTTP / REST , S3	espera caliente	No	Replicación ^[1]	Archivo ^[2]	2013
Ceph	C ++	LGPL	librados (C, C ++, Python, Ruby), S3 , Swift, FUSE	sí	sí	Códigos de borrado conectables ^[3]	Piscina ^[4]	2010	1 por TB de almacenamiento
Coda	C	GPL	C	sí	sí	Replicación	Volumen ^[5]	1987
GlusterFS	C	GPLv3	libglusterfs, FUSE , NFS, SMB, Swift, libgfapi	espejo	No	Reed-Solomon ^[6]	Volumen ^[7]	2005
HDFS	Java	Licencia Apache 2.0	Cliente Java y C, HTTP, FUSE ^[8]	conmutación por error maestra transparente	No	Reed-Solomon ^[9]	Archivo ^[10]	2005
IPFS	Ir	Apache 2.0 o MIT	Puerta de enlace HTTP , FUSE , cliente Go , cliente Javascript , herramienta de línea de comandos	sí	con clúster IPFS	Replicación ^[11]	Bloquear ^[12]	2015 ^[13]
JugoFS	Ir	AGPLv3	POSIX , FUSIBLE , HDFS , S3	sí	No	Reed-Solomon	Objeto	2021
Kertish-DFS	Ir	GPLv3	HTTP (REST), CLI, cliente C #, cliente Go	sí		Replicación		2020
LizardFS	C ++	GPLv3	POSIX , FUSE , NFS-Ganesha , Ceph FSAL (a través de libcephfs)	Maestro	No	Reed-Solomon ^[14]	Archivo ^[15]	2013
Lustre	C	GPLv2	POSIX , NFS-Ganesha , NFS , SMB	sí	sí	Sin redundancia ^[16]	Sin redundancia ^[17]	2003
MinIO	Ir	Licencia Apache 2.0	API de AWS S3	sí	sí	Reed-Solomon ^[18]	Objeto ^[19]	2014
MooseFS	C	GPLv2	POSIX , FUSIBLE	Maestro	No	Replicación ^[20]	Archivo ^[21]	2008
OpenAFS	C	Licencia pública de IBM	Sistema de archivos virtual , sistema de archivos instalable			Replicación	Volumen ^[22]	2000 ^[23]
OpenIO ^[24]	C	AGPLv3 / LGPLv3	Nativo ( Python , C , Java ), HTTP / REST , S3 , Swift , FUSE ( POSIX , NFS , SMB , FTP )	sí		Códigos de borrado conectables ^[25]	Objeto ^[26]	2015	0,5
Ori ^[27]	C, C ++	MIT	libori, FUSIBLE			Replicación	Sistema de archivos ^[28]	2012
Quantcast Sistema de archivos	C	Licencia Apache 2.0	Cliente C ++, FUSE (servidor C ++: MetaServer y ChunkServer están en C ++)	Maestro	No	Reed-Solomon ^[29]	Archivo ^[30]	2012
RozoFS	C, Python	GPLv2	FUSIBLE , SMB , NFS , clave / valor	sí		Mojette ^[31]	Volumen ^[32]	2011 ^[33]
Algas marinasFS	Ir, Java	Licencia Apache 2.0	HTTP ( REST ), POSIX , FUSE , S3 , HDFS	requiere CockroachDB, configuración indocumentada		Reed-Solomon ^[34]	Volumen ^[35]	2015
Tahoe-LAFS	Pitón	GNU GPL ^[36]	HTTP (navegador o CLI ), SFTP , FTP , FUSE a través de SSHFS , pyfilesystem			Reed-Solomon ^[37]	Archivo ^[38]	2007
XtreemFS	Java, C ++	Licencia BSD	libxtreemfs (Java, C ++), FUSE			Replicación ^[39]	Archivo ^[40]	2009

Propietario [ editar ]

Cliente	Escrito en	Licencia	API de acceso
BeeGFS	C / C ++	EULA de FRAUNHOFER FS (FhGFS), ^[41] Cliente GPLv2	POSIX
ObjectiveFS ^[42]	C	Propiedad	POSIX , FUSIBLE
Escala de espectro (GPFS)	C, C ++	Propiedad	POSIX , NFS, SMB , Swift, S3 , HDFS
MapR-FS	C, C ++	Propiedad	POSIX , NFS , FUSIBLE , S3 , HDFS , CLI
PanFS	C, C ++	Propiedad	DirectFlow , POSIX , NFS , SMB / CIFS , HTTP , CLI
Infinito ^[43]	C ++	Propietario (de código abierto) ^[44]	FUSE , sistema de archivos instalable , NFS / SMB , POSIX , CLI , SDK (libinfinit)
Isilon OneFS	C / C ++	Propiedad	POSIX , NFS , SMB / CIFS , HDFS , HTTP , FTP , objeto SWIFT, CLI , API de descanso
Escalidad	C	Propiedad	FUSIBLE , NFS , DESCANSO , AWS S3
Quobyte	Java, C ++	Propiedad	POSIX , FUSE , NFS , SMB / CIFS , HDFS , AWS S3 , complemento de TensorFlow , CLI , API de descanso

Acceso remoto [ editar ]

Nombre	Contener	API de acceso
Amazon S3	Amazon.com	HTTP ( REST / SOAP )
Almacenamiento en la nube de Google	Google	HTTP ( REST )
SWIFT (parte de OpenStack )	Rackspace , Hewlett-Packard , otros	HTTP ( REST )
Microsoft Azure	Microsoft	HTTP ( REST )
Almacenamiento de objetos de IBM Cloud	IBM (anteriormente Cleversafe ) ^[45]	HTTP ( REST )

Comparación [ editar ]

Algunos investigadores han realizado un análisis funcional y experimental de varios sistemas de archivos distribuidos, incluidos HDFS, Ceph, Gluster, Lustre y la versión anterior (1.6.x) de MooseFS, aunque este documento es de 2013 y mucha información está desactualizada (por ejemplo, MooseFS tenía no HA para el servidor de metadatos en ese momento). ^[46]

El almacenamiento distribuido remoto basado en la nube de los principales proveedores tiene diferentes API y diferentes modelos de consistencia. ^[47]

Ver también [ editar ]

Sistema de archivos distribuido
Lista de sistemas de archivos, la sección de sistemas de archivos distribuidos

Referencias [ editar ]

^ "Almacenamiento en caché: gestión de la replicación de datos en Alluxio" .
^ "Almacenamiento en caché: gestión de la replicación de datos en Alluxio" .
^ "Perfiles de código de borrado" .
^ "Piscinas" .
^ Satyanarayanan, Mahadev; Kistler, James J .; Kumar, Puneet; Okasaki, Maria E .; Siegel, Ellen H .; Steere, David C. "Coda: un sistema de archivos de alta disponibilidad para un entorno de estación de trabajo distribuida" (PDF) . Cite journal requiere |journal=( ayuda )
^ "Implementación de codificación de borrado" .
^ "Configuración de volúmenes de GlusterFS" .
^ "HDFS montable" .
^ "Soporte de codificación de borrado HDFS-7285 dentro de HDFS" .
^ "Apache Hadoop: setrep" .
^ Plan de codificación de borrado : "Capa Reed-Solomon sobre IPFS # 196" ., "Borrado de la capa de codificación n. ° 6" .
^ "Comandos CLI: lista de deseos ipfs bitswap" .
^ "Por qué Internet necesita IPFS antes de que sea demasiado tarde" .
^ "Configuración de modos de replicación" .
^ "Configuración de modos de replicación: establecer y mostrar el objetivo de un archivo / directorio" .
^ "Manual de operaciones de brillo: qué es un sistema de archivos de brillo (y qué no es)" . Reed-Solomon en curso: "LU-10911 FLR2: Codificación de borrado" .
^ "Manual de operaciones de brillo: qué es un sistema de archivos de brillo (y qué no es)" . Plan de redundancia a nivel de archivo: "Arquitectura de solución de redundancia a nivel de archivo" .
^ "Guía de inicio rápido del código de borrado de MinIO" .
^ "Guía de inicio rápido de la clase de almacenamiento MinIO" .
^ Solo disponible en la versión propietaria 4.x "[característica] codificación de borrado # 8" .
^ "mfsgoal (1)" .
^ "Replicar volúmenes (crear volúmenes de solo lectura)" .
^ https://www.openafs.org/release/openafs-1.0.html
^ "Documentación de OpenIO SDS" . docs.openio.io .
^ "Codificación de borrado" .
^ "Declarar políticas de almacenamiento" .
^ "Ori: un sistema de archivos distribuido seguro" .
^ Mashtizadeh, Ali Jose; Bittau, Andrea; Huang, Yifeng Frank; Mazières, David. "Replicación, historia e injerto en el sistema de archivos Ori" (PDF) . Cite journal requiere |journal=( ayuda )
^ "El sistema de archivos de Quantcast" (PDF) .
^ "qfs / src / cc / tools / cptoqfs_main.cc" .
^ "Acerca de RozoFS: Transformación de Mojette" .
^ "Configuración de RozoFS: archivo de configuración exportado" .
^ "Confirmación inicial" .
^ "Codificación de borrado para almacenamiento en caliente" .
^ "Replicación" .
^ "Acerca de Tahoe-LAFS" .
^ "zfec - una implementación C rápida de codificación de borrado Reed-Solomon" .
^ "Arquitectura de Tahoe-LAFS: codificación de archivos" .
^ "Bajo el capó: replicación de archivos" .
^ "Inicio rápido: replicar un archivo" .
^ "ACUERDO DE LICENCIA DE USUARIO FINAL DE FRAUNHOFER FS (FhGFS)" . Sociedad Fraunhofer . 2012-02-22.
^ "Sitio web oficial de ObjectiveFS" .
^ "La plataforma de almacenamiento Infinit" .
^ "Proyectos de código abierto de Infinit" .
^ "IBM planea adquirir Cleversafe para almacenamiento de objetos en la nube" . www-03.ibm.com . 2015-10-05 . Consultado el 6 de mayo de 2019 .
↑ Séguin, Cyril; Depardon, Benjamin; Le Mahec, Gaël. "Análisis de seis sistemas de archivos distribuidos" (PDF) . HAL .
^ "Modelos de coherencia de datos de los servicios de almacenamiento en la nube pública: Amazon S3, Google Cloud Storage y Windows Azure Storage" . SysTutorials . Consultado el 19 de junio de 2017 .

Este artículo relacionado con el almacenamiento informático es un resguardo . Puedes ayudar a Wikipedia expandiéndolo .

[1] "Almacenamiento en caché: gestión de la replicación de datos en Alluxio" .

[2] "Almacenamiento en caché: gestión de la replicación de datos en Alluxio" .

[3] "Perfiles de código de borrado" .

[4] "Piscinas" .

[5] Satyanarayanan, Mahadev; Kistler, James J .; Kumar, Puneet; Okasaki, Maria E .; Siegel, Ellen H .; Steere, David C. "Coda: un sistema de archivos de alta disponibilidad para un entorno de estación de trabajo distribuida" (PDF) . Cite journal requiere |journal=( ayuda )

[6] "Implementación de codificación de borrado" .

[7] "Configuración de volúmenes de GlusterFS" .

[8] "HDFS montable" .

[9] "Soporte de codificación de borrado HDFS-7285 dentro de HDFS" .

[10] "Apache Hadoop: setrep" .

[11] Plan de codificación de borrado : "Capa Reed-Solomon sobre IPFS # 196" ., "Borrado de la capa de codificación n. ° 6" .

[12] "Comandos CLI: lista de deseos ipfs bitswap" .

[13] "Por qué Internet necesita IPFS antes de que sea demasiado tarde" .

[14] "Configuración de modos de replicación" .

[15] "Configuración de modos de replicación: establecer y mostrar el objetivo de un archivo / directorio" .

[16] "Manual de operaciones de brillo: qué es un sistema de archivos de brillo (y qué no es)" . Reed-Solomon en curso: "LU-10911 FLR2: Codificación de borrado" .

[17] "Manual de operaciones de brillo: qué es un sistema de archivos de brillo (y qué no es)" . Plan de redundancia a nivel de archivo: "Arquitectura de solución de redundancia a nivel de archivo" .

[18] "Guía de inicio rápido del código de borrado de MinIO" .

[19] "Guía de inicio rápido de la clase de almacenamiento MinIO" .

[20] Solo disponible en la versión propietaria 4.x "[característica] codificación de borrado # 8" .

[21] "mfsgoal (1)" .

[22] "Replicar volúmenes (crear volúmenes de solo lectura)" .

[23] ttps://www.openafs.org/release/openafs-1.0.html

[24] "Documentación de OpenIO SDS" . docs.openio.io .

[25] "Codificación de borrado" .

[26] "Declarar políticas de almacenamiento" .

[27] "Ori: un sistema de archivos distribuido seguro" .

[28] Mashtizadeh, Ali Jose; Bittau, Andrea; Huang, Yifeng Frank; Mazières, David. "Replicación, historia e injerto en el sistema de archivos Ori" (PDF) . Cite journal requiere |journal=( ayuda )

[29] "El sistema de archivos de Quantcast" (PDF) .

[30] "qfs / src / cc / tools / cptoqfs_main.cc" .

[31] "Acerca de RozoFS: Transformación de Mojette" .

[32] "Configuración de RozoFS: archivo de configuración exportado" .

[33] "Confirmación inicial" .

[34] "Codificación de borrado para almacenamiento en caliente" .

[35] "Replicación" .

[36] "Acerca de Tahoe-LAFS" .

[37] "zfec - una implementación C rápida de codificación de borrado Reed-Solomon" .

[38] "Arquitectura de Tahoe-LAFS: codificación de archivos" .

[39] "Bajo el capó: replicación de archivos" .

[40] "Inicio rápido: replicar un archivo" .

[41] "ACUERDO DE LICENCIA DE USUARIO FINAL DE FRAUNHOFER FS (FhGFS)" . Sociedad Fraunhofer . 2012-02-22.

[42] "Sitio web oficial de ObjectiveFS" .

[43] "La plataforma de almacenamiento Infinit" .

[44] "Proyectos de código abierto de Infinit" .

[45] "IBM planea adquirir Cleversafe para almacenamiento de objetos en la nube" . www-03.ibm.com . 2015-10-05 . Consultado el 6 de mayo de 2019 .

[46] Séguin, Cyril; Depardon, Benjamin; Le Mahec, Gaël. "Análisis de seis sistemas de archivos distribuidos" (PDF) . HAL .

[47] "Modelos de coherencia de datos de los servicios de almacenamiento en la nube pública: Amazon S3, Google Cloud Storage y Windows Azure Storage" . SysTutorials . Consultado el 19 de junio de 2017 .

[1]