InfiniBand ( IB ) es un estándar de comunicaciones de redes informáticas utilizado en la informática de alto rendimiento que presenta un rendimiento muy alto y una latencia muy baja . Se utiliza para la interconexión de datos entre y dentro de las computadoras. InfiniBand también se utiliza como interconexión directa o conmutada entre servidores y sistemas de almacenamiento, así como como interconexión entre sistemas de almacenamiento. Está diseñado para ser escalable y utiliza una topología de red de estructura conmutada .
A partir de 2014 [actualizar], era la interconexión más utilizada en supercomputadoras. En 2016, Ethernet reemplazó a InfiniBand como el sistema de interconexión más popular de las supercomputadoras TOP500 . [1]
Mellanox (ahora Nvidia Networking) fabrica adaptadores de bus de host y conmutadores de red InfiniBand y, en febrero de 2016, se informó que Oracle Corporation había diseñado sus propias unidades de conmutador InfiniBand y chips adaptadores de servidor para su uso en sus propias líneas de productos y por terceros. [2] Las tarjetas Mellanox IB están disponibles para Solaris , FreeBSD , [3] [4] RHEL , SLES , Windows , HP-UX , VMware ESX , [5] y AIX . [6]
Como interconexión, IB compite con Ethernet , Fibre Channel e Intel Omni-Path .
La tecnología es promovida por InfiniBand Trade Association .
Especificación
Actuación
DEG | DDR | QDR | FDR10 | FDR | EDR | HDR | NDR | XDR | ||
---|---|---|---|---|---|---|---|---|---|---|
Tasa de señalización (Gbit / s) | 2,5 | 5 | 10 | 10.3125 | [7] | 14.062525.78125 | 50 | 100 | 250 | |
Rendimiento efectivo teórico ( Gb / s ) [8] | para | 1 enlace2 | 4 | 8 | 10 | 13,64 | 25 | 50 | 100 | 250 |
para | 4 enlaces8 | 16 | 32 | 40 | 54,54 | 100 | 200 | 400 | 1000 | |
para | 8 enlaces16 | 32 | 64 | 80 | 109,08 | 200 | 400 | 800 | 2000 | |
para 12 enlaces | 24 | 48 | 96 | 120 | 163,64 | 300 | 600 | 1200 | 3000 | |
Codificación ( bits ) | 8b / 10b | 64b / 66b | PAM4 | tbd | ||||||
Latencia del adaptador ( µs ) [9] | 5 | 2,5 | 1,3 | 0,7 | 0,7 | 0,5 | ¿menos? | tbd | tbd | |
Año [10] | 2001, 2003 | 2005 | 2007 | 2011 | 2011 | 2014 [11] | 2018 [11] | 2021 [11] | después de 2023? |
Los enlaces se pueden agregar: la mayoría de los sistemas utilizan un agregado 4 ×. Los enlaces de 8 × y 12 × se utilizan normalmente para interconexiones de clústeres y supercomputadoras y para conexiones entre conmutadores .
InfiniBand también proporciona capacidades RDMA para una sobrecarga de CPU baja.
Topología
InfiniBand utiliza una topología de estructura conmutada , a diferencia de los primeros medios de Ethernet compartidos . Todas las transmisiones comienzan o terminan en un adaptador de canal. Cada procesador contiene un adaptador de canal de host (HCA) y cada periférico tiene un adaptador de canal de destino (TCA). Estos adaptadores también pueden intercambiar información por seguridad o calidad de servicio (QoS).
Mensajes
InfiniBand transmite datos en paquetes de hasta 4 KB que se toman juntos para formar un mensaje. Un mensaje puede ser:
- un acceso remoto directo a la memoria de lectura o escritura
- un canal enviar o recibir
- una operación basada en transacciones (que se puede revertir)
- una transmisión de multidifusión
- una operación atómica
Interconexión física
Además de una conexión de factor de forma de placa, puede utilizar cobre activo y pasivo (hasta 10 metros) y cable de fibra óptica (hasta 10 km). [12] Se utilizan conectores QSFP .
La Asociación InfiniBand también especificó el sistema de conectores CXP para velocidades de hasta 120 Gbit / s sobre cobre, cables ópticos activos y transceptores ópticos que utilizan cables de fibra multimodo paralelos con conectores MPO de 24 fibras. [ cita requerida ]
API
InfiniBand no tiene una API estándar . El estándar solo enumera un conjunto de verbos como ibv_open_device
o ibv_post_send
, que son representaciones abstractas de funciones o métodos que deben existir. La sintaxis de estas funciones se deja a los proveedores. A veces, como referencia, esto se denomina API de verbos . La pila de software estándar de facto es desarrollada por OpenFabrics Alliance . Se publica bajo dos licencias GPL2 o BSD para Linux y FreeBSD, y como Mellanox OFED para Windows (nombres de producto: WinOF / WinOF-2; atribuido como controlador de controlador de host para conectar dispositivos ConnectX 3 a 5 específicos) [13] bajo un elección de la licencia BSD para Windows. Ha sido adoptado por la mayoría de los proveedores de InfiniBand para Linux , FreeBSD y Windows . IBM afirma esto en su centro de conocimientos sobre la API de verbos :
- Un AIX aplicación ® puede determinar la API verbos que es o bien la Abrir Telas Empresa de distribución ( OFED verbos) o los verbos AIX InfiniBand (IB) que deben comunicarse con un destino específico. [14]
Una presentación de Mellanox Technologies, con fecha de 2014, con el título "Tutorial de programación de verbos" dice en la página 31: [15]
- libibverbs , desarrollado y mantenido por Roland Dreier desde 2006, son de facto el estándar API de verbos en * nix
- Desarrollado como código abierto
- La parte del kernel de los verbos está integrada en el kernel de Linux desde 2005 - Kernel 2.6.11
- Bandeja de entrada en varias distribuciones * nix
- Hay bibliotecas de nivel bajo de varios proveedores de hardware
Historia
InfiniBand se originó en 1999 a partir de la fusión de dos diseños competidores: Future I / O y Next Generation I / O. Esto llevó a la formación de la InfiniBand Trade Association (IBTA), que incluía Compaq , Dell , Hewlett-Packard , IBM , Intel , Microsoft y Sun . En ese momento se pensó que algunas de las computadoras más poderosas se estaban acercando al cuello de botella de interconexión del bus PCI , a pesar de actualizaciones como PCI-X . [16] La versión 1.0 de la especificación de arquitectura InfiniBand se lanzó en 2000. Inicialmente, la visión de IBTA para IB fue simultáneamente un reemplazo para PCI en E / S, Ethernet en la sala de máquinas , interconexión de clúster y canal de fibra . IBTA también previó la descomposición del hardware del servidor en una estructura IB . Tras el estallido de la burbuja de las puntocom, hubo dudas en la industria para invertir en un salto tecnológico de tan gran alcance. [17]
Cronología
- 2001: Mellanox envía dispositivos InfiniBridge 10Gbit / sy envía más de 10,000 puertos InfiniBand. [18]
- 2002: la adopción sufre un revés cuando Intel anuncia que en lugar de enviar chips IB se centraría en desarrollar PCI Express , y Microsoft interrumpe el desarrollo IB a favor de extender Ethernet, aunque Sun e Hitachi continúan apoyando IB. [19]
- 2003: Virginia Tech construye un clúster InfiniBand clasificado como el número tres en el Top500 en ese momento.
- 2004: IB comienza a ver la adopción como una interconexión en clúster, superando a Ethernet en latencia y precio. [17] El OpenFabrics Alianza desarrolla un conjunto de software InfiniBand basado en Linux estandarizado. Al año siguiente, Linux agrega soporte IB. [20]
- 2005: IB comienza a implementarse como interconexión para dispositivos de almacenamiento. [21]
- 2009: de las 500 mejores supercomputadoras del mundo, Gigabit Ethernet es la tecnología de interconexión interna en 259 instalaciones, en comparación con 181 que utilizan InfiniBand. [22]
- 2010: Los líderes del mercado Mellanox y Voltaire se fusionan, dejando solo otro proveedor de IB, QLogic , principalmente un proveedor de canal de fibra. [23] Oracle realiza una importante inversión en Mellanox.
- 2011: Se anuncian los conmutadores y adaptadores FDR en la Conferencia Internacional de Supercomputación . [24]
- 2012: Intel adquiere la tecnología InfiniBand de QLogic. [25]
- 2016: Oracle Corporation fabrica sus propios chips de interconexión y unidades de conmutación InfiniBand. [26]
- 2019: Nvidia adquirió Mellanox por $ 6.9 mil millones [27]
Ethernet sobre InfiniBand
Ethernet sobre InfiniBand, abreviado como EoIB, es una implementación de Ethernet sobre el protocolo InfiniBand y la tecnología de conectores.
EoIB permite múltiples anchos de banda Ethernet que varían en la versión InfiniBand (IB).
La implementación de Ethernet de Internet Protocol Suite , generalmente conocida como TCP / IP, es diferente a algunas de las implementaciones utilizadas en la parte superior del protocolo InfiniBand en IP sobre IB (IPoIB).
Tipo | Carriles | Ancho de banda (Gbit / s) | Tipos de Ethernet compatibles | Cantidad de Ethernet compatible |
---|---|---|---|---|
DEG | 1 | 2,5 | GbE a 2,5 GbE | 2 × GbE a 1 × 2,5 GbE |
4 | 10 | GbE a 10 GbE | 10 × GbE a 1 × 10 GbE | |
8 | 20 | GbE a 10 GbE | De 20 × GbE a 2 × 10 GbE | |
12 | 30 | GbE a 25 GbE | 30 × GbE a 1 × 25 GbE + 1 × | 5 GbE|
DDR | 1 | 5 | GbE a 5 GbE | 5 × GbE a 1 × 5 GbE |
4 | 20 | GbE a 10 GbE | De 20 × GbE a 2 × 10 GbE | |
8 | 40 | GbE a 40 GbE | 40 × GbE a 1 × 40 GbE | |
12 | 60 | GbE a 50 GbE | 60 × GbE a 1 × 50 GbE + 1 × 10 GbE | |
QDR | 1 | 10 | GbE a 10 GbE | 10 × GbE a 1 × 10 GbE |
4 | 40 | GbE a 40 GbE | 40 × GbE a 1 × 40 GbE |
Ver también
- 100 Gigabit Ethernet
- Extensiones iSCSI para RDMA
- iWARP
- Lista de tasas de bits de la interfaz
- Comunicación óptica
- Interfaz óptica paralela
- Protocolo SCSI RDMA
Referencias
- ^ "HECHOS DESTACADOS - JUNIO DE 2016" . Junio de 2016 . Consultado el 19 de febrero de 2021 .
La tecnología InfiniBand ahora se encuentra en 205 sistemas, en comparación con 235 sistemas, y ahora es la segunda tecnología de interconexión de sistemas internos más utilizada. Gigabit Ethernet ha aumentado a 218 sistemas de 182 sistemas, en gran parte gracias a 176 sistemas que ahora utilizan interfaces 10G.
- ^ "Oracle diseña sus propias interconexiones InfiniBand" . 23 de febrero de 2016.
- ^ "Mellanox OFED para FreeBSD" . Mellanox . Consultado el 19 de septiembre de 2018 .
- ^ Mellanox Technologies (3 de diciembre de 2015). "Manual de interfaces del núcleo de FreeBSD, mlx5en" . Páginas de manual de FreeBSD . FreeBSD . Consultado el 19 de septiembre de 2018 .
- ^ "Tarjetas InfiniBand - Descripción general" . Mellanox . Consultado el 30 de julio de 2014 .
- ^ "Implementación de InfiniBand en IBM System p (IBM Redbook SG24-7351-00)" (PDF) .
- ^ https://cw.infinibandta.org/document/dl/7260
- ^ "Copia archivada" . Archivado desde el original el 29 de septiembre de 2011 . Consultado el 27 de octubre de 2009 .CS1 maint: copia archivada como título ( enlace )
- ^ http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf // Mellanox
- ^ Panda, Dhabaleswar K .; Sayantan Sur (2011). "Aceleración de la velocidad de la red con IB y HSE" (PDF) . Diseño de sistemas de computación en la nube y en red con InfiniBand y Ethernet de alta velocidad . Newport Beach, CA, EE.UU .: CCGrid 2011. p. 23 . Consultado el 13 de septiembre de 2014 .
- ^ a b c "Hoja de ruta de InfiniBand - Avanzando InfiniBand" . Asociación de Comercio InfiniBand .
- ^ "Preguntas frecuentes sobre especificaciones" . ITA. Archivado desde el original el 24 de noviembre de 2016 . Consultado el 30 de julio de 2014 .
- ^ Mellanox OFED para Windows - WinOF / WinOF-2
- ^ API de verbos
- ^ Tutorial de programación de verbos
- ^ Pentakalos, Odysseas. "Una introducción a la arquitectura InfiniBand" . O'Reilly . Consultado el 28 de julio de 2014 .
- ^ a b Kim, Ted. "Breve historia de InfiniBand: bombo al pragmatismo" . Oráculo. Archivado desde el original el 8 de agosto de 2014 . Consultado el 28 de julio de 2014 .
- ^ "Línea de tiempo" . Tecnologías Mellanox . Consultado el 28 de julio de 2014 .
- ^ "Sun confirma su compromiso con InfiniBand" . El registro . Consultado el 28 de julio de 2014 .
- ^ "Linux Kernel 2.6.11 es compatible con InfiniBand" . Consultado el 29 de julio de 2014 .
- ^ "¿InfiniBand está lista para un regreso?" , Infostor , 10 (2)
- ^ Lawson, Stephen. "Dos supercomputadoras rivales se disputan el primer puesto" . COMPUTERWORLD . Consultado el 29 de julio de 2014 .
- ^ Raffo, Dave. "Los proveedores más grandes de InfiniBand se fusionan; ojo de redes convergentes" . Consultado el 29 de julio de 2014 .
- ^ "Mellanox Demos versión mejorada de InfiniBand" . CIO. 20 de junio de 2011 . Consultado el 1 de agosto de 2011 .
- ^ "Intel incorpora la tecnología InfiniBand, línea de productos de QLogic" . HPCwire . 23 de enero de 2012 . Consultado el 27 de enero de 2012 .
- ^ "Oracle diseña sus propias interconexiones InfiniBand" . La próxima plataforma . Consultado el 24 de febrero de 2016 .
- ^ https://nvidianews.nvidia.com/news/nvidia-to-acquire-mellanox-for-6-9-billion
enlaces externos
- Kerr, Gregory (2011), Disección de una pequeña aplicación InfiniBand usando la API de verbos , arXiv : 1105.1827 , Bibcode : 2011arXiv1105.1827K