La Corporación de Evaluación de Desempeño Estándar (SPEC) es una corporación estadounidense sin fines de lucro que tiene como objetivo "producir, establecer, mantener y respaldar un conjunto estandarizado" de puntos de referencia de desempeño para computadoras. [1]
Formación | 1988 |
---|---|
Tipo | Corporación sin fines de lucro |
Sede | Gainesville , Virginia |
Afiliación | Proveedores de hardware y software, universidades, centros de investigación |
Personal | 5 |
Sitio web | www |
SPEC se fundó en 1988. [2] [3] Los puntos de referencia de SPEC se utilizan ampliamente para evaluar el rendimiento de los sistemas informáticos; los resultados de las pruebas se publican en el sitio web de SPEC.
SPEC evolucionó hasta convertirse en una organización paraguas que abarca cuatro grupos diversos; Graphics and Workstation Performance Group (GWPG), High Performance Group (HPG), Open Systems Group (OSG) y el más nuevo, Research Group (RG).
Estructura
El Grupo de Sistemas Abiertos (OSG)
El grupo de alto rendimiento (HPG)
Grupo de rendimiento de estaciones de trabajo y gráficos (GWPG)
Grupo de investigación SPEC (RG)
Afiliación
La membresía en SPEC está abierta a cualquier empresa o entidad interesada que esté dispuesta a comprometerse con los estándares de SPEC. Permite:
- Participación en el desarrollo de benchmark
- Participación en revisión de resultados
- Software de cortesía basado en la participación del grupo
La lista de miembros está disponible en la página de miembros de SPEC; [1] .
Niveles de membresía
- Mantener la membresía requiere el pago de cuotas y, por lo general, incluye empresas de hardware o software.
- Los "Asociados" de SPEC pagan una tarifa reducida como organizaciones sin fines de lucro; típicamente incluye organizaciones académicas y de investigación.
Suites de referencia SPEC
Los puntos de referencia tienen como objetivo probar situaciones de la "vida real". Hay varios puntos de referencia que prueban escenarios de Java, desde computación simple (SPECjbb) hasta un sistema completo con Java EE, base de datos, disco y red (SPECjEnterprise).
Los conjuntos de CPU SPEC prueban el rendimiento de la CPU midiendo el tiempo de ejecución de varios programas, como el compilador GCC , el programa de química gamess y el programa meteorológico WRF . Las diversas tareas están igualmente ponderadas; no se hace ningún intento de ponderarlos en función de su importancia percibida. Una puntuación general se basa en una media geométrica.
Nube
Medir y comparar el aprovisionamiento, la computación, el almacenamiento y los recursos de red de las plataformas en la nube IaaS .
- SPEC Cloud IaaS 2018
- SPEC Cloud IaaS 2016
UPC
Soportado actual | Han sido retirados | |
---|---|---|
Último | Será retirado | |
|
|
Medir y comparar el rendimiento combinado de CPU, memoria y compilador.
- SPEC CPU2006 contiene dos conjuntos:
- CINT2006 (" SPECint "): prueba aritmética de enteros , con programas como compiladores, intérpretes, procesadores de texto, programas de ajedrez, etc.
- CFP2006 (" SPECfp "): prueba del rendimiento del punto flotante , con simulaciones físicas, gráficos 3D, procesamiento de imágenes, química computacional, etc.
- El paquete SPEC CPU 2017 contiene cuatro conjuntos.
- Las suites SPECspeed 2017 Integer y SPECspeed 2017 Floating Point se utilizan para comparar el tiempo que tarda una computadora en completar tareas individuales.
- Las suites SPECrate 2017 Integer y SPECrate 2017 Floating Point miden el rendimiento o el trabajo por unidad de tiempo.
Mano
Rendimiento de gráficos y estaciones de trabajo
Medición del rendimiento de un sistema de gráficos OpenGL 3D, probado con varias tareas de renderizado de varias aplicaciones reales populares de uso intensivo de 3D en un sistema determinado.
Suite Benchmark | Lanzamiento actual | Lanzamientos antiguos | |
---|---|---|---|
SPECviewperf | SPECviewperf 2020 |
| |
SPECwpc | SPECwpc v2.1 | ||
SPECapc SM | |||
SPECapc SM para 3ds Max ™ | SPECapc SM para 3ds Max ™ 2015 |
| |
SPECapc SM para Maya | SPECapc SM para Maya 2017 |
| |
SPECapc SM para PTC Creo | SPECapc SM para PTC Creo 3.0 |
| |
SPECapc SM para Siemens NX | SPECapc SM para Siemens NX 9.0 y 10.0 |
| |
SPECapc SM para SolidWorks | SPECapc SM para SolidWorks 2017 |
|
SPECwpc
Computación de alto rendimiento, OpenMP, MPI, OpenACC, OpenCL
Suites de referencia | Soportado actual | Han sido retirados |
---|---|---|
HPC | (ninguno) |
|
OMP |
|
|
MPI |
| (ninguno) |
ACCEL |
| (ninguno) |
OMP
El SPEC OMP ( OpenMP ) es el primero para evaluar el rendimiento basado en aplicaciones OpenMP, para medir el rendimiento de los sistemas SMP (multiprocesador de memoria compartida, es decir, UMA ).
Cliente / servidor Java
Suite Benchmark | Soportado actual | Han sido retirados | |
---|---|---|---|
Último | Será retirado | ||
jAppServer | (ninguno) | (ninguno) |
|
JBB |
| (ninguno) |
|
jEnterprise |
| (ninguno) | (ninguno) |
JMS |
| (ninguno) | (ninguno) |
JVM |
| (ninguno) |
|
JBB
evalúa el rendimiento de Java del lado del servidor emulando un sistema cliente / servidor de tres niveles (con énfasis en el nivel medio).
jEnterprise
Un punto de referencia de varios niveles para medir el rendimiento de los servidores de aplicaciones basados en tecnología Java 2 Enterprise Edition (J2EE).
Servidores de correo
Soportado actual | Han sido retirados |
---|---|
(ninguno) |
|
Almacenamiento
Soportado actual | Han sido retirados |
---|---|
|
|
SPEC SFS sirve para medir el rendimiento del servidor de archivos y el tiempo de respuesta que admite el acceso al protocolo NFS y SMB .
Energía
Soportado actual | Han sido retirados |
---|---|
| (ninguno) |
Virtualización
Soportado actual | Han sido retirados |
---|---|
|
|
Servidores web
Soportado actual | Han sido retirados |
---|---|
(ninguno) |
|
Herramientas SPEC
- Herramienta de calificación de eficiencia del servidor (SERT). Diseñado para medir la eficiencia del servidor, inicialmente como parte de la segunda generación del programa ENERGY STAR para servidores de computadora de la Agencia de Protección Ambiental de los EE. UU. (EPA).
- SPEC Chauffeur WDK Tool. Diseñado para simplificar el desarrollo de cargas de trabajo para medir tanto la eficiencia energética como el rendimiento.
- PTDaemon. El software SPEC PTDaemon se utiliza para controlar analizadores de potencia en puntos de referencia que contienen un componente de medición de potencia.
Programa de búsqueda comparativa
- SPEC CPUv6, el programa de búsqueda de CPU busca alentar a quienes están fuera de SPEC a ayudarlos a localizar aplicaciones que podrían usarse en el próximo conjunto de pruebas de rendimiento intensivo de CPU, actualmente designado como SPEC CPUv6. Obsoleto ahora.
Puntos de referencia retirados (sin sucesor)
- SPEC SDM91
- SPECsip_infrastructure2011: el punto de referencia todavía está disponible para su compra, pero no se aceptan envíos de resultados adicionales y ya no se ofrece soporte.
Benchmarks retirados (ya no documentados)
- SPECapcSM para Lightwave 3D 9.6, software de evaluación de rendimiento para sistemas que ejecutan el software NewTek LightWave 3D v9.6.
- SPEC 2001
- SPEC CPU89
Portabilidad
Los puntos de referencia de SPEC están escritos en un lenguaje de programación portátil (generalmente C , C #, Java o Fortran ), y las partes interesadas pueden compilar el código utilizando el compilador que prefieran para su plataforma, pero no pueden cambiar el código. Se sabe que los fabricantes optimizan sus compiladores para mejorar el rendimiento de los distintos puntos de referencia de SPEC. SPEC tiene reglas que intentan limitar tales optimizaciones.
Licencia
Para utilizar un punto de referencia, se debe comprar una licencia a SPEC; los costos varían de una prueba a otra con un rango típico de varios cientos a varios miles de dólares. Este modelo de pago por licencia puede parecer una infracción de la GPL, ya que los puntos de referencia incluyen software como GCC con licencia de la GPL. Sin embargo, la GPL no requiere que el software se distribuya de forma gratuita, solo que los destinatarios puedan redistribuir cualquier software con GPL que reciban; el acuerdo de licencia para SPEC exime específicamente los elementos que están bajo "licencias que requieren distribución gratuita", y los archivos en sí se colocan en una parte separada del paquete de software general.
Cultura
SPEC intenta crear un entorno en el que los argumentos se resuelvan apelando a nociones de credibilidad técnica, representatividad o "igualdad de condiciones". Los representantes de SPEC suelen ser ingenieros con experiencia en las áreas que se comparan. Los puntos de referencia incluyen "reglas de ejecución", que describen las condiciones de medición y los requisitos de documentación. Los resultados que se publican en el sitio web de SPEC se someten a una revisión por pares por parte de los ingenieros de desempeño de los miembros.
Referencias
- ^ "Preguntas más frecuentes de SPEC" . Consultado el 15 de marzo de 2010 .
- ^ "La organización SPEC" . Consultado el 15 de marzo de 2010 .
- ^ "Membresía SPEC" . Consultado el 15 de marzo de 2010 .
- Kant, Krishna (1992). Introducción a la evaluación del rendimiento de sistemas informáticos . Nueva York: McGraw-Hill Inc. págs. 16-17 . ISBN 0-07-033586-9.