OPeNDAP es un acrónimo de " Proyecto de código abierto para un protocolo de acceso a datos de red ", un esfuerzo centrado en mejorar la recuperación de datos estructurados remotos a través de una arquitectura basada en web y un protocolo de acceso a datos (DAP) independiente de la disciplina. Ampliamente utilizado, especialmente en las ciencias de la Tierra , el protocolo se superpone a HTTP , y su especificación actual es DAP4, [1] aunque la versión anterior de DAP2 sigue siendo ampliamente utilizada. Desarrollado y avanzado (de forma abierta y colaborativa) por la organización sin fines de lucro OPeNDAP, Inc., [2]DAP está diseñado para permitir la recuperación de datos selectiva y remota como un servicio web de fácil invocación. OPeNDAP, Inc. también desarrolla y mantiene implementaciones de costo cero (referencia) del protocolo DAP tanto en software del lado del servidor como del lado del cliente.
"OPeNDAP" se usa a menudo en lugar de "DAP" para indicar el protocolo, pero también puede referirse a una arquitectura completa de recuperación de datos basada en DAP. Otras arquitecturas centradas en DAP, como THREDDS [3] y ERDDAP, NOAA GEO-IDE UAF ERDDAP [4] exhiben una interoperabilidad significativa entre sí, así como con sistemas que emplean los propios servidores y software de OPeNDAP (fuente abierta).
Un cliente DAP puede ser un navegador normal o incluso una hoja de cálculo, aunque con una funcionalidad limitada (consulte la página web de OPeNDAP sobre Software de cliente disponible ). Más típicamente, los clientes de DAP son:
- Herramientas de análisis o visualización de datos (como MATLAB , IDL , Panoply , GrADS , Integrated Data Viewer , Ferret y ncBrowse [5] ) que sus autores han adaptado para permitir la entrada de datos basada en DAP;
- Aplicaciones web adaptadas de manera similar (como Dapper Data Viewer, también conocido como DChart) [6]
- Programas de usuario final adaptados de manera similar (en idiomas comunes)
Independientemente de sus tipos, y ya sea desarrollado comercialmente o por un usuario final, los clientes se vinculan casi universalmente a los servidores DAP a través de bibliotecas que implementan el protocolo DAP2 o DAP4 en un idioma u otro. OPeNDAP ofrece bibliotecas de código abierto en C ++ y Java , pero muchos clientes confían en bibliotecas desarrolladas por la comunidad como PyDAP o, especialmente, la suite NetCDF . Desarrolladas y mantenidas por el Programa Unidata en la UCAR en múltiples lenguajes de programación, todas las bibliotecas NetCDF incluyen capacidades integradas para recuperar datos (estilo arreglo) de servidores DAP.
Un cliente que usa datos hace referencia a un conjunto de datos por su URL y solicita metadatos o contenido emitiendo (generalmente a través de una biblioteca DAP incorporada) una solicitud HTTP a un servidor DAP. Las solicitudes de contenido suelen ir precedidas de solicitudes de metadatos que describen la estructura y otros detalles sobre el conjunto de datos referenciados. Con esta información, el cliente puede construir expresiones de restricción DAP [7] para recuperar contenido específico (es decir, subconjuntos) de la fuente. Los servidores OPeNDAP ofrecen varios tipos de respuestas, dependiendo de la forma específica de la solicitud del cliente, incluidos XML, JSON, HTML y ASCII. En respuesta a las solicitudes de contenido , los servidores OPeNDAP pueden responder con documentos mime de varias partes que incluyen una parte binaria con codificación nativa NetCDF o DAP. (Estos formularios binarios ofrecen medios compactos para entregar grandes volúmenes de contenido, y el formulario nativo de DAP puede incluso transmitirse si se desea).
El software de OPeNDAP para construir servidores DAP (además de Apache ) se denomina Hyrax e incluye adaptadores que facilitan el servicio de una amplia variedad de datos de origen. Los servidores DAP permiten con mayor frecuencia el acceso (remoto) a archivos HDF o NetCDF (grandes) , pero los datos de origen pueden existir en bases de datos u otros formatos, incluidos los definidos por el usuario. Cuando los datos de origen se organizan como archivos, las recuperaciones de DAP permiten, mediante subconjuntos , un acceso más detallado que el FTP . Además, los servidores OPeNDAP pueden agregar subconjuntos de varios archivos para entregarlos en una única recuperación. En conjunto, el subconjunto, la agregación y la transmisión pueden producir eficiencias sustanciales en el acceso a los datos, incluso en presencia de redes lentas.
OPeNDAP y otros servidores DAP se utilizan operativamente en agencias gubernamentales, incluidas la NASA y la NOAA , para proporcionar acceso a datos de ciencias de la Tierra , incluidas imágenes de satélite y otras fuentes de información de gran volumen. El modelo de datos DAP abarca un conjunto completo de estructuras de datos, que incluyen matrices multidimensionales y secuencias anidadas (es decir, registros), complementadas por un conjunto correspondientemente rico de expresiones de restricción. Por lo tanto, la arquitectura de recuperación de datos OPeNDAP ha demostrado su utilidad en una amplia gama de tipos de datos científicos, incluidos los datos generados a través de simulaciones y los datos generados a través de observaciones (ya sean de detección remota o medidos in situ).
Referencias
enlaces externos
- OPeNDAP.org
- Tutorial sobre el uso de OPeNDAP para el acceso a datos en PO.DAAC (Centro de archivos activos distribuidos de la NASA para la oceanografía física)
- THREDDS - Servicios temáticos de datos distribuidos ambientales en tiempo real
- dapper - servidor OPeNDAP para datos in situ
- DChart: visor web para datos del sistema de observación de la NOAA (datos in situ)
- GRADS
- ncBrowse: visor de Java para archivos OPeNDAP netCDF (admite una amplia gama de convenciones netCDF)
- netCDF Explorer : netCDF Explorer es un navegador gráfico multiplataforma para archivos netCDF. netCDF Explorer puede buscar archivos de forma local o remota, mediante OPeNDAP
- Lenguaje de comando NCAR: software de análisis y visualización
- Hurón
- Pydap: implementación cliente / servidor escrita en Python
- ERDDAP: servidor OPeNDAP para datos cuadriculados y tabulares; admite una amplia gama de formatos de archivo de salida
- Portal de la NASA GCMD OPeNDAP Directorio maestro de cambio global (GCMD)
- Centro de investigación de datos de Asia y el Pacífico: un ejemplo de libro de texto sobre la implementación de OPenDAP