En los mainframes de IBM , BatchPipes es un procesamiento de trabajo por lotes utilidad que se ejecuta bajo el MVS / ESA sistema operativo y más tarde versiones- OS / 390 y z / OS . [1]
Función básica
En el procesamiento tradicional, si los registros de datos se escriben en un conjunto de datos secuenciales ( QSAM y BSAM ) en disco o cinta, no pueden ser leídos simultáneamente por otro trabajo. El "escritor" y el "lector" no pueden ejecutarse al mismo tiempo. Esto se denomina enclavamiento a nivel de archivo o enclavamiento a nivel de conjunto de datos .
Con BatchPipes, una instalación puede disponer que los datos se "canalicen" entre los dos trabajos. La ventaja es que los trabajos se pueden ejecutar simultáneamente y es posible, y muy habitual, evitar el tiempo de escribir los datos en el almacenamiento secundario y volver a leerlos. La combinación de estas dos características, si se usa con prudencia, conduce a una reducción en el tiempo transcurrido combinado de los dos trabajos, medido desde el inicio del trabajo del escritor hasta el final del trabajo del lector.
BatchPipes mantiene una pequeña cola de registros que se pasan entre el escritor y el lector. El escritor agrega registros al final de la cola y el lector los toma desde el principio. Esto se considera un enclavamiento a nivel de registro y permite que el lector y el escritor se ejecuten simultáneamente.
Una ordenación es un caso especial: todos los registros de entrada deben leerse antes de poder escribir el primer registro de salida. Por lo tanto, no puede haber superposición entre las fases de entrada y salida de ningún tipo. Pero la fase de entrada se puede superponer con la fase de salida del trabajo anterior. De manera similar, la fase de salida de clasificación se puede superponer con un trabajo posterior que lee los datos clasificados.
Topologías de tuberías avanzadas
Son posibles topologías más complejas que "un lector, un escritor".
- "Dos lectores, un escritor" es un buen ejemplo de un intento de equilibrar la velocidad del lector con la del escritor. Debido a que la cola es corta, un escritor más rápido a menudo se verá obligado a esperar a que un lector más lento saque los registros de la cola antes de que el escritor pueda continuar procesando. El uso de dos lectores ayuda a utilizar las capacidades de los escritores.
- "Un trabajo como lector de una tubería y un escritor a otro" se ve a menudo cuando este trabajo edita los registros. Si bien los flujos por lotes tradicionales a menudo contienen tales trabajos, este tipo de procesamiento se puede introducir utilizando, por ejemplo , el producto DFSORT de IBM o BatchPipeWorks (parte de BatchPipes).
Crítica
Una de las consideraciones clave de implementación es programar los trabajos de lectura y escritura para que se ejecuten juntos. En los programas prácticos por lotes, esto podría no ser factible. Además, si falla algún trabajo en la canalización, las acciones de recuperación serán más amplias que solo recuperar este único trabajo. Por estas razones, algunas instalaciones han tenido dificultades para implementar BatchPipes.
BatchPipePlex
BatchPipes puede utilizar la función de acoplamiento de mainframe de IBM para canalizar datos entre diferentes miembros de un Parallel Sysplex , utilizando la función BatchPipePlex.
BatchPipeWorks
BatchPipes incluye un conjunto de etapas de canalización a base de IBM 's CMS Tuberías producto desarrollado para el VM / ESA sistema operativo. Estas etapas proporcionan procesamiento adicional, sin la necesidad de trabajos por lotes adicionales en la tubería.
Historia
BatchPipes Versión 1 se desarrolló a fines de la década de 1980 y principios de la de 1990 simplemente como una técnica para acelerar el procesamiento por lotes de MVS / ESA . En 1997, la funcionalidad de BatchPipes se integró en un producto IBM más grande: SmartBatch (que incorporó dos características de producto de BMC Corporation: DataAccelerator y BatchAccelerator). Sin embargo, SmartBatch se suspendió en abril de 2000.
APT International, con sede en Mónaco , produjo un producto competitivo registrado como WARP . Unos meses después del lanzamiento de este producto, IBM renombró su OS / 2 producto OS / 2 Warp 4 , en conflicto con la comercialización del producto de alto rendimiento fue el único competidor a BatchPipes. Esto resultó en 7 años de litigio en el Tribunal de grande instance de Paris [2] [3]
Posteriormente, se lanzó BatchPipes Versión 2, incorporando BatchPipes Versión 1 y algunas características adicionales de SmartBatch: BatchPipePlex y BatchPipeWorks. BatchPipes Versión 2 sigue siendo un producto de IBM comercializado.
Ver también
- Pipeline (Unix) , un concepto original
- Canalizaciones de CMS
- ESA / 390 , una arquitectura de mainframe
Referencias
- ^ http://www-01.ibm.com/common/ssi/cgi-bin/ssialias?infotype=an&subtype=ca&appname=Demonstration&htmlfid=897/ENUS200-093
- ^ https://www.doctrine.fr/d/CA/Paris/2002/INPIM20020065
- ^ 1994-2000 [16.5.1997,77 Rev. Droite de propriété Industrielle (1997), 46 - Sté PANEK contra Sté IBM Corp. http://cyber.law.harvard.edu/ilaw/Jurisdiction/Geller_Full.html