ModelOps
ModelOps (operaciones de modelo), tal como lo define Gartner , "se centra principalmente en la gobernanza y la gestión del ciclo de vida de una amplia gama de inteligencia artificial (IA) operativa y modelos de decisión, incluido el aprendizaje automático, gráficos de conocimiento, reglas, optimización, lenguaje y modelos basados en agentes". [1] "ModelOps se encuentra en el corazón de cualquier estrategia empresarial de IA". [2]Orquesta los ciclos de vida del modelo de todos los modelos en producción en toda la empresa, desde poner un modelo en producción, luego evaluar y actualizar la aplicación resultante de acuerdo con un conjunto de reglas de gobierno, incluidos KPI técnicos y comerciales. Otorga a los expertos en dominios comerciales la capacidad de evaluar modelos de IA en producción, independientemente de los científicos de datos. [3]
Un artículo de Forbes promocionó ModelOps: "A medida que las empresas amplían sus iniciativas de IA para convertirse en una verdadera organización de IA empresarial, tener una capacidad de análisis operativa completa pone a ModelOps en el centro, conectando tanto DataOps como DevOps". [4]
En una encuesta de Gartner de 2018, el 37 % de los encuestados informaron que habían implementado IA de alguna forma; sin embargo, Gartner señaló que las empresas aún estaban lejos de implementar la IA, citando desafíos de implementación. [5] Las empresas acumulaban modelos sin implementar, sin usar y sin actualizar, y se implementaban manualmente, a menudo a nivel de unidad de negocios, lo que aumentaba la exposición al riesgo de toda la empresa. [6]La firma de analistas independientes Forrester también cubrió este tema en un informe de 2018 sobre proveedores de aprendizaje automático y análisis predictivo: “Los científicos de datos se quejan regularmente de que sus modelos solo se implementan algunas veces o nunca. Una gran parte del problema es el caos organizacional en la comprensión de cómo aplicar y diseñar modelos en aplicaciones. Pero otra gran parte del problema es la tecnología. Los modelos no son como el código de software porque necesitan una gestión de modelos”. [7]
En diciembre de 2018, Waldemar Hummer y Vinod Muthusamy de IBM Research AI, propusieron ModelOps como "un modelo de programación para flujos de trabajo de IA componibles, independientes de la plataforma y reutilizables" en el Día de los lenguajes de programación de IBM. [8] En su presentación, señalaron la diferencia entre el ciclo de vida de desarrollo de aplicaciones, representado por DevOps , y el ciclo de vida de aplicaciones de IA. [9]
El objetivo de desarrollar ModelOps era abordar la brecha entre la implementación del modelo y el gobierno del modelo, asegurando que todos los modelos se ejecutaran en producción con un gobierno sólido, alineado con los KPI técnicos y comerciales, mientras se administraba el riesgo. En su presentación, Hummer y Muthusamy describieron una solución programática para la implementación por etapas consciente de la IA y los componentes reutilizables que permitirían que las versiones del modelo coincidieran con las aplicaciones comerciales, y que incluirían conceptos del modelo de IA como el monitoreo del modelo, la detección de deriva y el aprendizaje activo. La solución también abordaría la tensión entre el rendimiento del modelo y los indicadores clave de rendimiento empresarial (KPI), los registros de aplicaciones y modelos, y los proxies de modelos y las políticas en evolución. Varias plataformas en la nube formaban parte de la propuesta. En junio de 2019, Hummer, Muthusamy, Thomas Rausch, Parijat Dube,y Kaoutar El Maghraoui presentaron un artículo en la Conferencia internacional IEEE sobre ingeniería en la nube (IC2E) de 2019.[10] El documento amplió su presentación de 2018, proponiendo ModelOps como un marco y una plataforma basados en la nube para el desarrollo integral y la gestión del ciclo de vida de las aplicaciones de inteligencia artificial (IA). En resumen, afirmaron que el marco mostraría cómo es posible extender los principios de la gestión del ciclo de vida del software para permitir la automatización, la confianza, la confiabilidad, la trazabilidad, el control de calidad y la reproducibilidad de las canalizaciones del modelo de IA. [11] En marzo de 2020, ModelOp, Inc. publicó la primera guía completa de la metodología ModelOps. El objetivo de esta publicación fue brindar una descripción general de las capacidades de ModelOps, así como los requisitos técnicos y organizativos para implementar las prácticas de ModelOps. [12]
