La gestión de datos maestros ("MDM") es una disciplina habilitada por la tecnología en la que las empresas y la tecnología de la información ("TI") trabajan juntas para garantizar la uniformidad, precisión, administración, consistencia semántica y responsabilidad de los activos de datos maestros compartidos oficiales de la empresa . [1] [2]
Controladores para la gestión de datos maestros
Las organizaciones, o grupos de organizaciones, pueden establecer la necesidad de una gestión de datos maestros cuando tienen más de una copia de los datos sobre una entidad comercial. Tener más de una copia de estos datos maestros significa inherentemente que existe una ineficiencia en el mantenimiento de una " versión única de la verdad " en todas las copias. A menos que existan personas, procesos y tecnología para garantizar que los valores de los datos se mantengan alineados en todas las copias, es casi inevitable que se mantengan diferentes versiones de la información sobre una entidad comercial. Esto provoca ineficiencias en el uso de datos operativos y dificulta la capacidad de las organizaciones para informar y analizar. En un nivel básico, la gestión de datos maestros busca asegurar que una organización no use múltiples versiones (potencialmente inconsistentes ) de los mismos datos maestros en diferentes partes de sus operaciones, lo que puede ocurrir en grandes organizaciones.
Otros problemas incluyen (por ejemplo) problemas con la calidad de los datos , clasificación e identificación consistentes de datos y problemas de conciliación de datos . La gestión de datos maestros de sistemas de datos dispares requiere transformaciones de datos a medida que los datos extraídos del sistema de datos de origen dispares se transforman y cargan en el centro de gestión de datos maestros. Para sincronizar los datos maestros de fuentes dispares, los datos maestros administrados extraídos del centro de administración de datos maestros se transforman nuevamente y se cargan en el sistema de datos de fuentes dispares a medida que se actualizan los datos maestros. Al igual que con otros movimientos de datos basados en extracción, transformación y carga , estos procesos son costosos e ineficientes de desarrollar y mantener, lo que reduce en gran medida el retorno de la inversión para el producto de gestión de datos maestros.
Hay una serie de causas fundamentales para los problemas de datos maestros en las organizaciones. Éstas incluyen:
- Segmentación de líneas de productos y unidades de negocio
- Fusiones y adquisiciones
Segmentación de líneas de productos y unidades de negocio
Como resultado de la segmentación de la unidad comercial y la línea de productos , la misma entidad comercial (como Cliente, Proveedor, Producto) será atendida por diferentes líneas de productos; Se ingresarán datos redundantes sobre la entidad comercial para procesar la transacción. La redundancia de los datos de las entidades comerciales se agrava en el ciclo de vida del front-office al back-office, donde se necesita la fuente única autorizada para los datos de la parte, la cuenta y el producto, pero a menudo se ingresa o aumenta de manera redundante.
Un ejemplo típico es el escenario de un banco en el que un cliente ha obtenido una hipoteca y el banco comienza a enviar solicitudes de hipoteca a ese cliente, ignorando el hecho de que la persona ya tiene una relación de cuenta hipotecaria con el banco. Esto sucede porque la información del cliente utilizada por la sección de marketing dentro del banco carece de integración con la información del cliente utilizada por la sección de servicios al cliente del banco. Por lo tanto, los dos grupos desconocen que un cliente existente también se considera un cliente potencial de ventas. El proceso de vinculación de registros se utiliza para asociar diferentes registros que corresponden a la misma entidad, en este caso la misma persona.
Fusiones y adquisiciones
Una de las razones más comunes por las que algunas grandes corporaciones experimentan problemas masivos con la gestión de datos maestros es el crecimiento a través de fusiones o adquisiciones . Cualquier organización que se fusione normalmente creará una entidad con datos maestros duplicados (ya que es probable que cada una tuviera al menos una base de datos maestra propia antes de la fusión). Idealmente, los administradores de bases de datos resuelven este problema mediante la deduplicación de los datos maestros como parte de la fusión. En la práctica, sin embargo, reconciliar varios sistemas de datos maestros puede presentar dificultades debido a las dependencias que las aplicaciones existentes tienen de las bases de datos maestras. Como resultado, la mayoría de las veces los dos sistemas no se fusionan completamente, sino que permanecen separados, con un proceso de conciliación especial definido que asegura la coherencia entre los datos almacenados en los dos sistemas. Sin embargo, con el tiempo, a medida que se producen nuevas fusiones y adquisiciones, el problema se multiplica, aparecen cada vez más bases de datos maestras y los procesos de conciliación de datos se vuelven extremadamente complejos y, en consecuencia, inmanejables y poco fiables. Debido a esta tendencia, se pueden encontrar organizaciones con 10, 15 o incluso hasta 100 bases de datos maestras separadas y mal integradas, que pueden causar serios problemas operativos en las áreas de satisfacción del cliente , eficiencia operativa, soporte de decisiones y cumplimiento normativo.
Otro problema tiene que ver con determinar el grado adecuado de detalle y normalización para incluirlo en el esquema de datos maestros. Por ejemplo, en un entorno de RR.HH. federado, la empresa puede centrarse en almacenar datos de personas como un estado actual, agregando algunos campos para identificar la fecha de contratación, la fecha de la última promoción, etc. Sin embargo, esta simplificación puede introducir errores de impacto empresarial en los sistemas dependientes. para planificación y previsión. Las partes interesadas de dichos sistemas pueden verse obligadas a construir una red paralela de nuevas interfaces para rastrear la incorporación de nuevas contrataciones, las jubilaciones planificadas y la desinversión, lo que va en contra de uno de los objetivos de la gestión de datos maestros.
Personas, procesos y tecnología
La gestión de datos maestros está habilitada por la tecnología, pero es más que las tecnologías que la habilitan. La capacidad de gestión de datos maestros de una organización también incluirá personas y procesos en su definición.
Personas
Dentro de MDM deben ocuparse varios roles. De manera más prominente, el propietario de los datos y el administrador de los datos. Probablemente se asignarían varias personas a cada función, cada persona responsable de un subconjunto de datos maestros (por ejemplo, un propietario de datos para los datos maestros de los empleados, otro para los datos maestros del cliente).
El propietario de los datos es responsable de los requisitos de calidad, seguridad de los datos, etc., así como del cumplimiento de los procedimientos de gestión y gobierno de datos. El propietario de los datos también debe financiar proyectos de mejora en caso de desviaciones de los requisitos.
El administrador de datos está ejecutando la gestión de datos maestros en nombre del propietario de los datos y probablemente también sea un asesor del propietario de los datos.
Proceso
La gestión de datos maestros puede verse como una "disciplina para la mejora de la calidad especializada" [3] definida por las políticas y procedimientos establecidos por una organización de gobierno de datos . Tiene el objetivo de proporcionar procesos para la recogida , la agregación , a juego, la consolidación, la calidad -assuring, persistente y la distribución de datos maestros en toda la organización para asegurar una comprensión común, la consistencia , la exactitud y control, [4] en el mantenimiento y aplicación de uso continuo de esos datos.
Los procesos que se ven comúnmente en la gestión de datos maestros incluyen identificación de fuentes, recopilación de datos, transformación de datos , normalización , administración de reglas, detección y corrección de errores , consolidación de datos , almacenamiento de datos, distribución de datos, clasificación de datos, servicios de taxonomía, creación de elementos maestros, mapeo de esquemas , productos codificación, enriquecimiento de datos, gestión de jerarquías, gestión de semántica empresarial y gobernanza de datos .
Tecnología
Se puede utilizar una herramienta de gestión de datos maestros para respaldar la gestión de datos maestros eliminando duplicados , estandarizando datos (mantenimiento masivo), [5] e incorporando reglas para eliminar datos incorrectos que ingresan al sistema para crear una fuente autorizada de datos maestros. Los datos maestros son los productos, las cuentas y las partes para las que se completan las transacciones comerciales .
Cuando el enfoque tecnológico produce un "registro de oro" o se basa en una "fuente de registro" o "sistema de registro", es común hablar de dónde se "dominan" los datos. Esta es una terminología aceptada en la industria de la tecnología de la información, pero se debe tener cuidado, tanto con los especialistas como con la comunidad de partes interesadas más amplia, para evitar confundir el concepto de "datos maestros" con el de "datos maestros".
Modelos de implementación
Existen varios modelos para implementar una solución tecnológica para la gestión de datos maestros. Estos dependen del negocio principal de una organización, su estructura corporativa y sus objetivos. Éstas incluyen:
- Fuente de registro
- Registro
- Consolidación
- Coexistencia
- Transacción / centralizada
Fuente de registro
Este modelo identifica una sola aplicación, base de datos o fuente más simple (por ejemplo, una hoja de cálculo) como la "fuente de registro" (o " sistema de registro " en el que se confían únicamente las bases de datos de la aplicación). El beneficio de este modelo es su simplicidad conceptual, pero es posible que no se ajuste a las realidades de la distribución compleja de datos maestros en las grandes organizaciones.
La fuente de registro puede estar federada, por ejemplo, por grupos de atributos (de modo que diferentes atributos de una entidad de datos maestros puedan tener diferentes fuentes de registro) o geográficamente (de modo que diferentes partes de una organización puedan tener diferentes fuentes maestras). La federación solo es aplicable en ciertos casos de uso, donde hay una delimitación clara de qué subconjuntos de registros se encontrarán en qué fuentes.
El modelo de origen del registro se puede aplicar de manera más amplia que simplemente a los datos maestros, por ejemplo, a los datos de referencia .
Registro [6]
Este modelo mantiene un registro central, vinculando registros a través de varios sistemas de origen. Detecta duplicados ejecutando algoritmos de limpieza y coincidencia, luego asigna identificadores globales únicos a registros coincidentes para ayudar a identificar una " versión única de la verdad ". Este modelo no envía datos a los sistemas de origen, por lo que los cambios en los datos maestros continúan realizándose a través de los sistemas de origen existentes. Cuando se necesita una vista única y completa de un cliente, utiliza cada sistema de referencia para crear una vista en tiempo real.
Este modelo puede resultar útil cuando una organización tiene una gran cantidad de sistemas fuente repartidos por todo el mundo y es difícil establecer una fuente autorizada. También permite analizar datos al tiempo que evita el riesgo de sobrescribir información en los sistemas de origen.
Consolidación [6]
En este modelo, los datos maestros generalmente se consolidan a partir de múltiples fuentes en el centro para crear una única versión de la verdad, a la que a menudo se hace referencia en este contexto como el "registro de oro". Las actualizaciones realizadas a los datos maestros se aplican a las fuentes originales.
Los hubs consolidados son económicos y rápidos de configurar (¡como van las soluciones MDM!). Este modelo se utiliza principalmente para análisis e informes.
Convivencia [6]
Este modelo proporciona un "récord de oro" de la misma manera que el modelo de consolidación, pero los cambios en los datos maestros pueden ocurrir tanto en el sistema MDM como en los sistemas de aplicación. Esto tiende a encarecer la implementación.
El principal beneficio de este estilo es que los datos se dominan en los sistemas de origen y luego se sincronizan con el concentrador, por lo que los datos pueden coexistir armoniosamente y seguir ofreciendo una única versión de la verdad. Otro beneficio de este enfoque es que se mejora la calidad de los datos maestros y el acceso es más rápido. La generación de informes también es más fácil ya que todos los atributos de datos maestros están en un solo lugar.
Transacción / centralizado [6]
Este modelo almacena y mantiene los atributos de los datos maestros mediante algoritmos de vinculación, limpieza, emparejamiento y enriquecimiento para mejorar los datos. Los datos mejorados se pueden volver a publicar en su respectivo sistema de origen. Esto requiere una intrusión en los sistemas de origen para las interacciones bidireccionales. Los sistemas fuente pueden suscribirse a las actualizaciones publicadas por el sistema central para brindar una coherencia completa.
El principal beneficio de este estilo es que los datos maestros son precisos y completos en todo momento, mientras que las políticas de seguridad y visibilidad a nivel de atributos de datos pueden ser compatibles con el centro de estilo Transaction. Una organización obtiene un conjunto centralizado de datos maestros para uno o más dominios.
Transmisión de datos maestros
Hay varias formas de recopilar y distribuir datos maestros a otros sistemas. [7] Esto incluye:
- Consolidación de datos: el proceso de capturar datos maestros de múltiples fuentes e integrarlos en un solo centro ( almacén de datos operativos ) para replicarlos en otros sistemas de destino.
- Federación de datos : el proceso de proporcionar una única vista virtual de datos maestros de una o más fuentes a uno o más sistemas de destino.
- Propagación de datos: el proceso de copiar datos maestros de un sistema a otro, generalmente a través de interfaces punto a punto en sistemas heredados.
Gestión del cambio en la implementación
La gestión de datos maestros puede verse afectada por su adopción dentro de una gran organización si las partes interesadas no compran el concepto de " versión única de la verdad ", que creen que su definición local de los datos maestros es necesaria. Por ejemplo, la jerarquía de productos que se usa para administrar el inventario puede ser completamente diferente de las jerarquías de productos que se usan para respaldar los esfuerzos de marketing o pagar a los representantes de ventas. Sobre todo es necesario identificar si realmente se requieren diferentes datos maestros. Si es necesario, entonces la solución implementada (tecnología y proceso) debe poder permitir que existan múltiples versiones de la verdad, pero proporcionará formas simples y transparentes de conciliar las diferencias necesarias. Si no es necesario, los procesos deben ajustarse. Sin esta gestión activa, los usuarios que necesitan las versiones alternativas simplemente "seguirán" los procesos oficiales, reduciendo así la eficacia del programa general de gestión de datos maestros de la empresa.
Ver también
- Gestión de semántica empresarial
- Integración de datos del cliente
- Dato de governancia
- Integración de datos
- Administrador de datos
- Visualización de datos
- Integración de información empresarial
- Gestión de la información
- Datos vinculados
- Datos maestros
- Almacén de datos operativos
- Gestión de la información del producto
- Vinculación de registros
- Dato de referencia
- Web semántica
- Vista de cliente único
- Integración de datos web
Referencias
- ^ "Glosario de Gartner: gestión de datos maestros" . Gartner . Consultado el 6 de junio de 2020 .
- ^ Rouse, Margaret (9 de abril de 2018). "Definición de WhatIs.com" . SearchDataManagement . Consultado el 9 de abril de 2018 .
- ^ Guía DAMA-DMBOK, 2010 DAMA International
- ^ "Aprenda a crear una solicitud de cambio de MDM: LightsOnData" . LightsOnData . 2018-05-09 . Consultado el 17 de agosto de 2018 .
- ^ Jürgensen, Knut (16 de mayo de 2016). "Gestión de datos maestros (MDM): ¿ayuda o impedimento?" . Charla simple . Consultado el 9 de abril de 2018 .
- ^ a b c d Lonnon, Michael (25 de mayo de 2018). "4 estilos comunes de implementación de gestión de datos maestros" . Stibo Systems . Consultado el 6 de junio de 2020 .
- ^ "Creación del récord de oro: mejores datos a través de la química" , DAMA, diapositiva 26, Donald J. Soulsby, 22 de octubre de 2009
enlaces externos
- Metodología abierta para la gestión de datos maestros
- Repita: ¿Cuándo los datos maestros y MDM no son datos maestros o MDM?