Fusión de sensores

Fusión de sensores Eurofighter

La fusión de sensores es el proceso de combinar datos sensoriales o datos derivados de fuentes dispares, de modo que la información resultante tenga menos incertidumbre de la que sería posible cuando estas fuentes se usaran individualmente. Por ejemplo, uno podría obtener una estimación de la ubicación más precisa de un objeto interior combinando múltiples fuentes de datos como cámaras de video, señales de localización WiFi. El término reducción de la incertidumbre en este caso puede significar más precisa, más completa o más confiable, o hacer referencia al resultado de una vista emergente, como la visión estereoscópica (cálculo de la información de profundidad mediante la combinación de imágenes bidimensionales de dos cámaras a una miradores). ^{[1] [2]}

No se especifica que las fuentes de datos para un proceso de fusión se originen a partir de sensores idénticos. Se puede distinguir fusión directa , fusión indirecta y fusión de las salidas de las dos primeras. La fusión directa es la fusión de datos de sensores de un conjunto de sensores heterogéneos u homogéneos , sensores blandos y valores históricos de datos de sensores, mientras que la fusión indirecta utiliza fuentes de información como el conocimiento a priori sobre el medio ambiente y la participación humana.

Fusión de sensores también se conoce como (multi-sensor) de fusión de datos y es un subconjunto de fusión de la información .

Ejemplos de sensores

• Acelerómetros
• Medidas de apoyo electrónico (ESM)
• Flash LIDAR
• Sistema de posicionamiento global (GPS)
• Cámara termográfica / infrarroja
• Sensores magnéticos
• MEMS
• Matriz en fase
• Radar
• Radiotelescopios , como el propuesto Square Kilometer Array , el sensor más grande jamás construido
• Escaneo de LIDAR
• Sensores sísmicos
• Sonar y otros acústicos
• Sonobooys
• Cámaras de televisión
• → Lista adicional de sensores

Algoritmos

La fusión de sensores es un término que abarca varios métodos y algoritmos, que incluyen:

• Teorema del límite central
• Filtro de Kalman ^[3]
• Redes bayesianas
• Dempster-Shafer
• Red neuronal convolucional

Cálculos de ejemplo

A continuación se ilustran dos ejemplos de cálculos de fusión de sensores.

Sea y denote dos mediciones de sensor con variaciones de ruido y , respectivamente. Una forma de obtener una medición combinada es aplicar la ponderación de varianza inversa , que también se emplea dentro del suavizador de intervalo fijo de Fraser-Potter, a saber ^[4]${\displaystyle {\textbf {x}}_{1}}$${\displaystyle {\textbf {x}}_{2}}$ ${\displaystyle \scriptstyle \sigma _{1}^{2}}$${\displaystyle \scriptstyle \sigma _{2}^{2}}$${\displaystyle {\textbf {x}}_{3}}$

${\displaystyle {\textbf {x}}_{3}=\sigma _{3}^{2}(\sigma _{1}^{-2}{\textbf {x}}_{1}+\sigma _{2}^{-2}{\textbf {x}}_{2})}$ ,

donde es la varianza de la estimación combinada. Puede verse que el resultado fusionado es simplemente una combinación lineal de las dos medidas ponderadas por sus respectivas variaciones de ruido.${\displaystyle \scriptstyle \sigma _{3}^{2}=(\scriptstyle \sigma _{1}^{-2}+\scriptstyle \sigma _{2}^{-2})^{-1}}$

Otro método para fusionar dos medidas es utilizar el filtro Kalman óptimo . Suponga que los datos son generados por un sistema de primer orden y denotemos la solución de la ecuación de Riccati del filtro . Al aplicar la regla de Cramer dentro del cálculo de la ganancia, se puede encontrar que la ganancia del filtro viene dada por: ^{[ cita requerida ]}${\displaystyle {\textbf {P}}_{k}}$

${\displaystyle {\textbf {L}}_{k}={\begin{bmatrix}{\tfrac {\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}}{\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}\scriptstyle \sigma _{2}^{2}}}&{\tfrac {\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}}{\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}\scriptstyle \sigma _{2}^{2}}}\end{bmatrix}}.}$

Por inspección, cuando la primera medición está libre de ruido, el filtro ignora la segunda medición y viceversa. Es decir, la estimación combinada se pondera por la calidad de las mediciones.

Centralizado versus descentralizado

En la fusión de sensores, centralizado versus descentralizado se refiere al lugar donde ocurre la fusión de los datos. En la fusión centralizada, los clientes simplemente envían todos los datos a una ubicación central, y alguna entidad en la ubicación central es responsable de correlacionar y fusionar los datos. En descentralizado, los clientes asumen la responsabilidad total de fusionar los datos. "En este caso, cada sensor o plataforma puede verse como un activo inteligente que tiene cierto grado de autonomía en la toma de decisiones". ^[5]

Existen múltiples combinaciones de sistemas centralizados y descentralizados.

Otra clasificación de la configuración del sensor se refiere a la coordinación del flujo de información entre sensores. ^{[6] [7]} Estos mecanismos proporcionan una forma de resolver conflictos o desacuerdos y permitir el desarrollo de estrategias de detección dinámica. Los sensores tienen una configuración redundante (o competitiva) si cada nodo ofrece medidas independientes de las mismas propiedades. Esta configuración se puede utilizar en la corrección de errores al comparar información de varios nodos. Las estrategias redundantes se utilizan a menudo con fusiones de alto nivel en los procedimientos de votación. ^{[8] [9]}La configuración complementaria se produce cuando varias fuentes de información proporcionan información diferente sobre las mismas características. Esta estrategia se utiliza para fusionar información a nivel de datos sin procesar dentro de los algoritmos de toma de decisiones. Las características complementarias se aplican típicamente en tareas de reconocimiento de movimiento con redes neuronales , ^{[10] [11]} modelo de Markov oculto , ^{[12] [13]} máquina de vectores de soporte , ^[14] métodos de agrupamiento y otras técnicas. ^{[14] [13]} La fusión cooperativa de sensores utiliza la información extraída por múltiples sensores independientes para proporcionar información que no estaría disponible en un solo sensor. Por ejemplo, los sensores conectados a segmentos corporales se utilizan para la detección del ángulo entre ellos. La estrategia cooperativa de sensores proporciona información imposible de obtener de un solo nodo. La fusión de información cooperativa se puede utilizar en el reconocimiento de movimiento, ^[15] análisis de la marcha , análisis del movimiento , ^{[16] [17]} ,. ^[18]

Niveles

Hay varias categorías o niveles de fusión de sensores que se utilizan comúnmente. * ^{[19] [20] [21] [22] [23] [24]}

• Nivel 0: alineación de datos
• Nivel 1: evaluación de la entidad (por ejemplo, señal / característica / objeto).
  • Seguimiento y detección / reconocimiento / identificación de objetos
• Nivel 2 - Evaluación de la situación
• Nivel 3 - Evaluación de impacto
• Nivel 4: refinamiento del proceso (es decir, gestión de sensores)
• Nivel 5 - Refinamiento del usuario

El nivel de fusión del sensor también se puede definir basándose en el tipo de información utilizada para alimentar el algoritmo de fusión. ^[25] Más precisamente, la fusión de sensores se puede realizar fusionando datos brutos provenientes de diferentes fuentes, características extrapoladas o incluso decisiones tomadas por nodos individuales.

• La fusión a nivel de datos - nivel de datos (o temprana) tiene como objetivo fusionar datos sin procesar de múltiples fuentes y representar la técnica de fusión en el nivel más bajo de abstracción. Es la técnica de fusión de sensores más común en muchos campos de aplicación. Los algoritmos de fusión de nivel de datos generalmente tienen como objetivo combinar múltiples fuentes homogéneas de datos sensoriales para lograr lecturas más precisas y sintéticas. ^[26]Cuando se emplean dispositivos portátiles, la compresión de datos representa un factor importante, ya que la recopilación de información sin procesar de múltiples fuentes genera enormes espacios de información que podrían definir un problema en términos de memoria o ancho de banda de comunicación para sistemas portátiles. La fusión de información a nivel de datos tiende a generar grandes espacios de entrada, que ralentizan el proceso de toma de decisiones. Además, la fusión del nivel de datos a menudo no puede manejar mediciones incompletas. Si una modalidad de sensor se vuelve inútil debido a fallas, averías u otras razones, todos los sistemas podrían producir resultados ambiguos.
• Nivel de característica: las características representan información calculada a bordo por cada nodo sensor. Luego, estas características se envían a un nodo de fusión para alimentar el algoritmo de fusión. ^[27] Este procedimiento genera espacios de información más pequeños con respecto a la fusión a nivel de datos, y esto es mejor en términos de carga computacional. Obviamente, es importante seleccionar correctamente las características sobre las que definir los procedimientos de clasificación: la elección del conjunto de características más eficientes debe ser un aspecto principal en el diseño de métodos. El uso de algoritmos de selección de características que detectan correctamente las características correlacionadas y los subconjuntos de características mejora la precisión del reconocimiento, pero generalmente se requieren grandes conjuntos de entrenamiento para encontrar el subconjunto de características más significativo. ^[25]
• La fusión de nivel de decisión - nivel de decisión (o tardía) es el procedimiento de seleccionar una hipótesis de un conjunto de hipótesis generadas por decisiones individuales (generalmente más débiles) de múltiples nodos. ^[28] Es el nivel más alto de abstracción y utiliza la información que ya ha sido elaborada a través del procesamiento preliminar a nivel de datos o características. El objetivo principal de la fusión de decisiones es utilizar un clasificador de metanivel mientras que los datos de los nodos se procesan previamente extrayendo características de ellos. ^[29] Por lo general, la fusión de sensores de nivel de decisión se utiliza en actividades de clasificación y reconocimiento y los dos enfoques más comunes son el voto por mayoría e ingenuo-Bayes. ^{[ cita requerida ]} Las ventajas que se derivan de la fusión del nivel de decisión incluyen el ancho de banda de comunicación y una mayor precisión en las decisiones. También permite la combinación de sensores heterogéneos. ^[27]

Aplicaciones

Una aplicación de la fusión de sensores es GPS / INS , donde los datos del sistema de posicionamiento global y del sistema de navegación inercial se fusionan utilizando varios métodos diferentes, por ejemplo, el filtro Kalman extendido . Esto es útil, por ejemplo, para determinar la altitud de una aeronave utilizando sensores de bajo costo. ^[30] Otro ejemplo es el uso del enfoque de fusión de datos para determinar el estado del tráfico (tráfico bajo, atasco de tráfico, flujo medio) utilizando datos de sensores, imágenes y acústicos recopilados al costado de la carretera. ^[31]En el campo de la conducción autónoma, la fusión de sensores se utiliza para combinar la información redundante de sensores complementarios con el fin de obtener una representación más precisa y fiable del entorno. ^[32]

Aunque técnicamente no es un método de fusión de sensores dedicado, los métodos modernos basados ​​en redes neuronales convolucionales pueden procesar simultáneamente muchos canales de datos de sensores (como imágenes hiperespectrales con cientos de bandas ^[33] ) y fusionar información relevante para producir resultados de clasificación.

Ver también

• Brooks - algoritmo Iyengar
• Datos (informática)
• Procesamiento de datos
• Método de Fisher para combinar pruebas de significancia independientes
• Fusión de imágenes
• Integración multimodal
• Cuadrícula de sensores
• Transducer Markup Language (TML) es un lenguaje de marcado basado en XML que permite la fusión de sensores.

Referencias

1. Elmenreich, W. (2002). Fusión de sensores en sistemas activados por tiempo, tesis doctoral (PDF) . Viena, Austria: Universidad Tecnológica de Viena. pag. 173.
2. Haghighat, Mohammad Bagher Akbari; Aghagolzadeh, Ali; Seyedarabi, Hadi (2011). "Fusión de imágenes de enfoque múltiple para redes de sensores visuales en el dominio DCT". Computación e Ingeniería Eléctrica . 37 (5): 789–797. doi : 10.1016 / j.compeleceng.2011.04.016 .
3. Li, Wangyan; Wang, Zidong; Wei, Guoliang; Ma, Lifeng; Hu, Jun; Ding, Derui (2015). "Una encuesta sobre filtrado de consenso y fusión multisensor para redes de sensores" . Dinámica discreta en la naturaleza y la sociedad . 2015 : 1–12. doi : 10.1155 / 2015/683701 . ISSN 1026-0226 . 
4. Maybeck, S. (1982). Modelos estocásticos, estimación y control . River Edge, Nueva Jersey: Academic Press.
5. N. Xiong; P. Svensson (2002). "Gestión multisensor para la fusión de información: problemas y enfoques" . Fusión de información. pag. 3 (2): 163–186.
6. Durrant-Whyte, Hugh F. (2016). "Modelos de sensores e integración de multisensores". La Revista Internacional de Investigación en Robótica . 7 (6): 97-113. doi : 10.1177 / 027836498800700608 . ISSN 0278-3649 . 
7. Galar, Diego; Kumar, Uday (2017). Mantenimiento electrónico: herramientas electrónicas esenciales para la eficiencia . Prensa académica. pag. 26. ISBN 9780128111543.
8. Li, Wenfeng; Bao, Junrong; Fu, Xiuwen; Fortino, Giancarlo; Galzarano, Stefano (2012). "Reconocimiento de posturas humanas basado en la teoría de la evidencia DS y fusión de datos multisensor". 2012 12º Simposio Internacional IEEE / ACM sobre Computación en Cluster, Cloud y Grid (ccgrid 2012) . págs. 912–917. doi : 10.1109 / CCGrid.2012.144 . ISBN 978-1-4673-1395-7.
9. Fortino, Giancarlo; Gravina, Raffaele (2015). "Fall-MobileGuard: un sistema inteligente de detección de caídas en tiempo real" . Actas de la décima conferencia internacional de EAI sobre redes de áreas corporales . doi : 10.4108 / eai.28-9-2015.2261462 . ISBN 978-1-63190-084-6.
10. Tao, Shuai; Zhang, Xiaowei; Cai, Huaying; Lv, Zeping; Hu, Caiyou; Xie, Haiqun (2018). "Autenticación personal biométrica basada en la marcha mediante el uso de sensores inerciales MEMS". Revista de Inteligencia Ambiental y Computación Humanizada . 9 (5): 1705-1712. doi : 10.1007 / s12652-018-0880-6 . ISSN 1868-5137 . 
11. Dehzangi, Omid; Taherisadr, Mojtaba; ChangalVala, Raghvendar (2017). "Reconocimiento de la marcha basado en IMU mediante redes neuronales convolucionales y fusión de múltiples sensores" . Sensores . 17 (12): 2735. doi : 10.3390 / s17122735 . ISSN 1424-8220 . PMC 5750784 . PMID 29186887 .   
12. Guenterberg, E .; Yang, AY; Ghasemzadeh, H .; Jafari, R .; Bajcsy, R .; Sastry, SS (2009). "Un método para extraer parámetros temporales basado en modelos de Markov ocultos en redes de sensores corporales con sensores inerciales" (PDF) . Transacciones IEEE sobre tecnología de la información en biomedicina . 13 (6): 1019–1030. doi : 10.1109 / TITB.2009.2028421 . ISSN 1089-7771 . PMID 19726268 .   
13. Parisi, Federico; Ferrari, Gianluigi; Giuberti, Matteo; Contin, Laura; Cimolin, Veronica; Azzaro, Corrado; Albani, Giovanni; Mauro, Alessandro (2016). "Caracterización basada en BSN inercial y evaluación automática UPDRS de la tarea de la marcha de los parkinsonianos". Transacciones IEEE sobre computación afectiva . 7 (3): 258-271. doi : 10.1109 / TAFFC.2016.2549533 . ISSN 1949-3045 . 
14. Gao, Lei; Bourke, AK; Nelson, John (2014). "Evaluación de sistemas de reconocimiento de actividad multisensor basados ​​en acelerómetros versus sistemas de reconocimiento de actividad de un solo sensor". Ingeniería médica y física . 36 (6): 779–785. doi : 10.1016 / j.medengphy.2014.02.012 . ISSN 1350-4533 . PMID 24636448 .  
15. Xu, James Y .; Wang, Yan; Barrett, Mick; Dobkin, Bruce; Pottie, Greg J .; Kaiser, William J. (2016). "Perfilado personalizado de la vida diaria multicapa a través de la clasificación de actividades habilitadas por contexto y la reconstrucción del movimiento: un enfoque de sistema integrado". IEEE Journal of Biomedical and Health Informatics . 20 (1): 177–188. doi : 10.1109 / JBHI.2014.2385694 . ISSN 2168-2194 . PMID 25546868 .  
16. Chia Bejarano, Noelia; Ambrosini, Emilia; Pedrocchi, Alessandra; Ferrigno, Giancarlo; Monticone, Marco; Ferrante, Simona (2015). "Un novedoso algoritmo adaptativo en tiempo real para detectar eventos de la marcha desde sensores portátiles". Transacciones IEEE sobre sistemas neuronales e ingeniería de rehabilitación . 23 (3): 413–422. doi : 10.1109 / TNSRE.2014.2337914 . ISSN 1534-4320 . PMID 25069118 .  
17. Wang, Zhelong; Qiu, Sen; Cao, Zhongkai; Jiang, Ming (2013). "Evaluación cuantitativa del análisis de la marcha dual basada en sensores inerciales con red de sensores corporales". Revisión del sensor . 33 (1): 48–56. doi : 10.1108 / 02602281311294342 . ISSN 0260-2288 . 
18. Kong, Weisheng; Wanning, Lauren; Sessa, Salvatore; Zecca, Massimiliano; Magistro, Daniele; Takeuchi, Hikaru; Kawashima, Ryuta; Takanishi, Atsuo (2017). "Secuencia de pasos y detección de dirección de la prueba de cuatro pasos cuadrados" (PDF) . IEEE Robotics and Automation Letters . 2 (4): 2194-2200. doi : 10.1109 / LRA.2017.2723929 . ISSN 2377-3766 .  
19. Repensar los niveles de fusión de datos de JDL
20. Blasch, E., Plano, S. (2003) "Nivel 5: Refinamiento del usuario para ayudar al proceso de fusión", Actas del SPIE, vol. 5099.
21. J. Llinas; C. Bowman; G. Rogova; A. Steinberg; E. Waltz; F. White (2004). Revisando el modelo de fusión de datos JDL II . Conferencia Internacional sobre Fusión de Información. CiteSeerX 10.1.1.58.2996 . 
22. Blasch, E. (2006) " Sensor, usuario, gestión de recursos de la misión (SUM) y su interacción con la fusión de nivel 2/3 ^{[ enlace muerto permanente ]} " Conferencia internacional sobre fusión de información.
23. http://defensesystems.com/articles/2009/09/02/c4isr1-sensor-fusion.aspx
24. Blasch, E., Steinberg, A., Das, S., Llinas, J., Chong, C.-Y., Kessler, O., Waltz, E., White, F. (2013) "Revisitando el JDL modelo de explotación de la información, "Conferencia Internacional sobre Fusión de la Información.
25. Gravina, Raffaele; Alinia, Parastoo; Ghasemzadeh, Hassan; Fortino, Giancarlo (2017). "Fusión multisensor en redes de sensores corporales: retos de investigación y de vanguardia". Fusión de información . 35 : 68–80. doi : 10.1016 / j.inffus.2016.09.005 . ISSN 1566-2535 . 
26. Gao, Teng; Song, Jin-Yan; Zou, Ji-Yan; Ding, Jin-Hua; Wang, De-Quan; Jin, Ren-Cheng (2015). "Una descripción general de los mecanismos de compensación de rendimiento en el protocolo de enrutamiento para redes de sensores inalámbricos verdes". Redes inalámbricas . 22 (1): 135-157. doi : 10.1007 / s11276-015-0960-x . ISSN 1022-0038 . 
27. Chen, Chen; Jafari, Roozbeh; Kehtarnavaz, Nasser (2015). "Un estudio de la fusión de sensores inerciales y de profundidad para el reconocimiento de la acción humana". Herramientas y aplicaciones multimedia . 76 (3): 4405–4425. doi : 10.1007 / s11042-015-3177-1 . ISSN 1380-7501 . 
28. Banovic, Nikola; Buzali, Tofi; Caballero, Fanny; Mankoff, Jennifer; Dey, Anind K. (2016). "Modelado y comprensión del comportamiento humano rutinario". Actas de la Conferencia CHI 2016 sobre factores humanos en sistemas informáticos - CHI '16 . págs. 248-260. doi : 10.1145 / 2858036.2858557 . ISBN 9781450333627.
29. María, Aileni Raluca; Sever, Pasca; Carlos, Valderrama (2015). "Algoritmo de fusión de datos de sensores biomédicos para mejorar la eficiencia de sistemas tolerantes a fallas en caso de dispositivo electrónico portátil". 2015 Conferencia Grid, Cloud & High Performance Computing in Science (ROLCG) . págs. 1–4. doi : 10.1109 / ROLCG.2015.7367228 . ISBN 978-6-0673-7040-9.
30. Bruto, Jason; Yu Gu; Matthew Rhudy; Srikanth Gururajan; Marcello Napolitano (julio de 2012). "Evaluación de prueba de vuelo de algoritmos de fusión de sensores para estimación de actitudes". Transacciones IEEE en sistemas electrónicos y aeroespaciales . 48 (3): 2128–2139. doi : 10.1109 / TAES.2012.6237583 .
31. Joshi, V., Rajamani, N., Takayuki, K., Prathapaneni, N., Subramaniam, LV (2013). Aprendizaje basado en la fusión de información para la detección del estado del tráfico frugal . Actas de la Vigésima Tercera Conferencia Conjunta Internacional sobre Inteligencia Artificial.
32. Mircea Paul, Muresan; Ion, Giosan; Sergiu, Nedevschi (18 de febrero de 2020). "Estabilización y validación de la posición del objeto 3D mediante fusión de sensor multimodal y segmentación semántica" . Sensores . 20 (4): 1110. doi : 10.3390 / s20041110 . PMID 32085608 . 
33. Ran, Lingyan; Zhang, Yanning; Wei, Wei; Zhang, Qilin (23 de octubre de 2017). "Un marco de clasificación de imágenes hiperespectrales con características de par de píxeles espaciales" . Sensores . 17 (10): 2421. doi : 10.3390 / s17102421 . PMC 5677443 . PMID 29065535 .  

Enlaces externos

• Análisis de correlación discriminante (DCA) ^[1]
• Sociedad Internacional de Fusión de la Información

1. Haghighat, Mohammad; Abdel-Mottaleb, Mohamed; Alhalabi, Wadee (2016). "Análisis de correlación discriminante: fusión de nivel de característica en tiempo real para el reconocimiento biométrico multimodal" . Transacciones IEEE sobre seguridad y análisis forense de la información . 11 (9): 1984–1996. doi : 10.1109 / TIFS.2016.2569061 .