De Wikipedia, la enciclopedia libre
Saltar a navegación Saltar a búsqueda
No confundir con estructura por movimiento (psicofísica) .

La estructura a partir del movimiento ( SfM ) [1] es una técnica de obtención de imágenes de rango fotogramétrico para estimar estructuras tridimensionales a partir de secuencias de imágenes bidimensionales que pueden acoplarse con señales de movimiento local . Se estudia en los campos de la visión por computadora y la percepción visual . En visión biológica, SfM se refiere al fenómeno por el cual los humanos (y otras criaturas vivientes) pueden recuperar la estructura 3D del campo de movimiento 2D (retiniano) proyectado de un objeto o escena en movimiento.

Principio [ editar ]

Modelo de superficie digital del sitio de construcción del intercambiador de autopistas
Foto real x SfM con color de textura x SfM con sombreador simple. Hecho con la GUI de Python Photogrammetry Toolbox y renderizado en Blender with Cycles.
Modelo de superficie digital 3D del aeródromo de Bezmiechowa extraído de los datos recopilados durante el vuelo de 30 minutos del UAV Pteryx

Los seres humanos perciben mucha información sobre la estructura tridimensional en su entorno moviéndose alrededor de ella. Cuando el observador se mueve, los objetos a su alrededor se mueven en diferentes cantidades dependiendo de su distancia del observador. Esto se conoce como paralaje de movimiento , y a partir de esta información de profundidad se puede utilizar para generar una representación 3D precisa del mundo que los rodea. [2]

Encontrar la estructura a partir del movimiento presenta un problema similar al de encontrar la estructura a partir de la visión estéreo . En ambos casos, es necesario encontrar la correspondencia entre las imágenes y la reconstrucción del objeto 3D.

Para encontrar la correspondencia entre imágenes, las características como los puntos de las esquinas (bordes con degradados en varias direcciones) se rastrean de una imagen a la siguiente. Uno de los detectores de características más utilizados es la transformación de características invariantes de escala (SIFT). Utiliza los máximos de una pirámide de diferencia de gaussianos (DOG) como características. El primer paso en SIFT es encontrar una dirección de gradiente dominante. Para que sea invariante en la rotación, el descriptor se gira para ajustarse a esta orientación. [3] Otro detector de características comunes es el SURF ( características robustas aceleradas ). [4] En SURF, el PERRO se reemplaza con una matriz de Hesse.-detector de gotas. Además, en lugar de evaluar los histogramas de gradiente, SURF calcula las sumas de los componentes del gradiente y las sumas de sus valores absolutos. [5] Su uso de imágenes integrales permite que las características se detecten extremadamente rápido con una alta tasa de detección. [6] Por lo tanto, en comparación con SIFT, SURF es un detector de características más rápido con el inconveniente de una menor precisión en las posiciones de las características. [5] Otro tipo de característica que recientemente se hizo práctica para la estructura a partir del movimiento son las curvas generales (por ejemplo, localmente un borde con gradientes en una dirección), parte de una tecnología conocida como SfM sin sentido , [7] [8] útil cuando las características puntuales son insuficiente, común en entornos artificiales. [9]

A continuación, se compararán las características detectadas en todas las imágenes. Uno de los algoritmos de coincidencia que rastrea las características de una imagen a otra es el rastreador Lukas-Kanade . [10]

A veces, algunas de las características coincidentes no coinciden correctamente. Es por eso que las coincidencias también deben filtrarse. RANSAC (consenso de muestra aleatoria) es el algoritmo que se utiliza normalmente para eliminar las correspondencias de valores atípicos. En el artículo de Fischler y Bolles, RANSAC se utiliza para resolver el problema de determinación de la ubicación (LDP), donde el objetivo es determinar los puntos en el espacio que se proyectan en una imagen en un conjunto de puntos de referencia con ubicaciones conocidas. [11]

Las trayectorias de las características a lo largo del tiempo se utilizan para reconstruir sus posiciones 3D y el movimiento de la cámara. [12] Una alternativa viene dada por los llamados enfoques directos, donde la información geométrica (estructura 3D y movimiento de la cámara) se estima directamente a partir de las imágenes, sin abstracción intermedia de características o esquinas. [13]

Hay varios enfoques para estructurar a partir del movimiento. En SFM incremental, [14] las poses de cámara se resuelven y se agregan una por una a la colección. En SFM global, [15] [16] las poses de todas las cámaras se resuelven al mismo tiempo. Un enfoque algo intermedio es el MFS fuera del núcleo , donde se calculan varias reconstrucciones parciales que luego se integran en una solución global.

Aplicaciones [ editar ]

Geociencias [ editar ]

La estructura de la fotogrametría de movimiento con estéreo de múltiples vistas proporciona modelos de relieve a hiperescala utilizando imágenes adquiridas de una variedad de cámaras digitales y, opcionalmente, una red de puntos de control terrestre. La técnica no está limitada en frecuencia temporal y puede proporcionar datos de nubes de puntos comparables en densidad y precisión a los generados por el escaneo láser terrestre y aéreo a una fracción del costo. [17] [18] [19] La estructura del movimiento también es útil en entornos remotos o accidentados donde el escaneo láser terrestre está limitado por la portabilidad del equipo y el escaneo láser aéreo está limitado por la rugosidad del terreno que causa la pérdida de datos y el acortamiento de la imagen. La técnica se ha aplicado en muchos entornos, como ríos, [20] tierras baldías, [21]costas arenosas, [22] [23] zonas de fallas, [24] deslizamientos de tierra, [25] y configuraciones de arrecifes de coral. [26] SfM también se ha aplicado con éxito para la evaluación de grandes volúmenes de acumulación de madera [27] y porosidad [28] en sistemas fluviales, así como para la caracterización de macizos rocosos mediante la determinación de algunas propiedades como la orientación, persistencia, etc. de discontinuidades. [29] [30]Se puede utilizar una gama completa de cámaras digitales, incluidas SLR digitales, cámaras digitales compactas e incluso teléfonos inteligentes. Sin embargo, en general, los datos de mayor precisión se lograrán con cámaras más caras, que incluyen lentes de mayor calidad óptica. Por lo tanto, la técnica ofrece oportunidades interesantes para caracterizar la topografía de la superficie con un detalle sin precedentes y, con datos multitemporales, para detectar cambios de elevación, posición y volumétricos que son sintomáticos de los procesos de la superficie terrestre. La estructura del movimiento se puede colocar en el contexto de otros métodos topográficos digitales.

Patrimonio cultural [ editar ]

El patrimonio cultural está presente en todas partes. Su control estructural, documentación y conservación es uno de los principales deberes de la humanidad ( UNESCO ). Bajo este punto de vista, SfM se utiliza con el fin de estimar adecuadamente las situaciones, así como los esfuerzos y costos de planificación y mantenimiento, control y restauración. Debido a que a menudo existen serias limitaciones relacionadas con la accesibilidad del sitio y la imposibilidad de instalar pilares topográficos invasivos que no permitían el uso de rutinas topográficas tradicionales (como estaciones totales), SfM proporciona un enfoque no invasivo para la estructura, sin la interacción directa. entre la estructura y cualquier operador. El uso es preciso ya que solo se necesitan consideraciones cualitativas. Es lo suficientemente rápido para responder a las necesidades de gestión inmediata del monumento. [31]La primera fase operativa es una preparación precisa del levantamiento fotogramétrico donde se establece la relación entre la mejor distancia al objeto, la distancia focal, la distancia de muestreo del suelo (GSD) y la resolución del sensor. Con esta información se deben realizar las adquisiciones fotográficas programadas utilizando un solapamiento vertical de al menos el 60% (figura 02). [32]

Ver también [ editar ]

  • Reconstrucción 3D a partir de múltiples imágenes.
  • Ajuste de paquete
  • Comparación de software de fotogrametría
  • Visión estéreo por computadora
  • Geometría epipolar
  • Efecto de profundidad cinética
  • Partido en movimiento
  • Campo de movimiento
  • Paralaje de movimiento
  • Coincidencia semi-global
  • Localización y mapeo simultáneos
  • Estereofotogrametría
  • Factorización de Tomasi-Kanade
  • Conversión de 2D a 3D

Lectura adicional [ editar ]

  • Jonathan L. Carrivick, Mark W. Smith, Duncan J. Quincey (2016). Estructura del movimiento en las geociencias . Wiley-Blackwell. 208 páginas. ISBN  978-1-118-89584-9
  • Richard Hartley y Andrew Zisserman (2003). Geometría de vista múltiple en visión artificial . Prensa de la Universidad de Cambridge. ISBN 978-0-521-54051-3.
  • Olivier Faugeras y Quang-Tuan Luong y Theodore Papadopoulo (2001). La geometría de múltiples imágenes . MIT Press. ISBN 978-0-262-06220-6.
  • Yi Ma; S. Shankar Sastry ; Jana Kosecka ; Stefano Soatto (noviembre de 2003). Una invitación a la visión tridimensional: de las imágenes a los modelos geométricos . Serie de Matemáticas Aplicadas Interdisciplinarias, # 26. Springer-Verlag Nueva York, LLC. ISBN 978-0-387-00893-6.

Referencias [ editar ]

  1. ^ S. Ullman (1979). "La interpretación de la estructura del movimiento" (PDF) . Actas de la Royal Society de Londres . 203 (1153): 405–426. Código Bibliográfico : 1979RSPSB.203..405U . doi : 10.1098 / rspb.1979.0006 . hdl : 1721,1 / 6298 . PMID 34162 . S2CID 11995230 .   
  2. ^ Linda G. Shapiro ; George C. Stockman (2001). Visión por computadora . Prentice Hall. ISBN 978-0-13-030796-5.
  3. ^ DG Lowe (2004). "Características de imagen distintivas de puntos clave invariantes de escala". Revista Internacional de Visión por Computador . 60 (2): 91-110. CiteSeerX 10.1.1.73.2924 . doi : 10.1023 / b: visi.0000029664.99615.94 . S2CID 221242327 .  
  4. ^ H. Bay; T. Tuytelaars y L. Van Gool (2006). "Surf: Funciones robustas aceleradas". IX Congreso Europeo de Visión por Computador .
  5. ↑ a b K. Häming y G. Peters (2010). "La tubería de reconstrucción de estructura a partir de movimiento: una encuesta centrada en secuencias de imágenes cortas" . Kybernetika . 46 (5): 926–937.
  6. ^ Viola, P .; Jones, M. (2001). "Detección rápida de objetos mediante una cascada mejorada de funciones simples" . Actas de la Conferencia de la Sociedad de Computación IEEE de 2001 sobre Visión por Computadora y Reconocimiento de Patrones. CVPR 2001 . Kauai, HI, EE.UU .: IEEE Comput. Soc. 1 : I – 511 – I-518. doi : 10.1109 / CVPR.2001.990517 . ISBN 978-0-7695-1272-3. S2CID  2715202 .
  7. ^ Nurutdinova, Andrew; Fitzgibbon, Andrew (2015). "Hacia una estructura sin sentido a partir del movimiento: reconstrucción 3D y parámetros de la cámara a partir de curvas 3D generales" (PDF) . Actas de la Conferencia Internacional IEEE sobre Visión por Computador (ICCV 2015) : 2363–2371. doi : 10.1109 / ICCV.2015.272 . ISBN  978-1-4673-8391-2. S2CID  9120123 .
  8. ^ Fabbri, Ricardo; Giblin, Peter; Kimia, Benjamin (2012). "Estimación de la postura de la cámara utilizando geometría diferencial de curva de primer orden" (PDF) . Lecture Notes in Computer Science (ECCV 2012) . Apuntes de conferencias en informática. 7575 : 231–244. doi : 10.1007 / 978-3-642-33765-9_17 . ISBN  978-3-642-33764-2.
  9. ^ Apple, equipo ARKIT (2018). "Comprensión del seguimiento y la detección de ARKit" . WWDC .
  10. ^ BD Lucas y T. Kanade. "Una técnica de registro de imágenes iterativa con una aplicación a la visión estéreo". Ijcai81 .
  11. ^ MA Fischler y RC Bolles (1981). "Consenso de muestra aleatoria: un paradigma para el ajuste de modelos con aplicaciones de análisis de imágenes y cartografía automatizada". Comun. ACM . 24 (6): 381–395. doi : 10.1145 / 358669.358692 . S2CID 972888 . 
  12. ^ F. Dellaert; S. Seitz; C. Thorpe y S. Thrun (2000). "Estructura de movimiento sin correspondencia" (PDF) . Conferencia de la IEEE Computer Society sobre Visión por Computadora y Reconocimiento de Patrones .
  13. ^ Engel, Jakob; Schöps, Thomas; Cremers, Daniel (2014). "LSD-SLAM: SLAM monocular directo a gran escala". Congreso Europeo de Visión por Computador (ECCV) 2014 (PDF) .
  14. ^ JL Schönberger y JM Frahm (2016). "Estructura de movimiento revisada" (PDF) . Conferencia de la IEEE Computer Society sobre Visión por Computadora y Reconocimiento de Patrones .
  15. ^ C. Tomasi y T. Kanade (1992). "Forma y movimiento de flujos de imágenes en ortografía: un método de factorización". Revista Internacional de Visión por Computador . 9 (2): 137-154. CiteSeerX 10.1.1.131.9807 . doi : 10.1007 / BF00129684 . S2CID 2931825 .  
  16. ^ VM Govindu (2001). "Combinando restricciones de dos vistas para la estimación de movimiento". Conferencia de la IEEE Computer Society sobre Visión por Computadora y Reconocimiento de Patrones . 2 : II-218 – II-225. doi : 10.1109 / CVPR.2001.990963 . ISBN 0-7695-1272-0. S2CID  8252027 .
  17. ^ Westoby, MJ; Brasington, J .; Glasser, NF; Hambrey, MJ; Reynolds, JM (15 de diciembre de 2012). " Fotogrametría ' Estructura a partir del movimiento': una herramienta eficaz y de bajo costo para aplicaciones de geociencias" . Geomorfología . 179 : 300–314. Código bibliográfico : 2012Geomo.179..300W . doi : 10.1016 / j.geomorph.2012.08.021 .
  18. ^ James, MR; Robson, S. (1 de septiembre de 2012). "Reconstrucción sencilla de superficies 3D y topografía con una cámara: aplicación de precisión y geociencia" (PDF) . Revista de Investigación Geofísica: Superficie de la Tierra . 117 (F3): F03017. Código bibliográfico : 2012JGRF..117.3017J . doi : 10.1029 / 2011jf002289 . ISSN 2156-2202 .  
  19. ^ Fonstad, Mark A .; Dietrich, James T .; Courville, Bretaña C .; Jensen, Jennifer L .; Carbonneau, Patrice E. (30 de marzo de 2013). "Estructura topográfica a partir del movimiento: un nuevo desarrollo en la medición fotogramétrica" (PDF) . Procesos y accidentes geográficos de la superficie terrestre . 38 (4): 421–430. Código bibliográfico : 2013ESPL ... 38..421F . doi : 10.1002 / esp.3366 . ISSN 1096-9837 .  
  20. ^ Javernick, L .; Brasington, J .; Caruso, B. (2014). "Modelado de la topografía de ríos trenzados poco profundos utilizando fotogrametría de estructura a partir de movimiento". Geomorfología . 213 : 166-182. Código bibliográfico : 2014Geomo.213..166J . doi : 10.1016 / j.geomorph.2014.01.006 .
  21. ^ Smith, Mark William; Vericat, Damià (30 de septiembre de 2015). "De parcelas experimentales a paisajes experimentales: topografía, erosión y deposición en tierras baldías subhúmedas a partir de fotogrametría de estructura a partir de movimiento" (PDF) . Procesos y accidentes geográficos de la superficie terrestre . 40 (12): 1656–1671. Código bibliográfico : 2015ESPL ... 40.1656S . doi : 10.1002 / esp.3747 . ISSN 1096-9837 .  
  22. ^ Goldstein, Evan B; Oliver, Amber R; deVries, Elsemarie; Moore, Laura J; Jass, Theo (22 de octubre de 2015). "Requisitos del punto de control terrestre para la topografía derivada de la estructura del movimiento en entornos costeros de baja pendiente" . PrePrints de PeerJ . doi : 10.7287 / peerj.preprints.1444v1 . ISSN 2167-9843 . 
  23. ^ Mancini, Francesco; Dubbini, Marco; Gattelli, Mario; Stecchi, Francesco; Fabbri, Stefano; Gabbianelli, Giovanni (9 de diciembre de 2013). "Uso de vehículos aéreos no tripulados (UAV) para la reconstrucción de topografía de alta resolución: la estructura del enfoque de movimiento en entornos costeros" . Percepción remota . 5 (12): 6880–6898. Código Bibliográfico : 2013RemS .... 5.6880M . doi : 10.3390 / rs5126880 .
  24. ^ Johnson, Kendra; Nissen, Edwin; Saripalli, Srikanth; Arrowsmith, J. Ramón; McGarey, Patrick; Scharer, Katherine; Williams, Patrick; Blisniuk, Kimberly (1 de octubre de 2014). "Mapeo rápido de la topografía de la zona de falla ultrafina con estructura de movimiento" . Geosfera . 10 (5): 969–986. Código bibliográfico : 2014Geosp..10..969J . doi : 10.1130 / GES01017.1 .
  25. ^ Del Soldato, M .; Riquelme, A .; Bianchini, S .; Tomàs, R .; Di Martire, D .; De Vita, P .; Moretti, S .; Calcaterra, D. (6 de junio de 2018). "Integración de datos de múltiples fuentes para investigar un siglo de evolución del deslizamiento de tierra de Agnone (Molise, sur de Italia)" . Deslizamientos de tierra . 15 (11): 2113–2128. doi : 10.1007 / s10346-018-1015-z . ISSN 1612-510X . 
  26. ^ Bryson, Mitch; Duce, Stephanie; Harris, Dan; Webster, Jody M .; Thompson, Alisha; Vila-Concejo, Ana; Williams, Stefan B. (2016). "Cambios geomórficos de un cayo de tejas de coral medidos usando fotografía aérea de cometas". Geomorfología . 270 : 1–8. Bibcode : 2016Geomo.270 .... 1B . doi : 10.1016 / j.geomorph.2016.06.018 .
  27. ^ Spreitzer, Gabriel; Tunnicliffe, Jon; Friedrich, Heide (1 de diciembre de 2019). "Uso de la fotogrametría de estructura de movimiento para evaluar grandes acumulaciones de madera (LW) en el campo". Geomorfología . 346 : 106851. Bibcode : 2019Geomo.34606851S . doi : 10.1016 / j.geomorph.2019.106851 .
  28. ^ Spreitzer, Gabriel; Tunnicliffe, Jon; Friedrich, Heide (2020). "Mapeo y evaluación de acumulación 3D de madera grande (LW) utilizando estructura de fotogrametría de movimiento en el laboratorio". Revista de hidrología . 581 : 124430. Bibcode : 2020JHyd..58124430S . doi : 10.1016 / j.jhydrol.2019.124430 .
  29. ↑ Riquelme, A .; Cano, M .; Tomás, R .; Abellán, A. (1 de enero de 2017). "Identificación de conjuntos de discontinuidad de taludes rocosos de escáner láser y nubes de puntos fotogramétricos: un análisis comparativo" . Ingeniería de Procesos . 191 : 838–845. doi : 10.1016 / j.proeng.2017.05.251 . ISSN 1877-7058 . 
  30. ↑ Jordá Bordehore, Luis; Riquelme, Adrian; Cano, Miguel; Tomás, Roberto (1 de septiembre de 2017). "Comparación de la colección de discontinuidad de campo manual y de detección remota utilizada en la evaluación de la estabilidad cinemática de taludes de rocas fallidas" (PDF) . Revista Internacional de Mecánica de Rocas y Ciencias Mineras . 97 : 24–32. doi : 10.1016 / j.ijrmms.2017.06.004 . hdl : 10045/67528 . ISSN 1365-1609 .  
  31. ^ Guidi. GRAMO.; Beraldin, JA; Atzeni, C. Modelado 3D de alta precisión del patrimonio cultural: la digitalización de Donatello. IEEE Trans. Proceso de imagen. 2004, 13, 370–380
  32. ^ Kraus, K., 2007. Fotogrametría: geometría de imágenes y escaneos láser. Walter de Gruyter, 459 págs. ISBN 978-3-11-019007-6