En visión artificial , la matriz esencial es una matriz ,que relaciona los puntos correspondientes en imágenes estéreo asumiendo que las cámaras satisfacen el modelo de cámara estenopeica .
Función
Más específicamente, si y son coordenadas de imagen normalizadas homogéneas en la imagen 1 y 2, respectivamente, luego
Si y corresponden al mismo punto 3D de la escena.
La relación anterior que define la matriz esencial fue publicada en 1981 por H. Christopher Longuet-Higgins , introduciendo el concepto a la comunidad de visión por computadora. El libro de Richard Hartley y Andrew Zisserman informa que una matriz análoga apareció en fotogrametría mucho antes de eso. El artículo de Longuet-Higgins incluye un algoritmo para estimar a partir de un conjunto de coordenadas de imagen normalizadas correspondientes, así como un algoritmo para determinar la posición relativa y la orientación de las dos cámaras dado que es conocida. Finalmente, muestra cómo se pueden determinar las coordenadas 3D de los puntos de la imagen con la ayuda de la matriz esencial.
Usar
La matriz esencial puede verse como un precursor de la matriz fundamental . Ambas matrices se pueden usar para establecer restricciones entre puntos de imagen coincidentes, pero la matriz esencial solo se puede usar en relación con las cámaras calibradas, ya que los parámetros de la cámara interna deben conocerse para lograr la normalización. Sin embargo, si las cámaras están calibradas, la matriz esencial puede ser útil para determinar tanto la posición relativa y la orientación entre las cámaras como la posición 3D de los puntos de imagen correspondientes.
Derivación y definición
Esta derivación sigue el artículo de Longuet-Higgins.
Dos cámaras normalizadas proyectan el mundo 3D en sus respectivos planos de imagen. Deje que las 3D coordenadas de un punto P sean y relativo al sistema de coordenadas de cada cámara. Dado que las cámaras están normalizadas, las coordenadas de imagen correspondientes son
- y
Una representación homogénea de las dos coordenadas de la imagen viene dada por
- y
que también se puede escribir de forma más compacta como
- y
dónde y son representaciones homogéneas de las coordenadas de la imagen 2D y y son coordenadas 3D adecuadas pero en dos sistemas de coordenadas diferentes.
Otra consecuencia de las cámaras normalizadas es que sus respectivos sistemas de coordenadas se relacionan mediante traslación y rotación. Esto implica que los dos conjuntos de coordenadas 3D están relacionados como
dónde es un matriz de rotación y es un vector de traducción tridimensional.
La matriz esencial se define entonces como:
dónde es la representación matricial del producto cruzado con.
Para ver que esta definición de la matriz esencial describe una restricción en las coordenadas de la imagen correspondiente, multiplique de izquierda a derecha con las coordenadas 3D del punto P en los dos sistemas de coordenadas diferentes:
- Inserte las relaciones anteriores entre y y la definición de en términos de y .
- desde es una matriz de rotación.
- Propiedades de la representación matricial del producto cruzado .
Finalmente, se puede suponer que tanto y son> 0, de lo contrario no son visibles en ambas cámaras. Esto da
que es la restricción que define la matriz esencial entre los puntos de imagen correspondientes.
Propiedades
No todos los arbitrarios La matriz puede ser una matriz esencial para algunas cámaras estéreo. Para ver este aviso que se define como el producto matricial de una matriz de rotación y una matriz de simetría sesgada , ambos. La matriz simétrica sesgada debe tener dos valores singulares que sean iguales y otro que sea cero. La multiplicación de la matriz de rotación no cambia los valores singulares lo que significa que también la matriz esencial tiene dos valores singulares que son iguales y uno que es cero. Las propiedades descritas aquí a veces se denominan restricciones internas de la matriz esencial.
Si la matriz esencial se multiplica por un escalar distinto de cero, el resultado es nuevamente una matriz esencial que define exactamente la misma restricción que lo hace. Esto significa quepuede verse como un elemento de un espacio proyectivo , es decir, dos de tales matrices se consideran equivalentes si una es una multiplicación escalar distinta de cero de la otra. Esta es una posición relevante, por ejemplo, sise estima a partir de los datos de la imagen. Sin embargo, también es posible adoptar la posición de que Se define como
dónde , y entonces tiene una "escala" bien definida. Depende de la aplicación qué puesto sea el más relevante.
Las restricciones también se pueden expresar como
y
Aquí, la última ecuación es una restricción de matriz, que puede verse como 9 restricciones, una para cada elemento de la matriz. Estas restricciones se utilizan a menudo para determinar la matriz esencial a partir de cinco pares de puntos correspondientes.
La matriz esencial tiene cinco o seis grados de libertad, según se considere o no un elemento proyectivo. La matriz de rotación y el vector de traducción tienen tres grados de libertad cada uno, en total seis. Sin embargo, si la matriz esencial se considera un elemento proyectivo, se debe restar un grado de libertad relacionado con la multiplicación escalar dejando cinco grados de libertad en total.
Estimacion
Dado un conjunto de puntos de imagen correspondientes, es posible estimar una matriz esencial que satisface la restricción epipolar definitoria para todos los puntos del conjunto. Sin embargo, si los puntos de la imagen están sujetos a ruido, que es el caso común en cualquier situación práctica, no es posible encontrar una matriz esencial que satisfaga exactamente todas las restricciones.
Dependiendo de cómo se mida el error relacionado con cada restricción, es posible determinar o estimar una matriz esencial que satisfaga de manera óptima las restricciones para un conjunto dado de puntos de imagen correspondientes. El enfoque más sencillo es establecer un problema de mínimos cuadrados totales , comúnmente conocido como el algoritmo de ocho puntos .
Extrayendo rotación y traslación
Dado que la matriz esencial se ha determinado para un par de cámaras estéreo, por ejemplo, utilizando el método de estimación anterior, esta información se puede usar para determinar también la rotación. y traducción (hasta una escala) entre los sistemas de coordenadas de las dos cámaras. En estas derivaciones se ve como un elemento proyectivo en lugar de tener una escala bien determinada.
Encontrar una solución
El siguiente método para determinar y se basa en realizar una SVD de, vea el libro de Hartley & Zisserman. [1] También es posible determinar y sin una SVD, por ejemplo, siguiendo el artículo de Longuet-Higgins.
Una SVD de da
dónde y son ortogonales matrices y es un matriz diagonal con
Las entradas diagonales de son los valores singulares de que, de acuerdo con las restricciones internas de la matriz esencial, debe constar de dos valores idénticos y uno cero. Definir
- con
y haz el siguiente ansatz
Desde puede no cumplir completamente con las restricciones cuando se trata de datos del mundo real (imágenes de cámara fe), la alternativa
- con
puede ayudar.
Prueba
Primero, estas expresiones para y satisfacen la ecuación definitoria para la matriz esencial
En segundo lugar, debe demostrarse que este es una representación matricial del producto cruzado para algunos . Desde
es el caso que es simétrica sesgada, es decir, . Este es también el caso de nuestro, desde
De acuerdo con las propiedades generales de la representación matricial del producto cruzado, se deduce que debe ser el operador de productos cruzados de exactamente un vector .
En tercer lugar, también debe demostrarse que la expresión anterior para es una matriz de rotación. Es el producto de tres matrices que son todas ortogonales, lo que significa quetambién es ortogonal o . Para ser una matriz de rotación adecuada, también debe satisfacer. Dado que, en este caso, se ve como un elemento proyectivo, esto se puede lograr invirtiendo el signo de si necesario.
Encontrar todas las soluciones
Hasta ahora, una posible solución para y ha sido establecido dado . Sin embargo, no es la única solución posible y puede que ni siquiera sea una solución válida desde un punto de vista práctico. Para empezar, dado que la escala de no está definido, la escala de también está indefinido. Debe estar en el espacio nulo de desde
Sin embargo, para el análisis posterior de las soluciones, la escala exacta de no es tan importante como su "signo", es decir, en qué dirección apunta. Dejar ser vector normalizado en el espacio nulo de . Entonces es el caso que ambos y son vectores de traducción válidos relativos . También es posible cambiar dentro en las derivaciones de y sobre. Para el vector de traslación, esto solo provoca un cambio de signo, que ya se ha descrito como una posibilidad. Para la rotación, en cambio, esto producirá una transformación diferente, al menos en el caso general.
Para resumir, dado hay dos direcciones opuestas que son posibles para y dos rotaciones diferentes que son compatibles con esta matriz esencial. En total, esto da cuatro clases de soluciones para la rotación y traslación entre los dos sistemas de coordenadas de la cámara. Además de eso, también hay una escala desconocida para la dirección de traducción elegida.
Sin embargo, resulta que solo una de las cuatro clases de soluciones puede realizarse en la práctica. Dadas un par de coordenadas de imagen correspondientes, tres de las soluciones siempre producirán un punto 3D que se encuentra detrás de al menos una de las dos cámaras y, por lo tanto, no se puede ver. Solo una de las cuatro clases producirá de manera consistente puntos 3D que se encuentran frente a ambas cámaras. Entonces esta debe ser la solución correcta. Aún así, sin embargo, tiene una escala positiva indeterminada relacionada con el componente de traducción.
La determinación anterior de y asume que Satisfacer las limitaciones internas de la matriz esencial . Si este no es el caso, que, por ejemplo, suele ser el caso sise ha estimado a partir de datos de imágenes reales (y ruidosos), se debe suponer que satisface aproximadamente las restricciones internas. El vector luego se elige como vector singular derecho de correspondiente al valor singular más pequeño.
Puntos 3D de los puntos de imagen correspondientes
Existen muchos métodos para computar dadas las correspondientes coordenadas de imagen normalizadas y , si se conoce la matriz esencial y se han determinado las correspondientes transformaciones de rotación y traslación.
Ver también
Cajas de herramientas
- Estimación de matrices esenciales en MATLAB (Manolis Lourakis).
enlaces externos
- Una investigación de la matriz esencial por RI Hartley
Referencias
- David Nistér (junio de 2004). "Una solución eficiente al problema de la pose relativa de cinco puntos". Transacciones IEEE sobre análisis de patrones e inteligencia de máquinas . 26 (6): 756–777. doi : 10.1109 / TPAMI.2004.17 . PMID 18579936 . S2CID 886598 .
- H. Stewénius y C. Engels y D. Nistér (junio de 2006). "Desarrollos recientes sobre la orientación relativa directa". Revista ISPRS de Fotogrametría y Percepción Remota . 60 (4): 284-294. Código Bibliográfico : 2006JPRS ... 60..284S . CiteSeerX 10.1.1.61.9329 . doi : 10.1016 / j.isprsjprs.2006.03.005 .
- H. Christopher Longuet-Higgins (septiembre de 1981). "Un algoritmo informático para reconstruir una escena a partir de dos proyecciones". Naturaleza . 293 (5828): 133-135. Código bibliográfico : 1981Natur.293..133L . doi : 10.1038 / 293133a0 . S2CID 4327732 .
- Richard Hartley y Andrew Zisserman (2003). Geometría de vista múltiple en visión artificial . Prensa de la Universidad de Cambridge. ISBN 978-0-521-54051-3.
- Yi Ma; Stefano Soatto ; Jana Košecká ; S. Shankar Sastry (2004). Una invitación a la visión 3-D . Saltador. ISBN 978-0-387-00893-6.
- Gang Xu y Zhengyou Zhang (1996). Geometría epipolar en estéreo, movimiento y reconocimiento de objetos . Editores académicos de Kluwer. ISBN 978-0-7923-4199-4.