Estimación de pose 3D

La estimación de pose 3D es un proceso de predicción de la transformación de un objeto a partir de una pose de referencia definida por el usuario, dada una imagen o un escaneo 3D . Surge en la visión por computadora o robótica, donde la pose o transformación de un objeto se puede usar para alinear modelos de Diseño Asistido por Computadora , identificación, agarre o manipulación del objeto.

"> Archivo: Markerless-Human-Motion-Tracking-Using-Hierarchical-Multi-Swarm-Cooperative-Particle-Swarm-pone.0127833.s002.ogvReproducir medios
Estimación de pose en un sistema de captura de movimiento

Es posible estimar la rotación y traslación 3D de un objeto 3D a partir de una sola foto 2D, si se conoce un modelo 3D aproximado del objeto y se conocen los puntos correspondientes en la imagen 2D. Una técnica común para resolver esto ha sido recientemente [ ¿cuándo? ] ha sido "POSIT", [1] donde la pose 3D se estima directamente a partir de los puntos del modelo 3D y los puntos de la imagen 2D, y corrige los errores de forma iterativa hasta encontrar una buena estimación a partir de una sola imagen. [2] La mayoría de las implementaciones de POSIT solo funcionan en puntos no coplanares (en otras palabras, no funcionará con objetos planos o planos). [3]

Otro enfoque consiste en registrar un modelo CAD en 3D sobre la fotografía de un objeto conocido optimizando una medida de distancia adecuada con respecto a los parámetros de pose. [4] [5] La medida de la distancia se calcula entre el objeto de la fotografía y la proyección del modelo CAD 3D en una pose determinada. La proyección en perspectiva o la proyección ortogonal es posible dependiendo de la representación de pose utilizada. Este enfoque es apropiado para aplicaciones donde está disponible un modelo CAD en 3D de un objeto conocido (o categoría de objeto).

Dada una imagen 2D de un objeto, y la cámara que está calibrada con respecto a un sistema de coordenadas mundial, también es posible encontrar la pose que le da al objeto 3D en su sistema de coordenadas del objeto. [6] Esto funciona de la siguiente manera.

Extrayendo 3D de 2D

A partir de una imagen 2D, se extraen los puntos de la imagen que corresponden a las esquinas de una imagen. Los rayos de proyección de los puntos de imagen se reconstruyen a partir de los puntos 2D para poder determinar los puntos 3D, que deben incidir con los rayos reconstruidos.

Pseudocódigo

El algoritmo para determinar la estimación de pose se basa en el algoritmo iterativo del punto más cercano . La idea principal es determinar las correspondencias entre las características de la imagen 2D y los puntos de la curva del modelo 3D.

(a) Reconstruya los rayos de proyección a partir de los puntos de la imagen.(b) Estime el punto más cercano de cada rayo de proyección a un punto en el contorno 3D(c) Estime la pose del contorno con el uso de este conjunto de correspondencias(d) ir a (b)

El algoritmo anterior no tiene en cuenta las imágenes que contienen un objeto que está parcialmente ocluido. El siguiente algoritmo asume que todos los contornos están acoplados rígidamente, lo que significa que la pose de un contorno define la pose de otro contorno.

(a) Reconstruya los rayos de proyección a partir de los puntos de la imagen.(b) Para cada rayo de proyección R: (c) Para cada contorno 3D: (c1) Estime el punto más cercano P1 del rayo R a un punto en el contorno (c2) si (n == 1) elija P1 como P real para la correspondencia de la línea de puntos (c3) de lo contrario, compare P1 con P: si dist (P1, R) es menor que dist (P, R) entonces elija P1 como nuevo P(d) Utilice (P, R) como conjunto de correspondencias.(e) Estimar pose con este conjunto de correspondencias(f) Transformar contornos, ir a (b)

Existen sistemas que utilizan una base de datos de un objeto en diferentes rotaciones y traslaciones para comparar una imagen de entrada y estimar la pose. La precisión de estos sistemas se limita a situaciones que están representadas en su base de datos de imágenes, sin embargo, el objetivo es reconocer una pose, en lugar de determinarla. [7]

  • posest , una biblioteca GPL C / C ++ para estimación de pose 6DoF a partir de correspondencias 3D-2D.
  • diffgeom2pose , solucionador rápido de Matlab para estimación de pose 6DoF a partir de solo dos correspondencias 3D-2D de puntos con direcciones (vectores) o puntos en curvas (puntos-tangentes). Los puntos se pueden atribuir mediante SIFT con direcciones de características.
  • MENOS : paquete C ++ para la estimación de pose (relativa) de tres vistas. Incluye casos de tres puntos correspondientes con líneas en estos puntos (como en posiciones y orientaciones de entidades, o puntos de curva con tangentes), y también para tres puntos correspondientes y una correspondencia de línea.

  1. ^ Javier Barandiaran (28 de diciembre de 2017). "Tutorial POSIT" . OpenCV.
  2. ^ Dementhon y Davis, 1995 (1995). "Pose de objeto basado en modelo en 25 líneas de código" . Revista Internacional de Visión por Computador . Editores académicos de Kluwer. 15 (1-2): 123-141. doi : 10.1007 / BF01450852 . Consultado el 29 de mayo de 2010 .
  3. ^ Javier Barandiaran. "Tutorial POSIT con OpenCV y OpenGL" . Archivado desde el original el 20 de junio de 2010 . Consultado el 29 de mayo de 2010 .
  4. ^ Srimal Jayawardena y Marcus Hutter y Nathan Brewer (2011). "Una pérdida invariante de iluminación novedosa para estimación de Pose 3D monocular". 2011 Congreso Internacional de Computación de Imágenes Digitales: Técnicas y Aplicaciones . págs. 37–44. CiteSeerX  10.1.1.766.3931 . doi : 10.1109 / DICTA.2011.15 . ISBN 978-1-4577-2006-2.
  5. ^ Srimal Jayawardena y Di Yang y Marcus Hutter (2011). "Segmentación de imagen asistida por modelo 3D". 2011 Congreso Internacional de Computación de Imágenes Digitales: Técnicas y Aplicaciones . págs. 51–58. CiteSeerX  10.1.1.751.8774 . doi : 10.1109 / DICTA.2011.17 . ISBN 978-1-4577-2006-2.
  6. ^ Bodo Rosenhahn. "Fundamentos sobre estimación de pose 2D-3D" . CV en línea . Consultado el 9 de junio de 2008 .
  7. ^ Vassilis Athitsos. "Estimación de la pose de la mano 3D a partir de una imagen desordenada" (PDF) . Tecnología de Ciencias de la Computación de la Universidad de Boston. Cite journal requiere |journal=( ayuda )

  • Rosenhahn, B. "Fundamentos de la estimación de pose 2D-3D".
  • Rosenhahn, B. "Estimación de pose de contornos de forma libre 3D en geometría conformada".
  • Athitsos, V. "Estimación de la postura de la mano en 3D a partir de una imagen desordenada".

  • Estimación de una Postura 3D