La búsqueda inversa de imágenes es una técnica de consulta de recuperación de imágenes basada en contenido (CBIR) que implica proporcionar al sistema CBIR una imagen de muestra en la que luego basará su búsqueda; en términos de recuperación de información , la imagen de muestra es lo que formula una consulta de búsqueda. En particular, la búsqueda de imágenes inversa se caracteriza por la falta de términos de búsqueda. Esto elimina efectivamente la necesidad de que el usuario adivine palabras clave o términos que pueden o no devolver un resultado correcto. La búsqueda inversa de imágenes también permite a los usuarios descubrir contenido relacionado con una imagen de muestra específica, [1] la popularidad de una imagen y descubrir versiones manipuladas y trabajos derivados. [2]
Usos
La búsqueda de imágenes inversa se puede utilizar para: [3]
- Busque la fuente de una imagen.
- Encuentra versiones de mayor resolución.
- Descubra las páginas web donde aparece la imagen.
- Encuentra al creador de contenido.
- Obtén información sobre una imagen.
Algoritmos
Los algoritmos de búsqueda de imágenes inversas más utilizados incluyen: [4]
- Transformación de características invariantes de escala : para extraer características locales de una imagen [5]
- Regiones extremas máximamente estables
- Árbol de vocabulario
Aplicación en sistemas de búsqueda populares
Imágenes de Google
La búsqueda por imagen de Google es una función que utiliza la búsqueda inversa de imágenes y permite a los usuarios buscar imágenes relacionadas con solo cargar una imagen o una URL de imagen. Google logra esto analizando la imagen enviada y construyendo un modelo matemático de la misma utilizando algoritmos avanzados. Luego se compara con miles de millones de otras imágenes en las bases de datos de Google antes de devolver resultados similares y coincidentes. Cuando está disponible, Google también usa metadatos sobre la imagen, como la descripción.
TinEye
TinEye es un motor de búsqueda especializado en búsquedas de imágenes inversas. Al enviar una imagen, TinEye crea una "firma digital o huella digital única y compacta" de dicha imagen y la compara con otras imágenes indexadas. [6] Este procedimiento puede hacer coincidir incluso versiones muy editadas de la imagen enviada, pero normalmente no devolverá imágenes similares en los resultados. [7]
Pixsy
La tecnología de búsqueda inversa de imágenes de Pixsy detecta coincidencias de imágenes [8] en la Internet pública para las imágenes cargadas en la plataforma Pixsy. [9] Las nuevas coincidencias se detectan automáticamente y se envían alertas al usuario. Para uso no autorizado, Pixsy ofrece un servicio de recuperación de compensación [10] [11] para uso comercial del trabajo de los propietarios de imágenes. Pixsy se asocia con más de 25 bufetes de abogados y abogados de todo el mundo para resolver las infracciones de derechos de autor. Pixsy es el servicio de monitoreo de imágenes estratégico para la plataforma y el usuario de Flickr. [12]
eBay
eBay ShopBot utiliza la búsqueda de imágenes inversa para buscar productos por una foto cargada por un usuario. eBay utiliza una red ResNet-50 para el reconocimiento de categorías, los valores hash de las imágenes se almacenan en Google Bigtable ; Los trabajos de Apache Spark son operados por Google Cloud Dataproc para la extracción de hash de imágenes; y el servicio de clasificación de imágenes lo implementa Kubernetes . [13]
Planeta SK
SK Planet utiliza la búsqueda de imágenes inversa para encontrar artículos de moda relacionados en su sitio web de comercio electrónico. Desarrolló la red de codificadores de visión basada en TensorFlow inception-v3 , con velocidad de convergencia y generalización para uso en producción. Se utiliza una red neuronal recurrente para la clasificación de clases múltiples, y la detección de la región de interés de productos de moda se basa en Faster R-CNN . El sistema de búsqueda de imágenes inversas de SK Planet se construye en menos de 100 meses-hombre. [14]
Alibaba
Alibaba lanzó la aplicación Pailitao durante 2014. Pailitao ( chino :拍 立 淘, literalmente significa comprar a través de una cámara) permite a los usuarios buscar artículos en la plataforma comercial electrónica de Alibaba tomando una foto del objeto de consulta. La aplicación Pailitao utiliza un modelo CNN profundo con ramas para la detección de articulaciones y el aprendizaje de funciones para descubrir la máscara de detección y la función discriminativa exacta sin perturbaciones de fondo. GoogLeNet V1 se emplea como modelo base para la predicción de categorías y el aprendizaje de características. [15] [16]
Pinterest adquirió la empresa emergente VisualGraph en 2014 e introdujo la búsqueda visual en su plataforma. [17] En 2015, Pinterest publicó un artículo en la conferencia ACM Conference on Knowledge Discovery and Data Mining y reveló la arquitectura del sistema. La canalización utiliza Apache Hadoop , el marco de trabajo de red neuronal convolucional Caffe de código abierto, Cascading para el procesamiento por lotes, PinLater para la mensajería y Apache HBase para el almacenamiento. Las características de la imagen, incluidas las características locales, las características profundas, las firmas de colores destacados y los píxeles destacados se extraen de las cargas de los usuarios. El sistema es operado por Amazon EC2 y solo requiere un grupo de 5 instancias de GPU para manejar las cargas diarias de imágenes en Pinterest. Al utilizar la búsqueda inversa de imágenes, Pinterest puede extraer características visuales de objetos de moda (por ejemplo, zapatos, vestido, gafas, bolso, reloj, pantalones, pantalones cortos, bikini, aretes) y ofrecer recomendaciones de productos que se ven similares. [18] [19]
LykDat
LykDat utiliza la búsqueda de imágenes inversa para encontrar productos de moda en varias tiendas en línea en la web. [20] LykDat también proporciona un bot de Twitter que ayuda a los usuarios a realizar búsquedas de imágenes inversas de las fotos que encuentran en Twitter . [21]
JD.com
JD.com dio a conocer el diseño y la implementación de su sistema de búsqueda visual en tiempo real en la conferencia Middleware '18 . El artículo revisado por pares se centra en los algoritmos utilizados por el sistema de extracción, indexación y recuperación de características de imágenes jerárquicas distribuidas de JD, que tiene 300 millones de usuarios activos diarios. El sistema pudo mantener 80 millones de actualizaciones de su base de datos por hora cuando se implementó en producción en 2018. [22]
Bing
Microsoft Bing publicó la arquitectura de su sistema de búsqueda de imágenes inversas en la conferencia KDD'18. El documento establece que se utilizan una variedad de características de una imagen de consulta enviada por un usuario para describir su contenido, incluido el uso de codificadores de redes neuronales profundas , funciones de reconocimiento de categorías, funciones de reconocimiento facial , funciones de color y funciones de detección de duplicados. [23]
Sistemas de investigación
El Beijing Lab de Microsoft Research Asia publicó un artículo en las Actas del IEEE sobre los sistemas Arista-SS (Búsqueda similar) y Arista-DS (Búsqueda duplicada). Arista-DS solo realiza algoritmos de búsqueda duplicados, como el análisis de componentes principales en características de imagen global, para reducir los costos computacionales y de memoria. Arista-DS puede realizar búsquedas duplicadas en 2 mil millones de imágenes con 10 servidores, pero con la desventaja de no detectar casi duplicados. [24]
Implementaciones de código abierto
En 2007, la biblioteca Puzzle se lanza bajo la licencia ISC . Puzzle está diseñado para ofrecer búsqueda inversa de imágenes visualmente similares, incluso después de que las imágenes hayan sido redimensionadas, re-comprimidas, recoloreadas y / o ligeramente modificadas. [25]
El proyecto de código abierto image-match se lanzó en 2016. El proyecto, con licencia de Apache License , implementa un motor de búsqueda de imágenes inversas escrito en Python . [26]
Tanto la biblioteca Puzzle como los proyectos de coincidencia de imágenes utilizan algoritmos publicados en una conferencia IEEE ICIP. [27]
Sistemas de búsqueda de imágenes inversas de producción
- Google Imágenes y Google Lens [28]
- Bing [29]
- Imágenes de Yandex
Ver también
- Recuperación de imágenes basada en contenido
- Motor de búsqueda visual
- FindFace
Referencias
- ^ "Cómo buscar por imagen" . Consultado el 2 de noviembre de 2013 .
- ^ "Búsqueda de vídeos con Frompo" . Frompo.com . Consultado el 2 de noviembre de 2013 .
- ^ "Preguntas frecuentes - TinEye - ¿Por qué utilizar TinEye?" . TinEye .
- ^ Funciones de agrupación para búsqueda de imágenes web duplicadas parciales a gran escala Microsoft .
- ^ Un nuevo motor de búsqueda de imágenes web mediante el uso del algoritmo SIFT computer.org
- ^ "Preguntas frecuentes - TinEye - ¿Cómo funciona TinEye?" . TinEye .
- ^ "Preguntas frecuentes - TinEye - ¿Puede TinEye encontrar imágenes similares?" . TinEye .
- ^ "Encuentra imágenes robadas - Pixsy" . Pixsy . Consultado el 20 de octubre de 2017 .
- ^ "Revisión de Pixsy.com: Encuentra y lucha contra el robo de imágenes - Marketing online para artistas -" . Marketing online para artistas . 2015-07-02 . Consultado el 20 de octubre de 2017 .
- ^ https://plus.google.com/+SteveSchlackman (18 de octubre de 2014). "Pixsy: Encuentra y recibe dinero por robo de imágenes" . artlawjournal.com . Consultado el 20 de octubre de 2017 .
- ^ "Resolver robo de imágenes - Pixsy" . Pixsy . Consultado el 20 de octubre de 2017 .
- ^ "Flickr se asocia con Pixsy para que le paguen cuando le roban fotos" . petapixel.com . Consultado el 12 de diciembre de 2019 .
- ^ "Búsqueda visual en eBay" . acm.org .
- ^ Búsqueda visual de productos de moda en SK Planet
- ^ "Búsqueda visual en Alibaba" . acm.org .
- ^ "Compras con su cámara: la búsqueda de imágenes visuales se encuentra con el comercio electrónico en Alibaba" . Tecnología de Alibaba .
- ^ Josh Constine. "Pinterest adquiere el reconocimiento de imagen y VisualGraph de inicio de búsqueda visual" . TechCrunch . AOL.
- ^ "Búsqueda visual en Pinterest" . acm.org .
- ^ "Construyendo una tubería de visión artificial escalable" . Ingeniería de Pinterest . Archivado desde el original el 6 de septiembre de 2015.
- ^ "Búsqueda de imágenes de moda - LykDat" . LykDat . Consultado el 30 de septiembre de 2020 .
- ^ "Bot LykDat - Twitter" . Consultado el 30 de septiembre de 2020 .
- ^ "El diseño e implementación de un sistema de búsqueda visual en tiempo real en la plataforma de comercio electrónico JD" . acm.org .
- ^ "Búsqueda visual receptiva a escala web en Bing" . acm.org .
- ^ Anotación de imagen basada en búsquedas duplicadas utilizando datos a escala web Microsoft.
- ^ La biblioteca de rompecabezas
- ^ ProvenanceLabs / image-match
- ^ Una firma de imagen para cualquier tipo de imagen
- ^ Cómo hacer una búsqueda de imágenes inversa desde su teléfono
- ^ Herramientas de búsqueda de imágenes inversas para encontrar excelentes imágenes para las redes sociales