Aprender a clasificar [1] o clasificación de aprendizaje automático ( MLR ) es la aplicación del aprendizaje automático , típicamente aprendizaje supervisado , semi-supervisado o reforzado , en la construcción de modelos de clasificación para sistemas de recuperación de información . [2] Los datos de entrenamiento consisten en listas de elementos con algún orden parcial especificado entre los elementos de cada lista. Este orden se induce típicamente dando una puntuación numérica u ordinal o un juicio binario (por ejemplo, "relevante" o "no relevante") para cada elemento. El modelo de clasificación se propone clasificar, es decir, producir unapermutación de elementos en listas nuevas y no vistas de una manera similar a las clasificaciones en los datos de entrenamiento.
Aplicaciones
En recuperación de información
La clasificación es una parte central de muchos problemas de recuperación de información , como la recuperación de documentos , el filtrado colaborativo , el análisis de sentimientos y la publicidad en línea .
En la figura adjunta se muestra una posible arquitectura de un motor de búsqueda con aprendizaje automático.
Los datos de entrenamiento consisten en consultas y documentos que los relacionan junto con el grado de relevancia de cada coincidencia. Puede ser preparado manualmente por evaluadores humanos (o evaluadores , como los llama Google ), quienes verifican los resultados de algunas consultas y determinan la relevancia de cada resultado. No es factible verificar la relevancia de todos los documentos, por lo que generalmente se usa una técnica llamada agrupación: solo se verifican los primeros documentos recuperados por algunos modelos de clasificación existentes. Alternativamente, los datos de entrenamiento se pueden derivar automáticamente analizando registros de clics (es decir, resultados de búsqueda que obtuvieron clics de los usuarios), [3] cadenas de consultas , [4] o características de motores de búsqueda como SearchWiki de Google .
Un algoritmo de aprendizaje utiliza los datos de entrenamiento para producir un modelo de clasificación que calcula la relevancia de los documentos para las consultas reales.
Por lo general, los usuarios esperan que una consulta de búsqueda se complete en poco tiempo (como unos pocos cientos de milisegundos para la búsqueda web), lo que hace que sea imposible evaluar un modelo de clasificación complejo en cada documento del corpus, por lo que se requiere un esquema de dos fases. usó. [5] En primer lugar, un pequeño número de documentos potencialmente relevantes se identifican utilizando modelos de recuperación más simples que permiten la evaluación de la consulta rápida, tales como el modelo de vector de espacio , modelo boolean , ponderados y, [6] o BM25 . Esta fase se llama top-La recuperación de documentos y muchas heurísticas se propusieron en la literatura para acelerarla, como el uso de la puntuación de calidad estática de un documento y los índices escalonados. [7] En la segunda fase, se utiliza un modelo de aprendizaje automático más preciso pero computacionalmente costoso para volver a clasificar estos documentos.
En otras áreas
Aprender a clasificar los algoritmos se ha aplicado en áreas distintas a la recuperación de información:
- En traducción automática para clasificar un conjunto de traducciones hipotéticas; [8]
- En biología computacional para clasificar las estructuras 3-D candidatas en el problema de predicción de estructuras de proteínas. [8]
- En sistemas de recomendación para identificar una lista clasificada de artículos de noticias relacionados para recomendar a un usuario después de haber leído un artículo de noticias actual. [9]
- En ingeniería de software , se han utilizado métodos de aprendizaje de rango para la localización de fallas. [10]
Vectores de características
Para la conveniencia de los algoritmos MLR, los pares consulta-documento generalmente se representan mediante vectores numéricos, que se denominan vectores de características . Este enfoque a veces se denomina bolsa de características y es análogo al modelo de bolsa de palabras y al modelo de espacio vectorial utilizado en la recuperación de información para la representación de documentos.
Los componentes de dichos vectores se denominan características , factores o señales de clasificación . Se pueden dividir en tres grupos (las características de la recuperación de documentos se muestran como ejemplos):
- Funciones estáticas o independientes de la consulta : aquellas funciones que dependen solo del documento, pero no de la consulta. Por ejemplo, PageRank o la longitud del documento. Estas funciones se pueden calcular previamente en modo fuera de línea durante la indexación. Pueden usarse para calcular la puntuación de calidad estática del documento (o rango estático ), que a menudo se usa para acelerar la evaluación de consultas de búsqueda. [7] [11]
- Funciones dinámicas o dependientes de la consulta : aquellas funciones que dependen tanto del contenido del documento como de la consulta, como la puntuación TF-IDF u otras funciones de clasificación no aprendidas por máquina.
- Funciones de consulta o funciones de consulta , que dependen solo de la consulta. Por ejemplo, la cantidad de palabras en una consulta.
Algunos ejemplos de características, que se utilizaron en el conocido conjunto de datos LETOR :
- TF, TF-IDF , BM25 y puntajes de modelado de lenguaje de las zonas del documento (título, cuerpo, texto de anclaje, URL) para una consulta determinada;
- Longitudes y sumas IDF de las zonas del documento;
- PageRank del documento , rangos HITS y sus variantes.
Seleccionar y diseñar buenas características es un área importante en el aprendizaje automático, que se denomina ingeniería de características .
Medidas de evaluación
Hay varias medidas (métricas) que se usan comúnmente para juzgar qué tan bien se está desempeñando un algoritmo en los datos de entrenamiento y para comparar el rendimiento de diferentes algoritmos MLR. A menudo, un problema de aprendizaje de clasificación se reformula como un problema de optimización con respecto a una de estas métricas.
Ejemplos de clasificación de medidas de calidad:
- Precisión media media (MAP);
- DCG y NDCG ;
- Precision @ n , NDCG @ n , donde "@ n " denota que las métricas se evalúan solo en los primeros n documentos;
- Rango recíproco medio ;
- Tau de Kendall ;
- Rho de Spearman .
El DCG y su variante normalizada NDCG se prefieren generalmente en la investigación académica cuando se utilizan múltiples niveles de relevancia. [12] Otras métricas, como MAP, MRR y precisión, se definen solo para juicios binarios.
Recientemente, se han propuesto varias métricas de evaluación nuevas que pretenden modelar la satisfacción del usuario con los resultados de búsqueda mejor que la métrica DCG:
- Rango recíproco esperado (ERR); [13]
- El pfound de Yandex . [14]
Ambas métricas se basan en la suposición de que es más probable que el usuario deje de mirar los resultados de búsqueda después de examinar un documento más relevante que después de un documento menos relevante.
Enfoques
Tie-Yan Liu de Microsoft Research Asia ha analizado los algoritmos existentes para aprender a clasificar los problemas en su libro Learning to Rank for Information Retrieval . [1] Los clasificó en tres grupos por sus espacios de entrada, espacios de salida, espacios de hipótesis (la función central del modelo) y funciones de pérdida : el enfoque puntual, por pares y por lista. En la práctica, los enfoques basados en listas a menudo superan a los enfoques por pares y los enfoques puntuales. Esta afirmación fue respaldada además por un experimento a gran escala sobre el desempeño de diferentes métodos de aprendizaje para clasificar en una gran colección de conjuntos de datos de referencia. [15]
En esta sección, sin previo aviso, denota un objeto a evaluar, por ejemplo, un documento o una imagen, denota una hipótesis de valor único, denota una función de funciones bivariadas o multivariadas y denota la función de pérdida.
Enfoque puntual
En este caso, se supone que cada par consulta-documento en los datos de entrenamiento tiene una puntuación numérica u ordinal. Entonces, el problema de aprender a clasificar puede aproximarse mediante un problema de regresión: dado un solo par de consulta y documento, predice su puntuación. Hablando formalmente, el enfoque puntual apunta a aprender una función predecir el valor real u ordinal de un documento usando la función de pérdida .
Una serie de algoritmos de aprendizaje automático supervisados existentes se pueden utilizar fácilmente para este propósito. Los algoritmos de clasificación y regresión ordinal también se pueden usar en un enfoque puntual cuando se usan para predecir la puntuación de un solo par consulta-documento, y toma un número pequeño y finito de valores.
Enfoque por parejas
En este caso, el problema de aprender a clasificar se aproxima mediante un problema de clasificación: aprender un clasificador binario que puede decir qué documento es mejor en un par de documentos determinado. El clasificador tomará dos imágenes como entrada y el objetivo es minimizar una función de pérdida.. La función de pérdida puede reflejar el número promedio de inversiones en la clasificación.
En muchos casos, el clasificador binario se implementa con una función de puntuación . Como ejemplo, RankNet [16] adapta un modelo de probabilidad y define como la probabilidad estimada del documento tiene mayor calidad que :
dónde es una función de distribución acumulativa , por ejemplo, el CDF logístico estándar , es decir
Enfoque listwise
Estos algoritmos intentan optimizar directamente el valor de una de las medidas de evaluación anteriores, promediado sobre todas las consultas en los datos de entrenamiento. Esto es difícil porque la mayoría de las medidas de evaluación no son funciones continuas con respecto a los parámetros del modelo de clasificación, por lo que deben usarse aproximaciones o límites continuos en las medidas de evaluación.
Lista de métodos
A continuación, se muestra una lista parcial de los algoritmos de aprendizaje para clasificar publicados con los años de la primera publicación de cada método:
Año Nombre Tipo Notas 1989 OPRF [17] puntual Regresión polinomial (en lugar de aprendizaje automático, este trabajo se refiere al reconocimiento de patrones, pero la idea es la misma) 1992 SLR [18] puntual Regresión logística por etapas 1994 NMOpt [19] listwise Optimización no métrica 1999 MART (árboles de regresión aditiva múltiple) por parejas 2000 Clasificación SVM (RankSVM) por parejas Se encuentra una exposición más reciente, [3] que describe una aplicación para clasificar utilizando registros de clics. 2002 Bromas [20] puntual Regresión ordinal. 2003 RankBoost por parejas 2005 RankNet por parejas 2006 IR-SVM por parejas Clasificación de SVM con normalización a nivel de consulta en la función de pérdida. 2006 LambdaRank por pares / por lista RankNet en el que la función de pérdida por pares se multiplica por el cambio en la métrica de IR causado por un swap. 2007 AdaRank listwise 2007 Franco por parejas Basado en RankNet, utiliza una función de pérdida diferente: pérdida de fidelidad. 2007 GBRank por parejas 2007 ListNet listwise 2007 McRank puntual 2007 QBRank por parejas 2007 RankCosine listwise 2007 RankGP [21] listwise 2007 RankRLS por parejas Clasificación basada en mínimos cuadrados regularizados. El trabajo se extiende en [22] para aprender a clasificar a partir de gráficos de preferencias generales.
2007 Mapa SVM listwise 2008 LambdaSMART / LambdaMART por pares / por lista La entrada ganadora en la reciente competencia Yahoo Learning to Rank utilizó un conjunto de modelos LambdaMART. Basado en MART (1999) [23] “LambdaSMART”, para Lambda-submodel-MART, o LambdaMART para el caso sin submodelo (https://www.microsoft.com/en-us/research/wp-content/uploads /2016/02/tr-2008-109.pdf ). 2008 ListMLE listwise Basado en ListNet. 2008 PermuRank listwise 2008 SoftRank listwise 2008 Refinamiento de clasificación [24] por parejas Un enfoque semi-supervisado para aprender a clasificar que usa Boosting. 2008 SSRankBoost [25] por parejas Una extensión de RankBoost para aprender con datos parcialmente etiquetados (aprendizaje semi-supervisado para clasificar) 2008 SortNet [26] por parejas SortNet, un algoritmo de clasificación adaptativo que ordena objetos utilizando una red neuronal como comparador. 2009 MPBoost por parejas Variante de RankBoost que conserva la magnitud. La idea es que cuanto más desiguales sean las etiquetas de un par de documentos, más difícil debería ser el algoritmo para tratar de clasificarlos. 2009 BoltzRank listwise A diferencia de los métodos anteriores, BoltzRank produce un modelo de clasificación que busca durante el tiempo de consulta no solo en un solo documento, sino también en pares de documentos. 2009 BayesRank listwise Un método combina el modelo Plackett-Luce y la red neuronal para minimizar el riesgo de Bayes esperado, relacionado con NDCG, desde el aspecto de la toma de decisiones. 2010 Aumento de NDCG [27] listwise Un enfoque de impulso para optimizar NDCG. 2010 GBlend por parejas Extiende GBRank al problema de aprender a combinar de resolver conjuntamente múltiples problemas de aprender a clasificar con algunas características compartidas. 2010 IntervalRank por pares y por lista 2010 CRR puntual y por parejas Regresión y clasificación combinadas. Utiliza el descenso de gradiente estocástico para optimizar una combinación lineal de una pérdida cuadrática puntual y una pérdida de bisagra por pares de Ranking SVM. 2014 LCR por parejas Se aplicó la suposición local de rango bajo en la clasificación colaborativa. Recibió el premio al mejor trabajo estudiantil en WWW'14. 2015 FaceNet por parejas Clasifica las imágenes de rostros con la métrica del triplete a través de una red convolucional profunda. 2016 XGBoost por parejas Admite varios objetivos de clasificación y métricas de evaluación. 2017 Rango ES listwise Estrategia evolutiva para aprender a clasificar la técnica con 7 métricas de evaluación del estado físico 2018 PolyRank [28] por parejas Aprende simultáneamente la clasificación y el modelo generativo subyacente a partir de comparaciones por pares. 2018 FATE-Net / FETA-Net [29] listwise Arquitecturas entrenables de extremo a extremo, que tienen en cuenta explícitamente todos los elementos para modelar los efectos del contexto. 2019 FastAP [30] listwise Optimiza la precisión media para aprender sobre incrustaciones profundas 2019 Mora listwise e híbrido Aprende políticas de clasificación que maximizan múltiples métricas en todo el conjunto de datos 2019 DirectRanker por parejas Generalización de la arquitectura RankNet 2020 PMR [31] por parejas Red de transformadores que codifica tanto las dependencias entre elementos como las interacciones entre el usuario y los elementos
Nota: dado que la mayoría de los algoritmos de aprendizaje supervisado se pueden aplicar al caso puntual, solo se muestran arriba los métodos que están diseñados específicamente teniendo en cuenta la clasificación.
Historia
Norbert Fuhr introdujo la idea general de MLR en 1992, describiendo los enfoques de aprendizaje en la recuperación de información como una generalización de la estimación de parámetros; [32] una variante específica de este enfoque (usando regresión polinomial ) había sido publicada por él tres años antes. [17] Bill Cooper propuso la regresión logística con el mismo propósito en 1992 [18] y la usó con su grupo de investigación de Berkeley para entrenar una función de clasificación exitosa para TREC . Manning y col. [33] sugieren que estos primeros trabajos lograron resultados limitados en su tiempo debido a los pocos datos de entrenamiento disponibles y las técnicas deficientes de aprendizaje automático.
Varias conferencias, como NIPS , SIGIR e ICML, tuvieron talleres dedicados al problema de aprender a clasificar desde mediados de la década de 2000 (década).
Uso práctico por los motores de búsqueda
Los motores de búsqueda web comerciales comenzaron a utilizar sistemas de clasificación con aprendizaje automático desde la década de 2000 (década). Uno de los primeros motores de búsqueda en comenzar a usarlo fue AltaVista (más tarde su tecnología fue adquirida por Overture y luego Yahoo ), que lanzó una función de clasificación capacitada para aumentar el gradiente en abril de 2003. [34] [35]
Se dice que la búsqueda de Bing está impulsada por el algoritmo RankNet , [36] [ ¿cuándo? ] que se inventó en Microsoft Research en 2005.
En noviembre de 2009, un motor de búsqueda ruso Yandex anunció [37] que había aumentado significativamente su calidad de búsqueda debido al despliegue de un nuevo algoritmo patentado MatrixNet , una variante del método de aumento de gradiente que utiliza árboles de decisión ajenos. [38] Recientemente también han patrocinado un concurso de clasificación de aprendizaje automático "Internet Mathematics 2009" [39] basado en los datos de producción de su propio motor de búsqueda. Yahoo anunció una competencia similar en 2010. [40]
A partir de 2008, Google 's Peter Norvig negó que su motor de búsqueda se basa exclusivamente en la máquina-aprendido clasificación. [41] El director ejecutivo de Cuil , Tom Costello, sugiere que prefieren los modelos hechos a mano porque pueden superar a los modelos de aprendizaje automático cuando se comparan con métricas como la tasa de clics o el tiempo en la página de destino, que se debe a los modelos de aprendizaje automático " aprender lo que la gente dice que le gusta, no lo que realmente le gusta ". [42]
En enero de 2017, la tecnología se incluyó en el motor de búsqueda de código abierto Apache Solr ™, [43] haciendo que el rango de búsqueda por aprendizaje automático sea ampliamente accesible también para la búsqueda empresarial.
Vulnerabilidades
De manera similar a las aplicaciones de reconocimiento en la visión por computadora , los algoritmos de clasificación basados en redes neuronales recientes también son susceptibles a ataques de adversarios encubiertos , tanto en los candidatos como en las consultas. [44] Con pequeñas perturbaciones imperceptibles para los seres humanos, el orden de clasificación podría alterarse arbitrariamente. Además, se descubre que son posibles ejemplos de adversarios transferibles independientes del modelo, lo que permite ataques adversarios de caja negra en sistemas de clasificación profunda sin necesidad de acceso a sus implementaciones subyacentes. [44] [45]
Por el contrario, la solidez de dichos sistemas de clasificación se puede mejorar mediante defensas adversas como la defensa de Madry. [46]
Ver también
- Recuperación de imágenes basada en contenido
- Recuperación de información multimedia
- Recuperación de imágenes
- Pérdida de triplete
Referencias
- ^ a b Tie-Yan Liu (2009), "Aprender a clasificar para la recuperación de información", Fundamentos y tendencias en la recuperación de información , 3 (3): 225–331, doi : 10.1561 / 1500000016 , ISBN 978-1-60198-244-5. Las diapositivas de la charla de Tie-Yan Liu en la conferencia WWW 2009 están disponibles en línea
- ^ Mehryar Mohri , Afshin Rostamizadeh, Ameet Talwalkar (2012) Fundamentos del aprendizaje automático , The MIT Press ISBN 9780262018258 .
- ^ a b Joachims, T. (2002), "Optimizing Search Engines using Clickthrough Data" (PDF) , Actas de la Conferencia de ACM sobre descubrimiento de conocimientos y minería de datos
- ^ Joachims T .; Radlinski F. (2005), "Cadenas de consultas: aprender a clasificar a partir de la retroalimentación implícita" (PDF) , Actas de la Conferencia de ACM sobre descubrimiento de conocimientos y minería de datos , arXiv : cs / 0605035 , Bibcode : 2006cs ....... .5035R
- ^ B. Cambazoglu; H. Zaragoza; O. Chapelle; J. Chen; C. Liao; Z. Zheng; J. Degenhardt., "Optimizaciones de salida temprana para sistemas de clasificación aditivos de aprendizaje automático" (PDF) , WSDM '10: Actas de la Tercera Conferencia Internacional ACM sobre Búsqueda Web y Minería de Datos, 2010.
- ^ Broder A .; Carmel D .; Herscovici M .; Soffer A .; Zien J. (2003), "Evaluación eficiente de consultas mediante un proceso de recuperación de dos niveles" (PDF) , Actas de la Duodécima Conferencia Internacional sobre Gestión de la Información y el Conocimiento : 426–434, ISBN 978-1-58113-723-1, archivado desde el original (PDF) el 21 de mayo de 2009 , consultado el 15 de diciembre de 2009
- ^ a b Manning C .; Raghavan P .; Schütze H. (2008), Introducción a la recuperación de información , Cambridge University Press. Sección 7.1
- ^ a b Kevin K. Duh (2009), Aprender a clasificar con datos parcialmente etiquetados (PDF)
- ^ Yuanhua Lv, Taesup Moon, Pranam Kolari, Zhaohui Zheng, Xuanhui Wang y Yi Chang, Aprendiendo a modelar la relación para las recomendaciones de noticias Archivado el 27 de agosto de 2011 en Wayback Machine , en la Conferencia internacional sobre la World Wide Web (WWW), 2011 .
- ^ Xuan, Jifeng; Monperrus, Martín (2014). "Aprendiendo a combinar múltiples métricas de clasificación para la localización de fallas" . 2014 IEEE International Conference on Software Maintenance and Evolution . págs. 191-200. CiteSeerX 10.1.1.496.6829 . doi : 10.1109 / ICSME.2014.41 . ISBN 978-1-4799-6146-7. S2CID 11223473 .
- ^ Richardson, M .; Prakash, A .; Brill, E. (2006). "Más allá de PageRank: aprendizaje automático para clasificación estática" (PDF) . Actas de la 15ª Conferencia Internacional World Wide Web . págs. 707–715.
- ^ http://www.stanford.edu/class/cs276/handouts/lecture15-learning-ranking.ppt
- ^ Olivier Chapelle; Donald Metzler; Ya Zhang; Pierre Grinspan (2009), "Rango recíproco esperado para la relevancia calificada " (PDF) , CIKM , archivado desde el original (PDF) en 2012-02-24
- ^ Gulin A .; Karpovich P .; Raskovalov D .; Segalovich I. (2009), "Yandex en ROMIP'2009: optimización de algoritmos de clasificación por métodos de aprendizaje automático" (PDF) , Actas de ROMIP'2009 : 163–168 (en ruso)
- ^ Tax, Niek; Bockting, Sander; Hiemstra, Djoerd (2015), "Una comparación de referencia cruzada de 87 métodos para aprender a clasificar" (PDF) , Information Processing & Management , 51 (6): 757–772, doi : 10.1016 / j.ipm.2015.07.002 , archivado desde el original (PDF) el 2017-08-09 , consultado el 2017-10-15
- ^ Burges, Chris JC; Sacudido, Tal; Renshaw, Erin; Más perezoso, Ari; Deeds, Matt; Hamilton, Nicole; Hullender, Greg (1 de agosto de 2005). "Aprendiendo a clasificar usando Gradient Descent" .
- ^ a b Fuhr, Norbert (1989), "Funciones de recuperación de polinomios óptimas basadas en el principio de clasificación de probabilidad", ACM Transactions on Information Systems , 7 (3): 183-204, doi : 10.1145 / 65943.65944 , S2CID 16632383
- ^ a b Cooper, William S .; Gey, Frederic C .; Dabney, Daniel P. (1992), "Recuperación probabilística basada en regresión logística por etapas", SIGIR '92 Actas de la 15a Conferencia Anual Internacional ACM SIGIR sobre Investigación y Desarrollo en Recuperación de Información : 198-210, doi : 10.1145 / 133160.133199 , ISBN 978-0897915236, S2CID 125993
- ^ Bartell, Brian T .; Cottrell Garrison W .; Belew, Richard K. (1994), "Combinación automática de múltiples sistemas de recuperación clasificados" , Actas de SIGIR '94 de la 17ª Conferencia Anual Internacional ACM SIGIR sobre Investigación y Desarrollo en Recuperación de Información : 173–181, ISBN 978-0387198897
- ^ "Broma". CiteSeerX 10.1.1.20.378 . Cite journal requiere
|journal=
( ayuda ) - ^ "RankGP". CiteSeerX 10.1.1.90.220 . Cite journal requiere
|journal=
( ayuda ) - ^ Pahikkala, Tapio; Tsivtsivadze, Evgeni; Airola, Antti; Järvinen, Jouni; Boberg, Jorma (2009), "Un algoritmo eficiente para aprender a clasificar a partir de gráficos de preferencias", Machine Learning , 75 (1): 129–165, doi : 10.1007 / s10994-008-5097-z .
- ^ C. Burges. (2010). De RankNet a LambdaRank a LambdaMART: descripción general .
- ^ Rong Jin, Hamed Valizadegan, Hang Li, Refinamiento de clasificación y su aplicación para la recuperación de información , en la Conferencia internacional sobre la World Wide Web (WWW), 2008.
- ^ Massih-Reza Amini, Vinh Truong, Cyril Goutte, A Boosting Algorithm for Learning Bipartite Ranking Functions with Partially Tagged Data Archivado 2010-08-02 en Wayback Machine , Conferencia internacional ACM SIGIR, 2008. El código Archivado 2010-07-23 at the Wayback Machine está disponible para fines de investigación.
- ^ Leonardo Rigutini, Tiziano Papini, Marco Maggini, Franco Scarselli, "SortNet: aprender a clasificar mediante un algoritmo de clasificación neuronal" , taller SIGIR 2008: aprender a clasificar para la recuperación de información, 2008
- ^ Hamed Valizadegan, Rong Jin, Ruofei Zhang, Jianchang Mao , Aprendiendo a clasificar optimizando la medida NDCG , en Procedimiento de sistemas de procesamiento de información neuronal (NIPS), 2010.
- ^ Davidov, Ori; Ailon, Nir; Oliveira, Ivo FD (2018). "Un enfoque nuevo y flexible para el análisis de datos de comparación emparejados" . Revista de investigación sobre aprendizaje automático . 19 (60): 1–29. ISSN 1533-7928 .
- ^ Pfannschmidt, Karlson; Gupta, Pritha; Hüllermeier, Eyke (2018). "Arquitecturas profundas para el aprendizaje de funciones de clasificación dependientes del contexto". arXiv : 1803.05796 [ stat.ML ].
- ^ Fatih Cakir, Kun He, Xide Xia, Brian Kulis, Stan Sclaroff, Deep Metric Learning to Rank , In Proc. Conferencia IEEE sobre visión artificial y reconocimiento de patrones (CVPR), 2019.
- ^ Liu, Weiwen; Liu, Qing; Tang, Ruiming; Chen, Junyang; Él, Xiuqiang; Heng, Pheng Ann (19 de octubre de 2020). "Re-ranking personalizado con relaciones de artículos para comercio electrónico" . Actas de la 29ª Conferencia Internacional ACM sobre Gestión de la Información y el Conocimiento . CIKM '20. Evento virtual, Irlanda: Association for Computing Machinery: 925–934. doi : 10.1145 / 3340531.3412332 . ISBN 978-1-4503-6859-9.
- ^ Fuhr, Norbert (1992), "Modelos probabilísticos en la recuperación de información", Computer Journal , 35 (3): 243-255, doi : 10.1093 / comjnl / 35.3.243
- ^ Manning C .; Raghavan P .; Schütze H. (2008), Introducción a la recuperación de información , Cambridge University Press. Secciones 7.4 y 15.5
- ^ Jan O. Pedersen. La historia de MLR Archivado el 13 de julio de 2011 en la Wayback Machine.
- ^ Patente de EE. UU. 7,197,497
- ^ Blog de búsqueda de Bing: necesidades de los usuarios, características y la ciencia detrás de Bing
- ^ Entrada del blog corporativo de Yandex sobre el nuevo modelo de clasificación "Snezhinsk" (en ruso)
- ^ El algoritmo no se reveló, pero se hicieron públicos algunos detalles en [1] y [2] .
- ^ "Página de competencia de Matemáticas de Internet 2009 de Yandex" . Archivado desde el original el 17 de marzo de 2015 . Consultado el 11 de noviembre de 2009 .
- ^ "Yahoo Learning to Rank Challenge" . Archivado desde el original el 1 de marzo de 2010 . Consultado el 26 de febrero de 2010 .
- ^ Rajaraman, Anand (24 de mayo de 2008). "¿Son los modelos aprendidos por máquina propensos a errores catastróficos?" . Archivado desde el original el 18 de septiembre de 2010 . Consultado el 11 de noviembre de 2009 .
- ^ Costello, Tom (26 de junio de 2009). "Blog de Cuil: ¿Cómo le va a Bing?" . Archivado desde el original el 27 de junio de 2009.
- ^ "Cómo Bloomberg integró Learning-to-Rank en Apache Solr | Tech en Bloomberg" . Tecnología en Bloomberg . 2017-01-23 . Consultado el 28 de febrero de 2017 .
- ^ a b Zhou, Mo; Niu, Zhenxing; Wang, Le; Zhang, Qilin; Hua, Gang (2020). "Ataque y defensa de clasificación adversaria". arXiv : 2002.11293v2 [ cs.CV ].
- ^ Li, Jie; Ji, Rongrong; Liu, Hong; Hong, Xiaopeng; Gao, Yue; Tian, Qi. "Ataque de perturbación universal contra la recuperación de imágenes" . Congreso Internacional de Visión por Computador (ICCV 2019) . págs. 4899–4908.
- ^ Madry, Aleksander; Makelov, Aleksandar; Schmidt, Ludwig; Tsipras, Dimitris; Vladu, Adrian (19 de junio de 2017). "Hacia modelos de aprendizaje profundo resistentes a ataques contradictorios". arXiv : 1706.06083v4 [ stat.ML ].
enlaces externos
- Concursos y conjuntos de datos públicos
- LETOR: Una colección de referencia para la investigación sobre cómo aprender a clasificar para la recuperación de información
- Matemáticas de Internet de Yandex 2009
- Yahoo! Aprender a clasificar el desafío
- Microsoft aprendiendo a clasificar conjuntos de datos
- Código fuente abierto
- Implementación paralela de C ++ / MPI de árboles de regresión mejorados por gradiente para clasificación, publicada en septiembre de 2011
- Implementación en C ++ de árboles de regresión potenciados por gradientes y bosques aleatorios para la clasificación
- Herramientas de C ++ y Python para usar el algoritmo SVM-Rank
- Implementación de Java en el motor de búsqueda Apache Solr