En el procesamiento del lenguaje natural , la asignación de Dirichlet latente ( LDA ) es un modelo estadístico generativo que permite que grupos no observados expliquen conjuntos de observaciones que explican por qué algunas partes de los datos son similares. Por ejemplo, si las observaciones son palabras recopiladas en documentos, postula que cada documento es una mezcla de un pequeño número de temas y que la presencia de cada palabra es atribuible a uno de los temas del documento. LDA es un ejemplo de modelo temático y pertenece al campo del aprendizaje automático y, en un sentido más amplio, al campo de la inteligencia artificial .
Historia
En el contexto de la genética de poblaciones , JK Pritchard , M. Stephens y P. Donnelly propusieron LDA en 2000. [1] [2]
La LDA fue aplicada en el aprendizaje automático por David Blei , Andrew Ng y Michael I. Jordan en 2003. [3]
Descripción general
Biología evolutiva y biomedicina
En biología evolutiva y biomedicina, el modelo se utiliza para detectar la presencia de variación genética estructurada en un grupo de individuos. El modelo asume que los alelos portados por los individuos en estudio tienen su origen en varias poblaciones existentes o pasadas. El modelo y varios algoritmos de inferencia permiten a los científicos estimar las frecuencias de los alelos en esas poblaciones de origen y el origen de los alelos que llevan los individuos en estudio. Las poblaciones de origen se pueden interpretar ex-post en términos de varios escenarios evolutivos. En los estudios de asociación , la detección de la presencia de estructura genética se considera un paso preliminar necesario para evitar confusión .
Aprendizaje automático
Una aplicación de LDA en el aprendizaje automático , específicamente, el descubrimiento de temas , un subproblema en el procesamiento del lenguaje natural , es descubrir temas en una colección de documentos y luego clasificar automáticamente cualquier documento individual dentro de la colección en términos de cuán "relevante" es para cada uno de los temas descubiertos. Se considera que un tema es un conjunto de términos (es decir, palabras o frases individuales) que, tomados en conjunto, sugieren un tema compartido.
Por ejemplo, en una colección de documentos relacionados con los animales de compañía, los términos perro , cocker , beagle , golden retriever , perrito , corteza , y la trama sugeriría una DOG_related tema, mientras que los términos gato , siamés , Maine Coon , atigrado , Isla de Man , maullido , ronroneo y gatito sugerirían un tema relacionado con CAT . Puede haber muchos más temas en la colección, por ejemplo, relacionados con la dieta, el aseo, la atención médica, el comportamiento, etc., que no discutimos por simplicidad. (Muy comunes, las llamadas palabras vacías en un idioma, por ejemplo, "el", "una", "ese", "son", "es", etc., no discriminarían entre temas y, por lo general, se filtran por -procesamiento antes de que se realice LDA. El preprocesamiento también convierte los términos a sus formas léxicas "raíz", por ejemplo, "ladra", "ladra" y "ladra" se convertiría en "ladrar".)
Si la colección de documentos es lo suficientemente grande, LDA descubrirá tales conjuntos de términos (es decir, temas) basados en la co-ocurrencia de términos individuales, aunque la tarea de asignar una etiqueta significativa a un tema individual (es decir, que todos los términos son DOG_related) depende del usuario y, a menudo, requiere conocimientos especializados (por ejemplo, para la recopilación de documentos técnicos). El enfoque LDA asume que:
- El contenido semántico de un documento se compone de la combinación de uno o más términos de uno o más temas.
- Ciertos términos son ambiguos , pertenecen a más de un tema, con diferente probabilidad. (Por ejemplo, el término formación se aplica a los perros y los gatos, pero son más probable que se refieren a los perros, que se utilizan como animales de trabajo o participan en la obediencia o de habilidad competiciones.) Sin embargo, en un documento, la presencia de acompañamiento de específica los términos vecinos (que pertenecen a un solo tema) eliminarán la ambigüedad de su uso.
- La mayoría de los documentos contendrán solo una cantidad relativamente pequeña de temas. En la colección, por ejemplo, se producirán temas individuales con diferentes frecuencias. Es decir, tienen una distribución de probabilidad, por lo que es más probable que un documento determinado contenga algunos temas que otros.
- Dentro de un tema, ciertos términos se usarán con mucha más frecuencia que otros. En otras palabras, los términos dentro de un tema también tendrán su propia distribución de probabilidad.
Cuando se emplea el aprendizaje automático LDA, ambos conjuntos de probabilidades se calculan durante la fase de entrenamiento, utilizando métodos bayesianos y un algoritmo de maximización de expectativas .
LDA es una generalización del enfoque más antiguo de análisis semántico latente probabilístico (pLSA). El modelo pLSA es equivalente a LDA bajo una distribución previa de Dirichlet uniforme. [4] pLSA se basa solo en los dos primeros supuestos anteriores y no se preocupa por el resto. Si bien ambos métodos son similares en principio y requieren que el usuario especifique la cantidad de temas a descubrir antes del inicio del entrenamiento (como con el agrupamiento de K-medias ) LDA tiene las siguientes ventajas sobre pLSA:
- LDA produce una mejor desambiguación de palabras y una asignación más precisa de documentos a temas.
- El cálculo de probabilidades permite un proceso "generativo" mediante el cual se puede generar una colección de nuevos "documentos sintéticos" que reflejarían fielmente las características estadísticas de la colección original.
- A diferencia de LDA, pLSA es vulnerable al sobreajuste, especialmente cuando aumenta el tamaño del cuerpo.
- El algoritmo LDA es más fácil de escalar para grandes conjuntos de datos utilizando el enfoque MapReduce en un clúster de computación.
Modelo
Con la notación de placas , que se utiliza a menudo para representar modelos gráficos probabilísticos (PGM), las dependencias entre las muchas variables se pueden capturar de forma concisa. Las cajas son "placas" que representan réplicas, que son entidades repetidas. La placa exterior representa documentos, mientras que la placa interior representa las posiciones de palabras repetidas en un documento dado; cada posición está asociada con una elección de tema y palabra. Los nombres de las variables se definen de la siguiente manera:
- M denota el número de documentos
- N es el número de palabras en un documento dado (el documento i tiene palabras)
- α es el parámetro del Dirichlet antes de las distribuciones de temas por documento
- β es el parámetro de Dirichlet antes de la distribución de palabras por tema
- es la distribución de temas para el documento i
- es la distribución de palabras para el tema k
- es el tema de la j -ésima palabra en el documento i
- es la palabra específica.
El hecho de que W esté atenuada significa que las palabras son las únicas variables observables , y las otras variables son variables latentes . Como se propone en el artículo original, [3] se puede utilizar un Dirichlet a priori escaso para modelar la distribución tema-palabra, siguiendo la intuición de que la distribución de probabilidad sobre las palabras en un tema está sesgada, de modo que solo un pequeño conjunto de palabras tienen un alto probabilidad. El modelo resultante es la variante de LDA más ampliamente aplicada en la actualidad. La notación de placa para este modelo se muestra a la derecha, donde denota el número de temas y están -vectores dimensionales que almacenan los parámetros de las distribuciones de tema-palabra distribuidas por Dirichlet ( es el número de palabras del vocabulario).
Es útil pensar en las entidades representadas por y como matrices creadas descomponiendo la matriz documento-palabra original que representa el corpus de documentos que se modelan. En esta vista, consta de filas definidas por documentos y columnas definidas por temas, mientras que consta de filas definidas por temas y columnas definidas por palabras. Por lo tanto, se refiere a un conjunto de filas o vectores, cada uno de los cuales es una distribución sobre palabras, y se refiere a un conjunto de filas, cada una de las cuales es una distribución sobre temas.
Proceso generativo
Para inferir realmente los temas en un corpus, imaginamos un proceso generativo mediante el cual se crean los documentos, de modo que podamos inferirlo o realizar ingeniería inversa. Imaginamos el proceso generativo de la siguiente manera. Los documentos se representan como mezclas aleatorias sobre temas latentes, donde cada tema se caracteriza por una distribución sobre todas las palabras. LDA asume el siguiente proceso generativo para un corpus que consiste en documentos cada uno de longitud :
1. Elija , dónde y es una distribución de Dirichlet con un parámetro simétrico que normalmente es escasa)
2. Elija , dónde y típicamente es escaso
3. Para cada una de las posiciones de las palabras , dónde , y
- (a) Elija un tema
- (b) Elige una palabra
(Tenga en cuenta que la distribución multinomial aquí se refiere al multinomial con un solo ensayo, que también se conoce como distribución categórica ).
Las longitudes se tratan como independientes de todas las demás variables generadoras de datos ( y ). El subíndice a menudo se elimina, como en los diagramas de placas que se muestran aquí.
Definición
Una descripción formal de LDA es la siguiente:
Variable | Tipo | Significado |
---|---|---|
entero | número de temas (por ejemplo, 50) | |
entero | número de palabras en el vocabulario (por ejemplo, 50.000 o 1.000.000) | |
entero | número de documentos | |
entero | número de palabras en el documento d | |
entero | número total de palabras en todos los documentos; suma de todo valores, es decir | |
positivo real | peso previo del tema k en un documento; generalmente el mismo para todos los temas; normalmente un número menor que 1, por ejemplo, 0,1, para preferir distribuciones de temas dispersas, es decir, pocos temas por documento | |
K -vector dimensional de reales positivos | colección de todo valores, vistos como un solo vector | |
positivo real | peso previo de la palabra w en un tema; generalmente lo mismo para todas las palabras; normalmente un número mucho menor que 1, por ejemplo, 0,001, para preferir distribuciones de palabras escasas, es decir, pocas palabras por tema | |
V -vector dimensional de reales positivos | colección de todo valores, vistos como un solo vector | |
probabilidad (número real entre 0 y 1) | probabilidad de que la palabra w aparezca en el tema k | |
V -vector dimensional de probabilidades, que debe sumar 1 | distribución de palabras en el tema k | |
probabilidad (número real entre 0 y 1) | probabilidad de que el tema k ocurra en el documento d | |
K -vector dimensional de probabilidades, que debe sumar 1 | distribución de temas en el documento d | |
entero entre 1 y K | identidad del tema de la palabra w en el documento d | |
Vector N -dimensional de números enteros entre 1 y K | identidad del tema de todas las palabras en todos los documentos | |
entero entre 1 y V | identidad de la palabra w en el documento d | |
Vector N -dimensional de números enteros entre 1 y V | identidad de todas las palabras en todos los documentos |
Entonces podemos describir matemáticamente las variables aleatorias de la siguiente manera:
Inferencia
Aprender las diversas distribuciones (el conjunto de temas, sus probabilidades de palabras asociadas, el tema de cada palabra y la mezcla de temas particular de cada documento) es un problema de inferencia estadística .
simulación del Monte Carlo
El artículo original de Pritchard et al. [1] utilizó una aproximación de la distribución posterior por simulación de Monte Carlo. La propuesta alternativa de técnicas de inferencia incluye el muestreo de Gibbs . [5]
Bayes variacional
El artículo original de ML utilizó una aproximación variacional de Bayes de la distribución posterior ; [3]
Maximización de la probabilidad
Una optimización directa de la probabilidad con un algoritmo de relajación de bloques resulta ser una alternativa rápida a MCMC. [6]
Número desconocido de poblaciones / temas
En la práctica, el número óptimo de poblaciones o temas no se conoce de antemano. Puede estimarse por aproximación de la distribución posterior con la cadena de Markov de salto reversible Monte Carlo . [7]
Aproximaciones alternativas
Los enfoques alternativos incluyen la propagación de expectativas . [8]
La investigación reciente se ha centrado en acelerar la inferencia de la asignación de Dirichlet latente para respaldar la captura de una gran cantidad de temas en una gran cantidad de documentos. La ecuación de actualización del muestreador Gibbs colapsado mencionado en la sección anterior tiene una escasez natural dentro de ella que se puede aprovechar. Intuitivamente, ya que cada documento solo contiene un subconjunto de temas, y una palabra también solo aparece en un subconjunto de temas , la ecuación de actualización anterior podría reescribirse para aprovechar esta escasez. [9]
En esta ecuación, tenemos tres términos, de los cuales dos son escasos y el otro es pequeño. A estos términos los llamamos y respectivamente. Ahora, si normalizamos cada término sumando todos los temas, obtenemos:
Aquí podemos ver que es un resumen de los temas que aparecen en el documento , y es también un resumen escaso de los temas que una palabra se le asigna en todo el corpus. por otro lado, es denso pero debido a los pequeños valores de Y , el valor es muy pequeño en comparación con los otros dos términos.
Ahora, mientras muestreamos un tema, si muestreamos una variable aleatoria uniformemente de , podemos comprobar en qué cubo aterriza nuestra muestra. Dado que es pequeño, es muy poco probable que caigamos en este cubo; sin embargo, si caemos en este grupo, probar un tema requieretiempo (igual que el muestreador de Gibbs colapsado original). Sin embargo, si caemos en los otros dos grupos, solo necesitamos verificar un subconjunto de temas si mantenemos un registro de los temas dispersos. Se puede tomar una muestra de un tema del cubo en tiempo, y se puede tomar una muestra de un tema del cubo en tiempo donde y indica el número de temas asignados al documento actual y al tipo de palabra actual, respectivamente.
Tenga en cuenta que después de probar cada tema, la actualización de estos depósitos es básica operaciones aritmeticas.
Aspectos de los detalles computacionales
A continuación se muestra la derivación de las ecuaciones para el muestreo de Gibbs colapsado , lo que significaarena s se integrará. Para simplificar, en esta derivación se supone que todos los documentos tienen la misma longitud.. La derivación es igualmente válida si las longitudes de los documentos varían.
Según el modelo, la probabilidad total del modelo es:
donde las variables en negrita denotan la versión vectorial de las variables. Primero, y necesita ser integrado.
Todos s son independientes entre sí y lo mismo para todos los s. Para que podamos tratar a cada uno y cada por separado. Ahora nos enfocamos solo en el parte.
Podemos enfocarnos más en solo uno como el seguiente:
En realidad, es la parte oculta del modelo para el documento. Ahora reemplazamos las probabilidades en la ecuación anterior por la expresión de distribución verdadera para escribir la ecuación explícita.
Dejar ser el número de tokens de palabra en el documento con el mismo símbolo de palabra (el palabra en el vocabulario) asignada a la tema. Entonces,es tridimensional. Si alguna de las tres dimensiones no se limita a un valor específico, usamos un punto entre paréntesispara denotar. Por ejemplo, denota el número de tokens de palabra en el documento asignado a la tema. Por lo tanto, la parte más a la derecha de la ecuación anterior se puede reescribir como:
Entonces el La fórmula de integración se puede cambiar a:
Claramente, la ecuación dentro de la integración tiene la misma forma que la distribución de Dirichlet . Según la distribución de Dirichlet ,
Por lo tanto,
Ahora dirigimos nuestra atención a la parte. En realidad, la derivación del parte es muy similar a la parte. Aquí solo enumeramos los pasos de la derivación:
Para mayor claridad, aquí escribimos la ecuación final con ambos y integrado hacia fuera:
El objetivo del muestreo de Gibbs aquí es aproximar la distribución de . Desde es invariable para cualquiera de Z, las ecuaciones de muestreo de Gibbs se pueden derivar de directamente. El punto clave es derivar la siguiente probabilidad condicional:
dónde denota el variable oculta de la token de palabra en el documento. Y además asumimos que la palabra símbolo es el palabra en el vocabulario. denota todos los s pero . Tenga en cuenta que Gibbs Sampling solo necesita muestrear un valor para, de acuerdo con la probabilidad anterior, no necesitamos el valor exacto de
pero las razones entre las probabilidades de que puede tener valor. Entonces, la ecuación anterior se puede simplificar como:
Finalmente, deja tener el mismo significado que pero con el excluido. La ecuación anterior se puede simplificar aún más aprovechando la propiedad de la función gamma . Primero dividimos la suma y luego la fusionamos para obtener una-suma independiente, que podría descartarse:
Tenga en cuenta que la misma fórmula se deriva en el artículo sobre la distribución de Dirichlet-multinomial , como parte de una discusión más general sobre la integración de los priores de la distribución de Dirichlet a partir de una red bayesiana .
Problemas relacionados
Modelos relacionados
El modelado de temas es una solución clásica al problema de la recuperación de información utilizando datos vinculados y tecnología web semántica. [10] modelos y técnicas relacionadas son, entre otros, de indexación latente semántica , análisis de componentes independientes , probabilística de indexación semántica latente , matriz de factorización no negativa , y de distribución Gamma-Poisson .
El modelo LDA es muy modular y, por tanto, se puede ampliar fácilmente. El principal campo de interés es el modelado de relaciones entre temas. Esto se logra utilizando otra distribución en simplex en lugar de Dirichlet. El Modelo de tema correlacionado [11] sigue este enfoque, induciendo una estructura de correlación entre los temas utilizando la distribución logística normal en lugar del Dirichlet. Otra extensión es la LDA jerárquica (hLDA), [12] donde los temas se unen en una jerarquía utilizando el proceso de restaurante chino anidado , cuya estructura se aprende a partir de los datos. LDA también puede extenderse a un corpus en el que un documento incluye dos tipos de información (por ejemplo, palabras y nombres), como en el modelo LDA-dual . [13] Las extensiones no paramétricas de LDA incluyen el modelo jerárquico de mezcla de procesos de Dirichlet , que permite que el número de temas sea ilimitado y se aprenda de los datos.
Como se señaló anteriormente, pLSA es similar a LDA. El modelo LDA es esencialmente la versión bayesiana del modelo pLSA. La formulación bayesiana tiende a funcionar mejor en conjuntos de datos pequeños porque los métodos bayesianos pueden evitar el sobreajuste de los datos. Para conjuntos de datos muy grandes, los resultados de los dos modelos tienden a converger. Una diferencia es que pLSA usa una variablepara representar un documento en el conjunto de formación. Entonces, en pLSA, cuando se presenta un documento que el modelo no ha visto antes, arreglamos(La probabilidad de que las palabras en los temas) sean las que se aprendieron del conjunto de entrenamiento y usarán el mismo algoritmo EM para inferir —La distribución de temas bajo . Blei argumenta que este paso es una trampa porque esencialmente está reajustando el modelo a los nuevos datos.
Modelos espaciales
En biología evolutiva, a menudo es natural suponer que las ubicaciones geográficas de los individuos observados aportan alguna información sobre su ascendencia. Este es el razonamiento de varios modelos para datos genéticos georreferenciados [7] [14]
Se han utilizado variaciones en LDA para poner automáticamente imágenes naturales en categorías, como "dormitorio" o "bosque", tratando una imagen como un documento y pequeños parches de la imagen como palabras; [15] una de las variaciones se llama Asignación de Dirichlet Latente Espacial . [dieciséis]
Ver también
- Métodos Bayesianos Variacionales
- Asignación Pachinko
- tf-idf
- Infer.NET
Referencias
- ^ a b Pritchard, JK; Stephens, M .; Donnelly, P. (junio de 2000). "Inferencia de la estructura de la población utilizando datos de genotipo multilocus" . Genética . 155 (2): págs. 945–959. doi : 10.1093 / genetics / 155.2.945 . ISSN 0016-6731 . PMC 1461096 . PMID 10835412 .
- ^ Falush, D .; Stephens, M .; Pritchard, JK (2003). "Inferencia de la estructura de la población utilizando datos de genotipo multilocus: loci vinculados y frecuencias de alelos correlacionados" . Genética . 164 (4): págs. 1567-1587. doi : 10.1093 / genetics / 164.4.1567 . PMC 1462648 . PMID 12930761 .
- ^ a b c Blei, David M .; Ng, Andrew Y .; Jordan, Michael I (enero de 2003). Lafferty, John (ed.). "Asignación de Dirichlet latente" . Revista de investigación sobre aprendizaje automático . 3 (4–5): págs. 993–1022. doi : 10.1162 / jmlr.2003.3.4-5.993 . Archivado desde el original el 1 de mayo de 2012 . Consultado el 19 de diciembre de 2006 .
- ^ Girolami, Mark; Kaban, A. (2003). Sobre una equivalencia entre PLSI y LDA . Actas de SIGIR 2003. Nueva York: Association for Computing Machinery. ISBN 1-58113-646-3.
- ^ Griffiths, Thomas L .; Steyvers, Mark (6 de abril de 2004). "Encontrar temas científicos" . Actas de la Academia Nacional de Ciencias . 101 (Supl. 1): 5228–5235. Código bibliográfico : 2004PNAS..101.5228G . doi : 10.1073 / pnas.0307752101 . PMC 387300 . PMID 14872004 .
- ^ Alexander, David H .; Novembre, John; Lange, Kenneth (2009). "Estimación de ascendencia basada en modelos rápidos en individuos no relacionados" . Investigación del genoma . 19 (9): 1655-1664. doi : 10.1101 / gr.094052.109 . PMC 2752134 . PMID 19648217 .
- ^ a b Guillot, G .; Estoup, A .; Mortier, F .; Cosson, J. (2005). "Un modelo estadístico espacial para la genética del paisaje" . Genética . 170 (3): págs. 1261-1280. doi : 10.1534 / genetics.104.033803 . PMC 1451194 . PMID 15520263 .
- ^ Minka, Thomas; Lafferty, John (2002). Expectativa-propagación del modelo de aspecto generativo (PDF) . Actas de la 18ª Conferencia sobre Incertidumbre en Inteligencia Artificial. San Francisco, CA: Morgan Kaufmann. ISBN 1-55860-897-4.
- ^ Yao, Limin; Mimno, David; McCallum, Andrew (2009). Métodos eficientes para la inferencia de modelos de temas en colecciones de documentos en tiempo real . 15ª conferencia internacional ACM SIGKDD sobre descubrimiento de conocimiento y minería de datos.
- ^ Lamba, Manika; Madhusudhan, Margam (2019). "Mapeo de temas en DESIDOC Journal of Library and Information Technology, India: un estudio". Cienciometría . 120 (2): 477–505. doi : 10.1007 / s11192-019-03137-5 . S2CID 174802673 .
- ^ Blei, David M .; Lafferty, John D. (2006). "Modelos de temas correlacionados" (PDF) . Avances en sistemas de procesamiento de información neuronal . 18 .
- ^ Blei, David M .; Jordan, Michael I .; Griffiths, Thomas L .; Tenenbaum, Joshua B (2004). Modelos de temas jerárquicos y el proceso de restaurante chino anidado (PDF) . Avances en los sistemas de procesamiento de información neuronal 16: Actas de la Conferencia de 2003. Prensa del MIT. ISBN 0-262-20152-6.
- ^ Shu, Liangcai; Long, Bo; Meng, Weiyi (2009). Un modelo de tema latente para la resolución completa de entidades (PDF) . 25th IEEE International Conference on Data Engineering (ICDE 2009).
- ^ Guillot, G .; Leblois, R .; Coulon, A .; Frantz, A. (2009). "Métodos estadísticos en genética espacial" . Ecología molecular . 18 (23): págs. 4734–4756. doi : 10.1111 / j.1365-294X.2009.04410.x . PMID 19878454 .
- ^ Li, Fei-Fei; Perona, Pietro. "Un modelo jerárquico bayesiano para el aprendizaje de categorías de escenas naturales". Actas de la Conferencia de la Sociedad de Computación IEEE 2005 sobre Visión por Computadora y Reconocimiento de Patrones (CVPR'05) . 2 : 524–531.
- ^ Wang, Xiaogang; Grimson, Eric (2007). "Asignación espacial de Dirichlet latente" (PDF) . Actas de la Conferencia sobre sistemas de procesamiento de información neuronal (NIPS) .
enlaces externos
- jLDADMM Un paquete de Java para el modelado de temas en textos normales o cortos. jLDADMM incluye implementaciones del modelo de temas LDA y el modelo de mezcla multinomial de Dirichlet de un tema por documento . jLDADMM también proporciona una implementación para la evaluación de agrupación de documentos para comparar modelos de temas.
- STTM Un paquete de Java para modelado de temas de texto breve ( https://github.com/qiang2100/STTM ). STTM incluye los siguientes algoritmos: Dirichlet Multinomial Mixture (DMM) en la conferencia KDD2014, Biterm Topic Model (BTM) en la revista TKDE2016, Word Network Topic Model (WNTM) en la revista KAIS2018, Pseudo-Document-Based Topic Model (PTM) en la conferencia KDD2016 , Modelo de tema basado en la autoagregación (SATM) en la conferencia IJCAI2015, (ETM) en la conferencia PAKDD2017, Modelo de mezcla multinomial de Dirichlet multinomial (GPU-DMM) basado en la urna de polia generalizada (GPU-DMM) en la conferencia SIGIR2016, Urna de polia generalizada (GPU) ) basado en el modelo Dirichlet Multinomial Mixture (GPU-PDMM) en la revista TIS2017 y Latent Feature Model with DMM (LF-DMM) en la revista TACL2015. STTM también incluye seis corpus de texto breves para evaluación. STTM presenta tres aspectos sobre cómo evaluar el desempeño de los algoritmos (es decir, coherencia de temas, agrupamiento y clasificación).
- Conferencia que cubre parte de la notación en este artículo: Conferencia en video de modelado de temas y LDA por David Blei o la misma conferencia en YouTube
- D. Bibliografía de LDA de Mimno Una lista exhaustiva de recursos relacionados con LDA (incluidos artículos y algunas implementaciones)
- Gensim , una implementación Python + NumPy de LDA en línea para entradas mayores que la RAM disponible.
- topicmodels y lda son dos paquetes de R para el análisis LDA.
- "Text Mining with R", incluidos los métodos LDA , presentación en video para la reunión de octubre de 2011 del grupo de usuarios de Los Ángeles R
- MALLET Paquete de código abierto basado en Java de la Universidad de Massachusetts-Amherst para el modelado de temas con LDA, también tiene una GUI desarrollada de forma independiente, la herramienta de modelado de temas.
- LDA en la implementación de Mahout de LDA usando MapReduce en la plataforma Hadoop
- Tutorial de asignación de Dirichlet latente (LDA) para Infer.NET Machine Computing Framework Microsoft Research C # Machine Learning Framework
- LDA en Spark : desde la versión 1.3.0, Apache Spark también presenta una implementación de LDA
- LDA , ejemplo Implementación de LDA MATLAB