ELMo ("Incrustaciones del modelo de lenguaje") es un método de incrustación de palabras para representar una secuencia de palabras como una secuencia correspondiente de vectores. [1] Los tokens de nivel de carácter se toman como entradas para un LSTM bidireccional que produce incrustaciones de nivel de palabra. Al igual que BERT (pero a diferencia de las incrustaciones de palabras producidas por los enfoques de " Bolsa de palabras " y los enfoques vectoriales anteriores como Word2Vec y GloVe ), las incrustaciones de ELMo son sensibles al contexto y producen diferentes representaciones para palabras que comparten la misma ortografía pero tienen diferentes significados ( homónimos ) como "banco" en "orilla del río" y "saldo bancario".
Fue creado por investigadores del Instituto Allen de Inteligencia Artificial [2] y la Universidad de Washington .