Detección de anomalías en texto a partir de modelos de lenguaje natural

Abstract

La rápida evolución de los modelos de lenguaje natural y la posibilidad de utilizarlos como predictores de palabras y oraciones dentro de su contexto los convierten en herramientas útiles para detectar la presencia de anomalías en términos dentro de un documento. Este estudio propone utilizar BERT como modelo generativo para tareas de detección de anomalías, analizando los tipos de anomalías identificadas tanto en un corpus con lenguaje “estándar” como en uno con errores gramaticales para encontrar las capacidades y limitaciones de la metodología propuesta, así como caracterizar los tipos de anomalías encontradas. La evaluación de 5 modelos no supervisados mostró las particularidades de BERT en el manejo de puntuación, nombres propios y fragmentos de palabras resultando estas en scores particularmente altos, y la complejidad de detectar errores a partir de anomalías dada la estructura secuencial y parafraseada del lenguaje. Finalmente, los resultados de la evaluación en el corpus de aprendizaje REALEC abren la posibilidad de utilizar técnicas de detección de anomalías en conjunto con variables adicionales como base para tareas de corrección de errores gramaticales.