Metodologia de seleção de itens em testes adaptativos informatizados baseada em agrupamento por similaridade

Abstract

Testes Adaptativos Informatizados são avaliações educacionais aplicadas em um computador, cuja escolha dos itens é feita em tempo real, baseada nas respostas do examinando aos itens anteriores. Esta característica garante aos testes adaptativos maior precisão na estimativa da proficiência do examinando com a aplicação de menos itens. Diversas metodologias foram criadas para balancear a precisão na estimativa da proficiência com o uso homogêneo do banco de itens, a maioria delas fundadas na Teoria da Resposta ao Item, uma série de modelos psicométricos criados especificamente para mensurar traços latentes dos indivíduos e modelar probabilisticamente o comportamento desses indivíduos durante a aplicação de um teste. Este trabalho apresenta uma nova metodologia de seleção de itens para aplicação de Testes Adaptativos Informatizados, baseada no agrupamento por similaridade de um banco de itens, representados por seus parâmetros sob o modelo logístico de 3 parâmetros da Teoria da Resposta ao Item. Diversos algoritmos de agrupamento tradicionais são aplicados, seus resultados são avaliados utilizando medidas de validação disponíveis na literatura e, por fim, são alimentados à metodologia proposta, a qual é validada através de um estudo de simulações de aplicações de Testes Adaptativos Informatizados sob diversas restrições de exposição dos itens. O estudo de simulações demonstra que o número de grupos no qual o banco de itens é separado possui influência sobre a precisão da estimativa das proficiências dos indivíduos e também sobre a taxa de sobreposição do teste, permitindo que precisão e segurança do banco de itens possam ser controlados através da variação no número de partições.

Computerized Adaptive Tests are educational evaluations applied using a computer, whose choice of items is done in real time, based on responses from the previous items answered by the examinee. This feature ensures greater accuracy in estimating examinees’ abilities with the use of fewer items. Several methodologies were created to balance the accuracy in estimating abilities with the homogeneous use of the item database, most of them based on Item Response Theory, a series of psychometric models created specifically to measure latent traits of individuals and probabilistically model the behavior of these individuals during the application of a test. This work presents a new item selection methodology for the application of Computerized Adaptive Tests, which is based on the clustering of the items in the item pool, represented by their parameters under the three-parameter logistic model of Item Response Theory. Several traditional clustering algorithms are applied, their results are evaluated using validation measures available in the literature and finally are fed to the proposed method, which is validated by a simulation study of adaptive testing applications under various item exposure restrictions. The simulation study showed that the number of groups in which the item bank is separated has influence on the accuracy of the estimation of examinees’ skills and on the test overlap rate, allowing both variables to be controlled by varying the number of partitions.