Classificação da linguagem corporal de pacientes no leito utilizando aprendizado profundo

Abstract

A comunicação humana envolve não apenas palavras, mas também elementos não verbais, como gestos, expressões faciais e postura corporal. Em contextos hospitalares, a análise dessas interações é especialmente relevante, pois a detecção precoce de comportamentos anormais em pacientes pode prevenir o agravamento de condições clínicas graves. No entanto, detectar automaticamente a linguagem corporal de pacientes acamados apresenta desafios significativos devido às variações de postura, expressões faciais e movimentos restritos no leito. Além disso, o desenvolvimento de sistemas robustos de detecção da linguagem corporal enfrenta dificuldades relacionadas à variedade e diversidade das fontes de informação, bem como às condições de coleta em ambientes reais. O problema computacional abordado nesta pesquisa consiste no desenho de um sistema de classificação automática de linguagem corporal mediante imagens de pacientes no leito, considerando ângulos de imagens em diferentes perspectivas, para categorizações precisas. Assim, para resolver este problema, o objetivo desta pesquisa é criar duas bases de dados, BER2024 com imagens em ambientes simulados e PER2024 com imagens em ambientes reais, além de um sistema de classificação multimodal que utilize aprendizado profundo. Este sistema emprega redes neurais convolucionais e totalmente conectadas para extrair características e classificar a linguagem corporal a partir de imagens digitais de diferentes perspectivas. Com este fim, várias arquiteturas de extratores de características foram testadas. O sistema analisa expressão facial, postura e imagens completas do corpo para identificar quatro estados distintos: dor, linguagem corporal negativa, positiva e neutra. Os resultados, mesmo num dataset pequeno, sugerem a eficácia dessa abordagem, com acurácias alcançando 96.47% e 92.51% nas bases de dados BER2024 e FULL2024 (BER2024 + PER2024), respectivamente. Dessa forma, os altos valores de acurácia obtidos, mesmo quando a informação nas bases de dados utilizadas aumenta em diversidade, mostram a robustez do sistema proposto e indicam direções promissoras para o aumento de estudos com dados de maior variabilidade. Finalmente, as bases de dados BER2024 e PER2024 também representam contribuições relevantes ao estado da arte, pois oferecem conjuntos inéditos e organizados de dados que podem ser utilizados em pesquisas futuras na área

Human communication involves not only words, but also non-verbal elements, such as gestures, facial expressions and body posture. In hospital settings, the analysis of these interactions is especially relevant, since early detection of abnormal behavior in patients can prevent the worsening of serious clinical conditions. However, automatically detecting the body language of bedridden patients presents significant challenges due to variations in posture, facial expressions and restricted movements in bed. In addition, the development of robust body language detection systems faces difficulties related to the variety and diversity of information sources, as well as the collection conditions in real environments. The computational problem addressed in this research consists of designing an automatic body language classification system using images of patients in bed, considering image angles from different perspectives, for accurate categorizations. Thus, to solve this problem, the objective of this research is to create two databases, BER2024 with images in simulated environments and PER2024 with images in real environments, in addition to a multimodal classification system that uses deep learning. This system uses convolutional and fully connected neural networks to extract features and classify body language from digital images from different perspectives. To this end, several feature extractor architectures were tested. The system analyzes facial expression, posture and full body images to identify four distinct states: pain, negative, positive and neutral body language. The results, even on a small dataset, suggest the effectiveness of this approach, with accuracies reaching 96.47% and 92.51% in the BER2024 and FULL2024 (BER2024 + PER2024) databases, respectively. Thus, the high accuracy values obtained, even when the information in the databases used increases in diversity, show the robustness of the proposed system and indicate promising directions for future studies with data of greater variability. Finally, the BER2024 and PER2024 databases also represent relevant contributions to the state of the art, as they offer new and organized sets of data that can be used in future research in the area