Human vs machine towards neonatal pain assessment: a comparison of the facial features extracted by adults and convolutional neural networks

Abstract

One of the most important challenges of the scientific community is to mitigate the several consequences for neonates due to pain exposure. This challenge is mainly justified by the fact that neonates are not able to verbally communicate pain, hindering the correct identification of the presence and intensity of this phenomenon. In this context, several clinical scales have been proposed to assess pain, using, among other parameters, the facial features of the neonate. However, a better comprehension of these features is yet required, since some recent results have shown the subjectivity of these scales. Meanwhile, computational frameworks have been implemented to automate neonatal pain assessment. Despite their impressive performances, these frameworks still lack to understand the corresponding decision-making processes. Therefore, we propose to investigate in this dissertation the facial features related to the human and machine neonatal pain assessments, comparing the visual perceived regions by health-professionals experts and parents of neonates with the most relevant ones extracted by eXplainable Artificial Intelligence (XAI) methods using two classification models: (i) VGG-Face, trained originally in facial recognition, and (ii) N-CNN, implemented and trained end-to-end for neonatal pain assessment. Our findings show that the regions used by the classification models are clinically relevant to neonatal pain assessment, yet do not agree with the facial perception of healthprofessionals and parents. Consequently, these differences suggest that humans and machines can learn with each other in order to improve their current decision-making process of identifying the discriminant information related to neonatal pain. Additionally, we observed that, using the same classification model, the XAI methods implemented here yield distinct relevant facial features to the same input image. These results raise concerns about the effective use and interpretation of XAI methods, and, more importantly, what regions of the image are truly relevant to the decision-making process of the classification model. Nevertheless, our findings advance the current knowledge on how humans and machines code and decode the neonatal facial response to pain. We believe that these findings might enable further improvements in clinical scales and computation tools widely used in real situations, whether based on human or machine decision-making process

Um dos mais importantes desafios da comunidade científica é mitigar as diversas consequências à exposição da dor em neonatos. Este desafio é principalmente justificado pelo fato de que neonatos não são capazes de verbalizarem dor, dificultando a correta identificação da presença e intensidade deste fenômeno. Neste contexto, diversas escalas clínicas têm sido propostas para avaliar dor, usando, entre outros parâmetros, as características faciais do neonato. Entretanto, uma melhor compreensão dessas caracterísitcas é ainda necessária, visto que resultados recentes demonstraram a subjetividade destas escalas. Enquanto isso, metodologias computacionais têm sido implementadas para automatizar a avaliação da dor neonatal. Apesar de terem desempenho expressivo, estes métodos não permitem a compreensão dos seus processos de tomada de decisão. Portanto, esta dissertação investiga as características faciais relacionadas a avaliação de dor neonatal humana e computacional, comparando as regiões visualmente observadas por profissionais de saúde e pais de neonatos com as características mais relevantes extraídas por métodos de Interpretação de Inteligência Artificial (IIA) utilizando dois modelos de classificação: (i) VGG-Face, treinada originalmente em reconhecimento facial, e (ii) N-CNN, implementada e treinada especificamente para a avaliação de dor neonatal. Os resultados obtidos mostram que as regiões utilizadas pelos modelos de classificação são clinicamente relevantes para a avaliação de dor neonatal, porém, não concordam com a percepção facial de profissionais de sáude e pais. Consequentemente, essas diferenças sugerem que humanos e máquinas podem aprender entre si de forma a melhorar seus atuais processos de identificar as informações discrimimantes da dor neonatal. Adicionalmente, foi observado que, utilizando o mesmo modelo de classificação, métodos distintos de IIA geram diferentes extrações de características para a mesma amostra de imagem de entrada. Estes resultados geram preocupações sobre o efetivo uso e interpretação desses métodos, e, mais importante ainda, quais são as regiões faciais realmente relevantes para o processo de tomada de decisão do modelo computacional. Não obstante, os resultados obtidos avançam o conhecimento atual em como humanos e máquinas codificam e decodificam a resposta facial à dor por neonatos. Estes achados podem permitir o futuro melhoramento das escalas clínicas e ferramentas computacionais utilizadas vastamente em situações reais, sejam esses métodos baseados em decisões humanas ou de máquina