Avaliação de movimentos na patinação artística com identificação e interpretação de resultados automáticas

Abstract

A patinação artística é um esporte que apresenta forte combinação de elementos técnicos e artísticos. Seu sistema de avaliação envolve critérios objetivos, como o julgamento da execução de elementos técnicos, e subjetivos, como interpretação, composição e performance. O objetivo deste trabalho é apresentar uma proposta para identificação e avaliação automática de performances da patinação artística, inicialmente baseada nos critérios objetivos de julgamento do domínio, realizada por modelos artificiais. São utilizadas diversas técnicas de visão computacional, redes neurais artificiais e algoritmos classificadores para aprendizado supervisionado de máquina. Imagens são obtidas através de vídeos de competições oficiais de patinação artística, de forma a descrever em quadros a execução completa de elementos técnicos apresentados; a técnica de segmentação de imagens graph-cut interativo é aplicada nos quadros obtidos, de forma a separar o atleta do plano de fundo; imagens quadro-a-quadro são montadas para a criação de um conjunto de dados composto por 90 imagens com execução quadro-a-quadro de dois diferentes elementos técnicos (Triple Axel e Quad Toe); redes neurais profundas pré-treinadas (ResNet e Xception) são utilizadas para a extração de atributos de alto e baixo nível das imagens; por fim, modelos classificadores são treinados de forma supervisionada com os atributos previamente extraídos, possibilitando a identificação do elemento técnico apresentado e a avaliação obtida (pontuação acima ou abaixo do valor base do elemento). Através da combinação dessas técnicas e da avaliação de diferentes abordagens do problema, os modelos avaliados se mostraram capazes de identificar o elemento sendo realizado e avaliar a qualidade de execução dos elementos em relação aos seus valores base. Esta proposta visa contribuir para a ainda pouco explorada área de avaliação da qualidade de ações, atuando também como base e incentivo para desenvolvimento de futuros trabalhos que visem a aplicação de tecnologia para assistência de atletas, técnicos e jurados do esporte

Figure skating is a sport with a great combination of technical and artistic elements. Its evaluation system involves objective criteria, such as the judgment of technical elements execution, and subjective criteria, such as interpretation, composition and performance. The aim of this study is to present a proposal for the automatic identification and evaluation of figure skating performances, initially based on objective criteria of the domain’s judgment, performed by artificial models. Several techniques of computer vision, artificial neural networks and classifying algorithms for supervised machine learning are applied in this proposal. Images are obtained from videos of official figure skating competition, in order to describe in frames the complete execution of technical elements presented; the technique interactive graph-cut for image segmentation is applied to frames obtained, in order to separate the athlete from the background; frame-by-frame images are composed to create a dataset consisting of 90 images with frame-by-frame execution of two different technical elements (Triple Axel and Quad Toe); pre-trained deep neural networks (ResNet and Xception) are used to extract high and low level attributes from the images; finally, classifier models receive supervised learning through the previously extracted image attributes, enabling the identification of the performed technical element and the obtained evaluation (score above or below the element`s base value). Through these techniques’ combination and the evaluation of different approaches to the problem, the evaluated models were able to identify the element being performed and to evaluate the elements execution quality in relation to their base values. This proposal aims to contribute for the still largely unexplored area of actions quality evaluation, also working as a basis and incentive for the development of future works that aims the application of technology to assist athletes, coaches and sports judges