Metodologia para reconhecimento de objetos utilizando padrões binários locais com sensores baseados em eventos

Abstract

Recentemente, novos sensores com pixels ativos foram colocados no mercado. Estes sensores exportam variações locais de intensidade luminosa na forma de eventos assíncronos com baixa latência. Uma vez que o formato de saída dos dados é um fluxo de eventos endereçáveis e não uma imagem de intensidades completa, novos algoritmos são necessários para problemas conhecidos na área de Visão Computacional, como segmentação, VO, SLAM, reconhecimento de objetos e cenas. Algumas propostas para estes novos algoritmos foram aplicadas à navegação de veículos autônomos e mostraram bom desempenho para manobras em alta velocidade. Foram propostas também algumas metodologias para classificação de objetos utilizando métodos convencionais, adaptações para uso de redes profundas e redes neurais de terceira geração baseadas em spikes. No entanto, métodos utilizando redes profundas ou redes spike, frequentemente requerem recursos de hardware específicos e de difícil miniaturização. Além disso, diversos operadores e descritores tradicionais utilizados na área de Visão Computacional tem sido negligenciados no contexto de eventos e poderiam contribuir para metodologias mais leves para reconhecimento de objetos e símbolos. Esta tese propõe um algoritmo para extração de padrões binários locais em estruturas esparsas tipicamente encontrados em capturas por eventos com complexidade linear demonstrada experimentalmente. Para sustentar a plausibilidade da adoção deste operador, esta tese propõe a duas metodologias utilizando padrões binários locais aplicados a capturas com sensores basados em eventos para o problema de reconhecimento de objetos. A primeira metodologia, tira proveito do conhecimentos sobre os movimentos realizados pelo sensor, enquanto a segunda é agnóstica a movimentos. É demonstrado experimentalmente que o LBP é uma alternativa viável, rápida e leve e que possibilita a redução de variáveis usando algoritmo PCA em alguns casos. Demonstramos que é possível reduzir o tamanho do vetor final utilizado para classificação em até 99,73% em relação a métodos convencionais considerados estado da arte e ainda manter acurácia comparável aos mesmos.

Recently, new sensors with active pixels were brought to market. These sensors export local variations of light intensity in the form of asynchronous events with low latency. Since the data output format is a stream of addressable events and not a complete image of light intensities, new algorithms are required for known problems in the field of Computer Vision, such as segmentation, VO, SLAM, object, and scene recognition. Some proposals for such algorithms were applied for autonomous vehicle navigation and showed good performance in high-speed maneuvers. There are also proposed methodologies for object recognition using conventional methods, deep learning, and third-generation neural networks based on spikes. However, deep learning networks and spike neural networks require specific hardware for processing, hard to miniaturize. Also, several traditional Computer Vision operators and feature descriptors have been neglected in the context of event sensors and could contribute to lighter methodologies in object recognition. This thesis proposes an algorithm for local binary pattern extraction in sparse structures, typically found in event-based sensor captures, with linear complexity demonstrated experimentally to sustain the plausibility of adopting this operator. This thesis also proposes two methodologies using local binary patterns to captures with event-based sensors for object recognition. The first methodology exploits the known motion performed by the sensor, while the second is motion agnostic. It is demonstrated experimentally that the LBP operator is a fast and light alternative that enables variable reduction using PCA in some cases. The experiments also show that it is possible to reduce the final feature vector for classification by up to 99,73% when compared to conventional methods considered state-of-the-art while maintaining comparable accuracy.