Destilação de conhecimento aplicada à resiliência de sistemas de percepção em condições de falha sensorial

Abstract

Este trabalho investiga a aplicação da técnica de destilação de conhecimento como estratégia para promover a resiliência de sistemas de percepção em condições de falha sensorial. A abordagem proposta consiste em transferir o conhecimento aprendido por um modelo multimodal, denominado Professor, para um modelo mais simples, denominado Aluno, de forma que este mantenha desempenho satisfatório mesmo quando uma das modalidades sensoriais está ausente ou degradada. A hipótese central é que, ao aprender as relações implícitas entre sensores, o modelo Aluno pode preservar a consistência perceptiva sem depender de todas as entradas originais. A técnica é avaliada no contexto da estimativa de profundidade, considerandoa combinação entre sensores LiDAR e câmera monocular. O modelo Professor utiliza ambas as modalidades para produzir mapas de profundidade densos, enquanto o modelo Aluno aprende a reproduzir esses resultados empregando apenas a câmera. O estudo utiliza como base arquiteturas do tipo encoder–decoder, com três variantes de rede neural (VGG16, ResNet-34 e MobileNetV2), comparando sua eficiência e capacidade de generalização. Os experimentos são realizados sobre o conjunto de dados KITTI, amplamente empregado em pesquisas de percepção visual, permitindo a validação quantitativa e qualitativa dos resultados. Os resultados demonstram que a destilação de conhecimento é eficaz na transferência de informação entre domínios sensoriais, preservando parte significativa do desempenho mesmo em cenários de falha. A abordagem proposta evidencia o potencial da destilação como mecanismo de resiliência informacional, capaz de substituir, em certa medida, a redundância física de sensores. Além de sua relevância prática, o estudo contribui para o avanço do campo de aprendizado profundo aplicado à percepção multimodal, apresentando uma alternativa escalável e eficiente para o desenvolvimento de sistemas perceptivos mais robustos e adaptativos.

This work investigates the application of the knowledge distillatio technique as a strategy to enhance the resilience of perception systems under sensory failure conditions. The proposed approach transfers the knowledge learned by a multimodal model, referred to as the Teacher, to a simpler model, the Student, enabling it to maintain satisfactory performance even when one of the sensory modalities is missing or degraded. The central hypothesis is that, by learning the implicit relationships between sensors, the Student model can preserve perceptual consistency without relying on the complete set of sensory inputs. The technique is evaluated in the context of depth estimation, considering the combination of LiDAR and monocular camera sensors. The Teacher model uses both modalities to produce dense depth maps, while the Student model learns to reproduce these results using only camera input. The study adopts encoder– decoder neural architectures, evaluating three variants (VGG16, ResNet-34, and MobileNetV2) to compare their efficiency and generalization capability. Experiments are conducted on the KITTI dataset, widely used in visual perception research, allowing both quantitative and qualitative assessment of the proposed method. Results demonstrate that knowledge distillation effectively transfers information between sensory domains, preserving a significant portion of performance even under failure scenarios. The proposed approach highlights the potential of distillation as an informational resilience mechanism, capable of partially replacing physical sensor redundancy. Beyond its practical relevance, this study advances the field of deep learning applied to multimodal perception, providing a scalable and efficient alternative for developing perceptual systems that are more robust and adaptive