Environmental sound recognition in embedded systems: bridging experiments in passenger vehicles to autonomous vehicle applications in smart cities

Abstract

The autonomous vehicle market is experiencing significant growth, with indications of transitioning from the "trough of disillusionment" to the "slope of enlightenment" on the Gartner hype cycle chart. Fundamental technologies encompassing extensive data analytics, computational capabilities, and sensor fusion techniques have already been established, and all stakeholders in this industry are persistently exploring novel approaches to enhance the overall perception of end users in terms of safety and trustworthiness. In this context, this project aims to develop and implement an Environmental Sound Recognition (ESR) algorithm in an embedded system for deployment in autonomous vehicles for Smart Cities in 2025, targeting advanced functionalities for early warning systems. Due to hardware constraints, a regular passenger vehicle was used, embedding the ESR algorithm in a Raspberry Pi with a microphone array. The limited literature on ESR algorithms for vehicles primarily focuses on siren detection without real-time inferences, and to address this, a dataset benchmarking study confirmed classifiers’ accuracy, leading to the creation of a new dataset tailored to autonomous vehicles. This new dataset provided a comprehensive baseline where several classifiers were trained and evaluated for accuracy, memory usage, and prediction time, with CNN 2D using aggregated features emerging as the top-performing model, achieving an average accuracy of 80% in the sliding window process. During the indoor experiment, the total prediction time attained an average of 47.6 ms, validating the algorithm’s performance with weighted F1-scores close to or better than cross-validation results. In the final phase of the methodology, real-world tests conducted in a passenger vehicle yielded similar results. However, inconsistencies were observed in certain classes due to insufficient sample diversity and environmental noise, which affected their accuracy. The results of this project indicate that its general objective was successfully achieved, contributing to understanding of ESR algorithms in embedded systems within passenger vehicles, and it is ready for integration into the electric and electronic architecture of autonomous vehicles for Smart Cities. Additionally, upon conducting further experiments across various vehicle categories to assess cabin insulation effects, this project could potentially enhance safety features for drivers with hearing impairments by adapting the ESR algorithm as an add-on feature in regular passenger vehicles

O mercado de veículos autônomos vem crescendo significativamente, indicando uma transição do "vale da desilusão" para a "inclinação da iluminação" no gráfico Gartner hype cycle. As tecnologias essenciais que abrangem análise extensa de dados, capacidades computacionais avançadas e técnicas de fusão de sensores já foram estabelecidas e as partes interessadas nesta indústria estão constantemente explorando novas abordagens para aprimorar a percepção global dos usuários finais em termos de segurança e confiabilidade. Nesse contexto, este projeto visa desenvolver e implementar um algoritmo de Reconhecimento de Sons Ambientais (ESR) em sistema embarcado para implantação em veículos autônomos para cidades inteligentes em 2025, visando funcionalidades avançadas para sistemas de alerta precoce. Devido às limitações de hardware, foi utilizado um veículo de passageiros comum, incorporando o algoritmo ESR em um Raspberry Pi com uma matriz microfônica. A literatura sobre algoritmos ESR para veículos se concentra na detecção de sirenes sem inferências em tempo real. Para resolver esse problema, um estudo de benchmarking de datasets confirmou a precisão dos classificadores, levando à criação de um novo dataset adaptado a veículos autônomos. Este dataset forneceu uma base de referência onde vários classificadores foram treinados e avaliados quanto à sua precisão, uso de memória e tempo de predição, com a CNN 2D usando características agregadas se destacando com o melhor desempenho, alcançando uma precisão média de 80% no processo de janela deslizante. Um experimento em ambiente interno validou o desempenho do algoritmo com valores de F1-score ponderado próximos ou melhores que os resultados da validação cruzada, com tempo total de predição médio de 47,6 ms. Na fase final da metodologia, testes em ambiente externo com um veículo de passageiros demonstraram resultados semelhantes, embora inconsistências tenham sido observadas em certas classes devido à falta de diversidade das amostras e ao ruído ambiental, penalizando sua precisão. O projeto alcançou com sucesso seu objetivo geral e está pronto para integração na arquitetura elétrica e eletrônica de veículos autônomos para cidades inteligentes. Além disso, ao conduzir experimentos adicionais em várias categorias de veículos para avaliar os efeitos da isolação da cabine, este projeto poderia potencialmente melhorar as características de segurança para motoristas com deficiência auditiva ao adaptar o algoritmo ESR como uma funcionalidade adicional em veículos comuns