Modelo híbrido para la detección de deepfakes mediante YOLOv3 y análisis espectral con la Transformada de Fourier

Abstract

El aumento exponencial en la generación y propagación de deepfakes, sumado al crecimiento de herramientas que promueven su desarrollo, ha originado la necesidad creciente de verificar los contenidos en línea. La posibilidad de que cualquier persona pueda acceder a esta tecnológica sin ninguna dificultad, junto con su asombrosa habilidad para crear rostros hiperrealistas, presenta serios desafíos para su identificación a través de métodos tradicionales.

Este trabajo propone un modelo híbrido que combina el modelo de detección de objetos YOLOv3 sumado con el análisis en el dominio de la frecuencia mediante la Transformada Discreta de Fourier (DFT) y el uso de una Red Neuronal ResNet50 para su clasificación. El modelo utiliza el algoritmo YOLOv3 como una herramienta de visión computacional que permite localizar y extraer las regiones faciales de interés, disminuyendo el ruido del entorno, seguido de un análisis espectral con DFT que permite identificar patrones de alta frecuencia que son característicos de imágenes creadas con herramientas de deepfake. Por último, se entrena un modelo de clasificación con representaciones espectrales de los conjuntos de datos que incluyen imágenes reales y falsas. Esto permite al modelo aprender los patrones de ambos datasets y distinguir entre una imagen real y una falsa.

Los resultados que se obtuvieron como resultado de este trabajo demuestran que el enfoque híbrido propuesto puede lograr una mejora significativa en la precisión de detección respecto a métodos básicos basados exclusivamente en el dominio espacial. Este estudio aporta evidencia sobre la efectividad del análisis de frecuencia como una herramienta más para combatir este tipo de contenido. Combinado con técnicas de visión por computadora, muestra una posible solución para los retos que presenta esta nueva década, dominada por la inteligencia artificial.