Ingesta por flujo continuo para DNS en Apache Spot
Description
Apache Spot, en su afán por dar un tiempo de respuesta rápido y preciso en el análisis de los datos producidos por la red y así hacer la detección oportuna de posibles amenazas o ataques a la red, utilizó Apache Hadoop como base para la recolección, ingesta, almacenamiento, procesamiento y análisis de los datos de red. Apache Hadoop es una herramienta de desarrollo distribuido que tiene un alto desempeño trabajando con Big Data, es por esto que fue seleccionada. La constante optimización de los procesos llevó a identificar problemas de tiempo en la ingesta de datos. PROXY fue el primero en implementarse como flujo continuo de datos al momento de hacer la alimentación del sistema, y se notó una mejora considerable. También se investigaron formas de obtención de los datos de red para DNS que permitieran hacer la ingesta de la misma manera; se encontró que con el monitoreo de la red y la conversión de peticiones sobre DNS en tiempo real, se daba la posibilidad de mover este proceso a flujo continuo de datos.Consejo Nacional de Ciencia y Tecnología