Método de otimização da alocação de redes virtuais na estrutura física de uma rede substrato utilizando aprendizado por reforço

Abstract

As tecnologias 5G possibilitaram novas aplicações em uma infraestrutura de computação de borda que visa atender uma demanda heterogênea e distribuída que unifica hardware, rede e software voltados para habilitação digital. Baseada nos requisitos da Indústria 4.0, esta infraestrutura habilitadora introduz o conceito de fatiamento da rede (Network Slicing), um recurso fundamental que transforma a rede de um paradigma estático em um novo paradigma onde as redes são lógicas, utilizando o modelo de compartilhamento de computação em nuvem e névoa, que deve atender às necessidades de acordos de nível de serviço de forma conveniente e otimizada, exigindo um mecanismo de orquestração para a alocação dinâmica de recursos. Entre esses mecanismos, a incorporação de redes virtuais (VNE) e o gerenciamento dinâmico de recursos (DRM) têm mostrado uma maneira de definir onde e como a tecnologia de computação em névoa deve ser usada. Este trabalho propõe um algoritmo de alocação de recursos, o VNE_CRS, que utiliza uma técnica de inteligência artificial chamada aprendizado por reforço para orquestrar múltiplos domínios da infraestrutura de uma rede 5G, beneficiandose de sua característica de considerar todo o problema, fim a fim, utilizando diferentes aspectos do Indice de Qualidade de Serviço 5G (5QIs). Experimentos foram realizados em simulação comparando o VNE_CRS com algoritmos do estado da arte para alocação VNE em ambiente Edge de múltiplos domínios. Os resultados mostraram que o uso de técnicas de aprendizado por reforço para alocação de recursos de VNE apresentou ganhos de desempenho. Ele pode não apenas simplificar a arquitetura VNE, mas também atuar como um sistema de orquestração completo que visa os resultados estratégicos de longo prazo

5G technologies have enabled new applications on a heterogeneous and distributed Edge infrastructure which unifies hardware, network and software aimed at digital enabling. Based on requirements of Industry 4.0, this infrastructure introduces the concept of network slicing, a fundamental resource that transforms the network from a static paradigm into a new paradigm where networks are logical, developed using Cloud and fog computing sharing model, which should meet the needs of service level agreements in a convenient and optimized way, requiring an orchestration mechanism for the dynamic resource allocation. Among these mechanisms, virtual networks embedding (VNE) and dynamic resource management (DRM) have shown a way to define where and how Edge technology should be used. This paper proposes a resource allocation algorithm, VNE_CRS, which uses an artificial intelligence technique called reinforcement learning to orchestrate multiple domains, benefiting from its characteristic of considering the whole problem, end-to-end, using different aspects of 5G Quality of Service Indicator (5QIs). Experiments were carried out in simulation comparing VNE_CRS with stateof- the-art algorithms for multi domains Edge environment. Results have shown that the usage of reinforcement learning techniques to VNE resource allocation has shown performance gains. It can not only simplify the VNE architecture but also act as a full orchestration system that aims at the strategic long run results of whole infrastructure usage