Aprendizado por reforço modular acelerado por heurísticas aplicado a problemas multiagente e multiobjetivo

Abstract

O objetivo deste trabalho é estudar técnicas de Aprendizado por Reforço aceleradas por Heurísticas para a resolução de problemas multiagente e multiobjetivo. A partir dos algoritmos estudados foram propostos dois métodos baseados em Aprendizado por Reforço Modular que utilizam a decomposição de objetivos em módulos de Aprendizado por Reforço acelerado por Heurísticas. Os experimentos foram realizados em diferentes configurações do domínio da Presa e Predador, no qual o agente aprendiz tem o papel de presa e deve aprender a fugir de um predador enquanto busca a comida que está em um ponto fixo do mapa. A análise dos resultados obtidos mostram que a modularização do problema pode simplificar o processo de aprendizado e, quando unidos a heurísticas, o agente aprendiz necessita de menos tempo para resolver o problema se comparado a algoritmos de Aprendizado por Reforço convencionais.

The goal of this work is to study heuristically accelerated Reinforcement Learning techniques to solve multi-agent multi-objective problems. From well known algorithms, two new methods based on Modular Reinforcement Learning, in which the objectives are divided in modules of Heuristically Accelerated Reinforcement Learning, were proposed. Experiments were made in different configurations of the Predator-Prey problem where the learning agent plays the role of the prey and must learn to escape the predator while searching for the food that is kept in a fixed position of the map. The results shows that by modularizing the problem it is possible to simplify the learning process and, when using heuristics for acceleration, the learning agent needs less time to learn to solve the problem when compared to conventional Reinforcement Learning algorithms.