Aprendizado por reforço acelerado por heurísticas aplicado ao domínio do futebol de robôs

Abstract

Esse trabalho apresenta um comparação entre algoritmos de Aprendizado por Reforço com e sem a utilização de heurísticas para aceleração do aprendizado em ambiente simulado e a transferência de conhecimento, através de heurísticas, para o ambiente real. O ambiente de Futebol de Robôs é utilizado como plataforma para os experimentos realizados, pois é um ambiente complexo, dinâmico e não-determinístico. As informações do ambiente foram abstraídas e o conjunto de estados foi definido por regiões, enquanto o conjunto de ações representa diferentes comportamentos de alto nível. Foram efetuados experimentos em ambiente real e simulado. Os testes em ambiente simulado mostraram que heurísticas aceleram o aprendizado significativamente. Para os teste em ambiente real, foi desenvolvido um sistema completo de um time de Futebol de Robôs e o conhecimento adquirido no aprendizado em simulação foi transferido através de heurísticas. Os resultados mostraram que algoritmos de Aprendizado por Reforço acelerados por heurísticas implicam em um melhor desempenho quando comparados com os algoritmos tradicionais de Aprendizado por Reforço

This work present a comparison between Reinforcement Learning algorithms with and without the use of heuristics to accelerate the learning tsk in a simulated environment and the knowledge transfer, through heuristics, for the real environment. The Robot-Soccer environment is used as a test platform, because it is a complex, dynamic and non-deterministic environment. The environments' informations were abstracted and the state space was defined by regions, while the action space represents different high level behaviors. Experiments were done in real and simulated environments. The test in simulated environment showed that heuristics accelerate the learning significantly. For the real environment tests, a complete system of a Robot-Soccer team was developed and the learning acquired in the simulated environment was transferred through heuristics. The results showed that the heuristically accelerated Reinforcement Learning algorithms imply in a better performance when compared with traditional Reinforcement Learning algorithms