Aprendizado por reforço aplicado ao desenvolvimento de agentes humanoides no domínio do futebol de robôs simulado

Abstract

A área da robótica vem evoluindo ao longo destes anos com a criação de novos robôs e com o desenvolvimento de aplicações inteligentes. A criação de robôs cada vez mais semelhantes aos seres humanos é um grande desafio. Para vencer este desafio, existem técnicas de aprendizado de máquina que têm semelhanças ao aprendizado de um ser humano. O domínio estudado neste trabalho é o futebol de robôs humanoides, que é um grande desafio, já que o robô deve se movimentar e ter comportamentos semelhantes a jogadores reais com o uso de técnicas de aprendizado. A técnica de aprendizado estudada neste trabalho é o Aprendizado por Reforço, utilizada para a solução de problemas quando um agente robô humanoide precisa aprender a atuar em um local desconhecido. Esta técnica é capaz de fazer os agentes robôs humanoides a aprender, por meio de tentativa e erro, para qual lado ele deverá andar, fazer gols como também fazer a defesa destes, melhorando o seu comportamento a cada instante,em um programa de simulação virtual de futebol, chamado RoboCup 3D. A plataforma, RoboCup 3D, utilizada para desenvolvimento dos agentes robóticos, vem sendo cada vez mais utilizada no mundo científico, devido simular em um mundo virtual características de jogadores de um mundo real, além de manter as mesmas características do ambiente.

The robotics area has evolved over the years with the creation of new robots and the development of intelligent applications. The creation of robots more and more similar to humans is a challenge. To meet this challenge, there are machine learning techniques that have similarities to the learning of a human being. The area studied in this work is the humanoid robot soccer, which is a major challenge, since the robot should move and have behavior similar to real players with the use of learning techniques. The learning technique studied in this work is the Reinforcement Learning, used for troubleshooting when a humanoid robot agent must learn to act in an unknown location. This technique is able to make the agents humanoid robots to learn through trial and error, which way he should go, score goals as well as make the protection, improving their behavior at every moment, in a virtual simulation program football, called RoboCup 3D. The platform, RoboCup 3D, used for development of robotic agents, has been increasingly used in the scientific world due simulate a virtual world with characteristics players in a real world, while maintaining the same characteristics of the environment.