Uma arquitetura de alocação de tarefas para sistemas multi-robôs utilizando aprendizado por reforço

Abstract

Agentes operando em domínios multiagentes precisam cooperar e coordenar suas ações, e em alguns casos, competir com adversários ao mesmo tempo. Muitos destes domínios são também dinâmicos, como o futebol de robôs, a exploração submarina, planetária ou os ambientes com presença humana, criando a necessidade de que os agentes sejam capazes de tomar decisões complexas e se adaptar rapidamente a novas condições. Na literatura existem resultados positivos à respeito da aplicação do Aprendizado por Reforço em problemas complexos, em parte porque os agentes que utilizam esta técnica aprendem por experiência, sem a necessidade de modelos do ambiente em que operam. Porém, os requisitos computacionais do Aprendizado por Reforço são ainda restritivos, especialmente em domínios que necessitam de resposta em tempo real. Por outro lado, muitos dos sistemas de alocação de tarefas em multi-robôs encontrados na literatura tem tempos de execução e custo computacional baixos, ideais para estas aplicações. Este trabalho apresenta uma arquitetura de alocação de tarefas em sistemas multi-robôs em que os agentes participam de leilões pelas funções de alto nível disponíveis e utilizam Aprendizado por Reforço para aprender o valor de cada uma destas funções, dada a situação em que a equipe de robôs se encontra. A arquitetura foi aplicada a uma equipe de futebol de robôs da categoria RoboCup Small Size. Foram comparados os desempenhos do mecanismo de alocação de tarefas quando agentes utilizavam valores de seus lances ajustados manualmente, quando os valores eram aprendidos por aprendizado por reforço e também por aprendizado por reforço com heurísticas. Os resultados dos experimentos mostram que,o sistema de alocação de tarefas proposto é capaz de aumentar significativamente o desempenho da equipe, quando comparado com algoritmos em que o comportamento da equipe é pré-programado.

Agents operating in multi-agent domains need to cooperate and coordinate their actions, while, in some instances, also competiting with adversaries. Many of these domains are also dynamic, such as robot soccer, submarine or planetary exploration, and the environments with human presence, thus creating the need to have agents able to take complex decisions and to quickly adapt to new conditions. There are positive results in the literature regarding the employment of Reinforcement Learning in complex problems, partially because agents using this technique can learn by experience, without the need to know models of the environment they operate in. However, computational costs of the Reinforcement Learning algorithms are still restrictive, especially in applications requiring real time responses. On the other hand, many of the multi-robot task allocation systems found in literature have low execution times and computational cost, making them ideal for this kind of application. This work presents a multi-robot task allocation architecture where agents participate in auctions for the available high level functions and use Reinforcement Learning techniques to learn the value of each of these functions, given the situation of the team at that point in the match. The architecture is applied to a RoboCup Small Size league robot soccer team. The performance of the task allocation mechanism is compared among the cases when the agents use manually adjusted bidding values, when these values are learned by Reinforcement Learning and also by Heuristically Accelerated Reinforcement Learning. The results show that the proposed task allocation system is capable of significantly increasing the team performance, when compared to algorithms which pre-program the team behavior.