Aprendizado por reforço profundo explicável: um estudo com controle semafórico inteligente

Autor: Schreiber, Lincoln Vinicius
Přispěvatelé: Ramos, Gabriel de Oliveira
Jazyk: portugalština
Rok vydání: 2022
Předmět:
Zdroj: Repositório Institucional da UNISINOS (RBDU Repositório Digital da Biblioteca da Unisinos)
Universidade do Vale do Rio dos Sinos (UNISINOS)
instacron:UNISINOS
Popis: Submitted by Anna Barbara Alves Beraldine (annabarbara@unisinos.br) on 2022-04-13T21:14:14Z No. of bitstreams: 1 Lincoln Vinicius Schreiber_.pdf: 27875647 bytes, checksum: deecca7225973a37820875347adbf347 (MD5) Made available in DSpace on 2022-04-13T21:14:14Z (GMT). No. of bitstreams: 1 Lincoln Vinicius Schreiber_.pdf: 27875647 bytes, checksum: deecca7225973a37820875347adbf347 (MD5) Previous issue date: 2022-02-18 CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior Com o rápido aumento dos níveis de urbanização, tornou-se ainda mais evidente o problema do congestionamento para a sociedade, o meio ambiente e a economia. Uma abordagem prática para aliviar este problema é o controle semafórico adaptativo, do inglês Adaptive Traffic Signal Control (ATSC). A utilização de algoritmos de aprendizado por reforço profundo mostrou grande potencial para esse controle. Entretanto, tais métodos podem ser vistos como caixas pretas, visto que suas políticas aprendidas não são facilmente compreensíveis ou explicáveis. Essa falta de explicabilidade dos algoritmos pode estar limitando seu uso em condições reais. Um framework que pode fornecer explicações para qualquer modelo de aprendizado profundo é o SHAP. Ele considera os modelos como caixas pretas e utiliza técnicas post-hoc para explicálos, fornecendo explicações baseadas na resposta desse modelo com diferentes entradas, sem analisar ou entrar em pontos internos (tais como parâmetros e arquitetura). O então estado da arte, para uso do SHAP com um algoritmo de aprendizado por reforço profundo para controlar semáforos, consegue demonstrar consistência na lógica da tomada de decisão do agente, apresenta também que o agente reage diferentemente conforme o tráfego de cada pista. Todavia, apresenta algumas limitações na explicabilidade encontrada e não consegue demonstrar de forma intuitiva a relação de alguns sensores com as ações escolhidas pelo agente. Além disso, precisa apresentar diversas figuras para entender o impacto dos estados nas possíveis ações. Este trabalho apresenta duas abordagens baseadas no algoritmo Deep Q-Network capaz de explicar a política aprendida através do framework SHAP. Nossa abordagem considera duas técnicas distintas para aproximação de função: XGBoost e Multi-Layer Perceptron. Cada abordagem passou por um processo de estudo e otimização de seus hiperparâmetros. O ambiente foi caracterizado como um MDP e modelado de duas formas diferentes, chamadas MDP Cíclico e MDP Seletor. Cada uma dessas modelagens permitiu escolher diferentes ações e ter representações diferentes do ambiente. Por meio do framework SHAP, ambas abordagens puderam apresentar o impacto das features em cada ação, o que promove a compreensão de como o agente se comporta diante das diferentes condições de tráfego. Este trabalho também apresenta uma descrição sobre a aplicação de IA Explicável no controle semafórico inteligente, demonstrando como interpretar o modelo e as limitações da abordagem. Além disso, como resultado final, as abordagens melhoraram o tempo de viagem, a velocidade e o throughput em dois cenários distintos, superando os baselines FixedTime, SOTL e MaxPressure. With the fast increase in urbanization levels, the problem of congestion has become even more evident for society, the environment, and the economy. One practical approach to alleviating this problem is adaptive traffic signal control (ATSC). Deep reinforcement learning algorithms have shown great potential for such control. However, these methods can be viewed as black boxes since their learned policies are not easily understood or explainable. The lack of explainability of these algorithms may be limiting their use in real-world conditions. One framework that can provide explanations for any deep learning model is SHAP. It considers models as black boxes and explains them using post-hot techniques, providing explanations based on the response of that model with different inputs, without analyzing or going into internal points (such as parameters and architecture). The state of the art for using SHAP with a deep reinforcement learning algorithm to control traffic lights can demonstrate consistency in the logic of the agent’s decision making, also presenting the reaction according to the traffic in each lane. However, it could not demonstrate the relation of some sensors with the chosen action intuitively and needed to present several figures to understand the impact of the state on the action. This paper presents two approaches based on the Deep Q-Network algorithm to explain the policy learned through the SHAP framework. The first uses the XGBoost algorithm as a function approximation, and the second uses a neural network. Each approach went through a process of studying and optimizing its hyperparameters. The environment was characterized as an MDP, and we modeled it in two different ways, namely Cyclic MDP and Selector MDP. These models allowed us to choose different actions and have different representations of the environment. Both approaches presented the impact of features on each action through the SHAP framework, which promotes understanding of how the agent behaves under different traffic conditions. This work also describes the application of Explainable AI in intelligent traffic signal control, demonstrating how to interpret the model and the limitations of the approach. Furthermore, as a final result, our methods improved travel time, speed, and throughput in two different scenarios, outperforming the FixedTime, SOTL, and MaxPressure baselines.
Databáze: OpenAIRE
Externí odkaz: