Sintonia QR do Regulador Linear Quadrático LQR Discreto e Programação Dinâmica Aproximada baseada em Ação-Estado para Aplicações Online do Projeto de Sistemas de Controle Ótimo

• Published in: Trends in Computational and Applied Mathematics Vol. 25; no. 1; p. e01686
• Main Authors: Cerqueira, M., Lopes, L., Fonseca, J. V.
• Format: Journal Article
• Language: Portuguese
• Published: Sociedade Brasileira de Matemática Aplicada e Computacional - SBMAC 27.11.2024; Sociedade Brasileira de Matemática Aplicada e Computacional
• Subjects: ADHDP; Controle Ótimo; HDP; MATHEMATICS; MATHEMATICS, APPLIED; Programação Dinâmica; Q-Function; Sistemas Multivariáveis; programação dinâmica; controle ótimo; AD-HDP; convergence; multivariable systems; dynamic programming; DLQR; optimal control; Q-Function; convergência; sistemas multivariáveis
• ISSN: 2676-0029; 2676-0029
• DOI: 10.5540/tcam.2024.025.e01686

Devido ao crescente desenvolvimento tecnol´ogico e `as  consequentes aplicaç˜oes industriais, novos m´etodos para o projeto de controle e Aprendizado por Reforço tem sido desenvolvidas, n˜ao apenas para resolver novos problemas de controle, mas tamb´em para melhorar o desempenho de controladores j´a implementados em sistemas do mundo real. As abordagens de Aprendizagem por Reforc¸o e Regulador Quadr´atico Linear Discreto s˜ao conectadas por m´etodos de Programaç˜ao Dinˆamica Adaptativa. Esses paradigmas s˜ao  orientados para o projeto de controladores ´otimos em  sistemas multivari´aveis. Para o caso do Regulador Quadr´atico Linear Discreto, AD-HDP, Aprendizado por Reforc¸o, Pol´ıtica de Iterac¸ ˜ao e Valor de Iterac¸ ˜ao, um m´etodo e um algoritmo s˜ao desenvolvidos e implementados para projeto de controle online. Com base na seleção das matrizes de ponderac¸ ˜ao Q e R, tamb´em ´e apresentado um m´etodo para ajustar controladores reguladores lineares quadr´aticos discretos. Este m´etodo fornece diretrizes para a construção de heur´ısticas para a seleç˜ao de matrizes de ponderaç˜ao, aspectos de convergˆencia relacionados `as variaç˜oes das matrizes de ponderaç˜ao s˜ao investigados. Para um sistema dinˆamico multivari´avel de terceira ordem, o algoritmo proposto e a heur´ıstica de ajuste s˜ao avaliados pela capacidade de estabelecer a pol´ıtica de controle ´otima Due to increasing technological development and the consequent industrial applications, new methods for control design and Reinforcement Learning have been developed, not only to solve new control problems, but also to improve the performance of controllers already implemented in real-world systems. Reinforcement Learning and Discrete Linear Quadratic Regulator approaches are connected by Adaptive Dynamic Programming methods. These paradigms are oriented towards the design of optimal controllers in multivariable systems. For the case of the Discrete Linear Quadratic Regulator, AD-HDP, Reinforcement Learning, Iteration Policy and  Iteration Value, a method and an algorithm are developed and implemented for online control design. Based on the selection of the Qand R weighting matrices , a method to tune Discrete Linear Quadratic Regulator controllers is also presented, this method provides  guidelines for constructing heuristics for the selection of weighting matrices, aspects of convergence related to the weighting matrices variations are investigated. For a third-order multivariable dynamic system, the proposed algorithm and tuning heuristics are evaluated by the ability to establish the optimal control policy.