Optimal control of conditioned processes with feedback controls

• Published in: Journal de mathématiques pures et appliquées Vol. 148; pp. 308 - 341
• Main Authors: Achdou, Yves, Laurière, Mathieu, Lions, Pierre-Louis
• Format: Journal Article
• Language: English
• Published: Elsevier Masson SAS 01.04.2021
• Subjects: Numerical simulations; Optimal control driven by an eigenvalue problem; Optimal control of conditioned process; Optimality conditions; Optimality conditions; 93E20; Numerical simulations; 49K20; 60H30; 49J20; Optimal control driven by an eigenvalue problem; Optimal control of conditioned process
• ISSN: 0021-7824
• DOI: 10.1016/j.matpur.2020.07.014

We consider a class of closed loop stochastic optimal control problems in finite time horizon, in which the cost is an expectation conditional on the event that the process has not exited a given bounded domain. An important difficulty is that the probability of the event that conditionates the strategy decays as time grows. The optimality conditions consist of a system of partial differential equations, including a Hamilton-Jacobi-Bellman equation (backward w.r.t. time) and a (forward w.r.t. time) Fokker-Planck equation for the law of the conditioned process. The two equations are supplemented with Dirichlet conditions. Next, we discuss the asymptotic behavior as the time horizon tends to +∞. This leads to a new kind of optimal control problem driven by an eigenvalue problem related to a continuity equation with Dirichlet conditions on the boundary. We prove existence for the latter. We also propose numerical methods and supplement the various theoretical aspects with simulations. Étant donné un domaine borné Ω, on considère des problèmes de contrôle optimal en boucle fermée et en horizon fini, pour lesquels le coût est une espérance conditionnée par le fait que processus reste dans Ω. Une difficulté importante vient du fait que la probabilité de l'évènement qui conditionne la stratégie tend rapidement vers 0 quand la variable temporelle tend vers l'infini. Les conditions d'optimalité consistent en un système couplant une équation de Hamilton-Jacobi-Bellman et une équation de Fokker-Planck. Ces deux équations sont complétées par des conditions de Dirichlet sur la frontière de Ω. On étudie ensuite le comportement asymptotique quand l'horizon tend vers +∞. Ceci conduit à un problème de contrôle optimal d'un problème aux valeurs propres associé à une équation de continuité dans Ω, avec des conditions de Dirichlet. On prouve l'existence de solutions de ce nouveau type de problème. On propose aussi des méthodes numériques et on illustre les aspects théoriques par des simulations.