Get access
Advertisement

Evaluation of the parameters used in iterative dynamic programming

Authors


Abstract

To apply iterative dynamic programming (IDP) to optimal control problems having a very large number of control variables the use of randomly chosen values for control at each grid point is required. To gain insight into the effect of the number of allowable values for control, the region contraction factor, and the number of grid points for the state vector to be used, computational results are presented for two nonlinear systems, one of which possesses numerous local optima.

The reliability of obtaining the global optimum for the bifunctional catalyst blend optimization problem was found to be somewhat higher by using randomly chosen values for control rather than by choosing the control values over a uniform distribution. The global optimum is obtained even when a small number of allowable values for control at each grid point and a small number of grid points for the states are used. There is a wide range of the region contraction factor for which rapid convergence to the optimum is obtained. Also the number of grid points for the state can be very small without adversely affecting convergence to the optimum.

Abstract

Pour pouvoir appliquer la programmation dynamique itérative aux problèmes de contrǒ1e optimal ayant un très grand nombre de variables de contrǒle, il faut utiliser des valeurs de contrǒle choisies au hasard à chaque point du maillage. Afin de mieux comprendre ľeffet du nombre de valeurs de contrǒle permises, du facteur de contraction local et du nombre de points de maillage pour le vecteur ďétat à utiliser, on présente les résultats des calculs pour deux systèmes non linéaires, dont un comporte de nombreux optimums locaux.

On a trouvé q'il était plus sǔr ďobtenir ľoptimum global pour le problème ďoptimisation de mélanges de catalyse bifonctionnelle en utilisant des valeurs de contrǒle choisies au hasard plutǒt que des valeurs choisies selon une distribution uniforme. Ľoptimum global est obtenu měme lorsq'on utilise un petit nombre de valeurs de contrǒle permises à chaque point du maillage et un petit nombre de points de maillage pour les états. Ľéchelle du facteur de contraction local pour lequel on obtient une convergence rapide vers ľoptimum est grande. De měme, le nombre de points de maillage pour ľetate peut ětre très petit sans influer de manièere conséquente sur la convergence vers ľoptimum.

Get access to the full text of this article

Ancillary