SEARCH

SEARCH BY CITATION

Keywords:

  • Additive regression trees;
  • expected improvement;
  • global optimization;
  • nonstationary simulators;
  • tidal power model;
  • MSC 2010: Primary 62L05;
  • secondary 62G08

Abstract

In computer experiments, a mathematical model implemented on a computer is used to represent complex physical phenomena. These models, known as computer simulators, enable experimental study of a virtual representation of the complex phenomena. Simulators can be thought of as complex functions that take many inputs and provide an output. Often these simulators are themselves expensive to compute, and may be approximated by “surrogate models” such as statistical regression models. In this paper we consider a new kind of surrogate model, a Bayesian ensemble of trees (Chipman, George, & McCulloch, 2010), with the specific goal of learning enough about the simulator that a particular feature of the simulator can be estimated. We focus on identifying the simulator's global minimum. Utilizing the Bayesian version of the expected improvement criterion (Jones, Schonlau, & Welch, 1998), we show that this ensemble is particularly effective when the simulator is ill-behaved, exhibiting nonstationarity or abrupt changes in the response. A number of illustrations of the approach are given, including a tidal power application. The Canadian Journal of Statistics 40: 663–678; 2012 © 2012 Statistical Society of Canada

Lors d'expérimentation par ordinateur, un modèle mathématique implanté dans un ordinateur est utilisé pour représenter un phénomène physique complexe. Ces modèles, connus sous le nom de simulateur par ordinateur, permettent l'étude expérimentale d'une représentation virtuelle de phénomènes complexes. Nous pouvons considérer ces simulateurs comme étant des fonctions complexes qui demandent plusieurs intrants et qui fournissent un extrant. Souvent ces modèles sont eux-mêmes coûteux en terme de temps de calcul et ils peuvent être approximés par des modèles de substitution tels que les modèles de régression. Dans cet article, nous considérons un nouveau type de modèle de substitution, un ensemble bayésien d'arbres (Chipman et al., 2010) dont le but spécifique est d'en apprendre assez sur une caractéristique particulière du simulateur pour l'estimer. Notre attention portera particulièrement sur l'identification du minimum global du simulateur. En utilisant une version bayésienne du critère d'amélioration espérée (Jones et al., 1998), nous montrons que cet ensemble est particulièrement efficace lorsque le simulateur ne se comporte pas bien, par exemple s'il présente de la non-stationnarité ou des changements abrupts. Notre approche est illustrée à l'aide de nombreux exemples, incluant une application sur l'énergie marémotrice. La revue canadienne de statistique 40: 663–678; 2012 © 2012 Société statistique du Canada