On the empirical efficiency of local MCMC algorithms with pools of proposals

Authors


Abstract

In an attempt to improve on the Metropolis algorithm, various MCMC methods involving pools of proposals, such as the multiple-try Metropolis and delayed rejection strategies, have been proposed. These methods generate several candidates in a single iteration; accordingly they are computationally more intensive than the Metropolis algorithm. In this paper, we consider three samplers with pools of proposals—the multiple-try Metropolis algorithm, the multiple-try Metropolis hit-and-run algorithm, and the delayed rejection Metropolis algorithm with antithetic proposals—and investigate the net performance of these methods in various contexts. To allow for a fair comparison, the study is carried under optimal mixing conditions for each of these samplers. The algorithms are used in the contexts of Bayesian logistic regressions, inference for a linear regression model, high-dimensional hierarchical model, and bimodal distribution. The Canadian Journal of Statistics 41: 657–678; 2013 © 2013 Statistical Society of Canada

Résumé

Afin d'améliorer l'algorithme Metropolis, plusieurs méthodes MCMC impliquant des cohortes de candidats ont été proposées, notamment les stratégies à essais multiples et à rejet retardé. Ces méthodes génèrent plusieurs candidats par itération; elles impliquent donc un coût computationnel plus élevé que celui de l'algorithme Metropolis. Dans cet article, les auteurs considèrent trois approches avec cohortes de candidats –l'algorithme Metropolis à essais multiples, l'algorithme Metropolis « hit-and-run »  à essais multiples et l'algorithme à rejet retardé avec candidats antithétiques –et ils étudient la performance nette de ces méthodes dans différents contextes. Pour que la comparaison soit équitable, chaque échantillonneur est examiné sous des conditions de mélange optimales. Les algorithmes sont utilisés dans des contextes de régression logistique bayésienne, régression linéaire, modèle hiérarchique en grandes dimensions et distribution bimodale. La revue canadienne de statistique 41: 657–678; 2013 © 2013 Société statistique du Canada

Ancillary