Parameter Estimation in the Error-in-Variables Models Using the Gibbs Sampler

Authors


Abstract

Least squares and maximum likelihood techniques have long been used in parameter estimation problems. However, those techniques provide only point estimates with unknown or approximate uncertainty information. Bayesian inference coupled with the Gibbs Sampler is an approach to parameter estimation that exploits modern computing technology. The estimation results are complete with exact uncertainty information. The Error-in-Variables model (EVM) approach is investigated in this study. In it, both dependent and independent variables contain measurement errors, and the true values and uncertainties of all measurements are estimated. This EVM set-up leads to unusually large dimensionality in the estimation problem, which makes parameter estimation very difficult with classical techniques. In this paper, an innovative way of performing parameter estimation is introduced to chemical engineers. The paper shows that the method is simple and efficient; as well, complete and accurate uncertainty information about parameter estimates is readily available. Two real-world EVM examples are demonstrated: a large-scale linear model and an epidemiological model. The former is simple enough for most readers to understand the new concepts without difficulty. The latter has very interesting features in that a Poisson distribution is assumed, and a parameter with known distribution is retained while other unknown parameters are estimated. The Gibbs Sampler results are compared with those of the least squares.

Abstract

Les techniques de moindres carrés et de similitude maximale sont utilisées depuis longtemps dans les problèmes d'estimation des paramètres. Cependant, ces techniques ne fournissent que des estimations ponctuelles avec de l'information sur les incertitudes inconnue ou approximative. L'inférence de Bayes couplée à l'échantillonneur de Gibbs est une approche d'estimation paramétrique qui exploite la technologie moderne de calcul par ordinateur. Les résultats d'estimation sont complets avec l'information exacte sur les incertitudes. L'approche du modèle d'erreurs dans les variables (EVM) est étudiée dans cette étude. Dans cette méthode, les variables dépendantes et indépendantes contiennent des erreurs de mesure, et les véritables valeurs et incertitudes de toutes les mesures sont estimées. Ce système EVM mène à une dimensionnalité inhabituellement grande dans le problème d'estimation, ce qui rend l'estimation de paramètres très difficile avec les techniques classiques. Dans cet article, une façon innovante d'effectuer l'estimation de paramètres est présentée aux ingénieurs de génie chimique. On montre dans cet article que la méthode est simple et efficace; de même, de l'information complète et précise sur l'incertitude d'estimation de paramètres est accessible. Deux exemples d'EVM en situation réelle sont montrés, soient un modèle linéaire de grande échelle et un modèle épidémiologique. Le premier modèle est suffisamment simple pour la plupart des lecteurs pour comprendre les nouveaux concepts sans difficulté. Le deuxième possède des caractéristiques extrêmement intéressantes, en ce sens qu'on suppose une distribution de Poisson et qu'un paramètre ayant une distribution connue est retenu pendant que d'autres paramètres non connus sont estimés. Les résultats de l'échantillonneur de Gibbs sont comparés à ceux de la méthode des moindres carrés.

Ancillary