Get access

Selection of simplified models: I. Analysis of model-selection criteria using mean-squared error

Authors


Abstract

Mean-squared error (MSE) is used to analyse nine commonly used model-selection criteria (MSC) for their performance when selecting simplified models (SMs). Expressions are derived to enable exact calculations of the probability that a particular MSC will select a SM. For several common MSC, the relative propensities to select SMs are independent of model structure and data. It is shown that MSC that are effective in preventing overfitting are prone to underfitting when information content of the data is low. In a subsequent article, results are extended to develop a new MSE-based MSC for selecting nonlinear multi-response SMs.

Abstract

L'erreur quadratique moyenne (EQM) est utilisée pour analyser neuf critères de sélection de modèles (CSM) couramment utilisés pour leur rendement lors de la sélection de modèles simplifiés (MS). Des expressions sont trouvées pour permettre des calculs exacts de la probabilité qu'un CSM particulier choisisse un MS. Pour plusieurs CSM communs, les propensions relatives pour choisir des MS sont indépendantes de la structure et des données des modèles. On a démontré que les CSM qui sont efficaces pour empêcher le surajustement sont enclins au sous-ajustement lorsque le contenu de l'information des données est faible. Dans un article ultérieur, les résultats sont étendus pour créer un nouveau CSM fondé sur l'EQM pour la sélection de MS non linéaires à réponses multiples.

Get access to the full text of this article

Ancillary