Information Measures in Perspective

Authors


Summary

Information-theoretic methodologies are increasingly being used in various disciplines. Frequently an information measure is adapted for a problem, yet the perspective of information as the unifying notion is overlooked. We set forth this perspective through presenting information-theoretic methodologies for a set of problems in probability and statistics. Our focal measures are Shannon entropy and Kullback–Leibler information. The background topics for these measures include notions of uncertainty and information, their axiomatic foundation, interpretations, properties, and generalizations. Topics with broad methodological applications include discrepancy between distributions, derivation of probability models, dependence between variables, and Bayesian analysis. More specific methodological topics include model selection, limiting distributions, optimal prior distribution and design of experiment, modeling duration variables, order statistics, data disclosure, and relative importance of predictors. Illustrations range from very basic to highly technical ones that draw attention to subtle points.

Résumé

Les méthodologies issues de la Théorie de l'Information sont de plus en plus fréquemment appliquées dans des disciplines diverses. Très souvent, cependant, lorsqu'une mesure d'information est adaptée à un problème donné, les perspectives unificatrices de la théorie dont elle est issue sont négligées. Nous exposons ici ces perspectives pour un ensemble de problèmes rencontrés en probabilité et en statistique. L'accent est mis sur l'entropie de Shannon et l'information de Kullback–Leibler. Les notions de base sur lesquelles s'appuient ces deux mesures comprennent les notions d'incertitude et d'information, leurs fondements axiomatiques, leur interprétation, leurs propriétés et leurs généralisations. Les applications visées sont, entre autres, les discordances entre lois de probabilités, la construction de modèles probabilistes, les mesures de dépendance entre variables, et l'analyse bayésienne. De façon plus spécifique, ces applications se rencontrent en sélection de variables, l'étude de lois-limites, la caractérisation de lois a priori et de plans d'expériences optimaux, la modélisation des durées de vie, l'utilisation des statistiques d'ordre, et les performances relatives de prédicteurs. Les illustrations vont des problèmes les plus simples aux plus techniques, et permettent d'attirer l'attention sur certains points particulièrement subtils.

Ancillary