A test for independence via Bayesian nonparametric estimation of mutual information

Abstract

Mutual information is a well-known tool to measure the mutual dependence between variables. In this article, a Bayesian nonparametric estimator of mutual information is established by means of the Dirichlet process and the k-nearest neighbour distance. As a result, an easy-to-implement test of independence is introduced through the relative belief ratio. Several theoretical properties of the approach are presented. The procedure is illustrated through various examples and is compared with its frequentist counterpart. L'information mutuelle est un outil classique et bien connu qui sert à mesurer la dépendance mutuelle entre variables. Les auteurs de ce travail proposent d'utiliser le processus de Dirichlet et la méthode des k-proches voisins pour construire un estimateur bayésien non paramétrique de cette information. Ainsi, en ayant recours au rapport de croyance relative, ils introduisent un test d'indépendance facile à implémenter. En plus d'une illustration sur divers exemples pratiques, une comparaison avec un analogue fréquentiste, plusieurs propriétés théoriques de l'approche sont présentées.