7.2 Distributions de la famille exponentielle
Dans la littérature en probabilité, il existe plusieurs familles de distributions, où chaque membre d’une même famille partage des propriétés communes aux autres membres. Travailler de manière générale avec des familles de distributions, plutôt que d’énumérer toutes les possibilités comportent plusieurs avantages.
Bien que cela dépasse le cadre du cours, il est à noter que les distributions de la famille exponentielle sont utilisées pour la théorie des modèles linéaires généralisés (ou Generalized Linear Models, souvent simplement appelée GLM).
7.2.1 Caractéristiques des distributions
On suppose une variable aléatoire \(Y\), et on utilisera la notation \(f(y)\) pour la fonction de densité, mais aussi pour la fonction probabilité dans le cas où \(Y\) est discret. La fonction de densité, et la fonction de probabilité, des membres de la famille exponentielle linéaire peut s’écrire sous la forme:
\[ f(y) = c(y, \phi) \exp\left[ \frac{y \omega - a(\omega)}{\phi}\right].\]
Le paramètre \(\omega\) est appelé paramètre canonique de la distribution, et \(\phi\) est le paramètre de dispersion de la distribution.
Par définition, toutes les distributions ayant une fonction de densité (ou une fonction de probabilité) pouvant s’écrire sous la forme précédente sont dites membres de la famille exponentielle linéaire.
Proposition 7.1 La constate de normalisation qu’on peut noter \(B(\omega, \phi)\) correspond à:
\[B(\omega, \phi) = \exp\left[ \frac{a(\omega)}{\phi}\right] = \int_D c(y, \phi) \exp\left[ \frac{y \omega}{\phi}\right]dy\]
(Développement à faire en classe)
Théorème 7.2 L’espérance de \(Y\) s’exprime comme:
\[E[Y] = a'(\omega)\]
où \(a'(\omega)\) est la première dérivée de \(a(\omega)\) par rapport à \(\omega\).
(Développement à faire en classe)
Théorème 7.3 La variance de \(Y\) s’exprime comme:
\[Var[Y] = \phi a''(\omega)\]
avec \(a''(\omega)\) la seconde dérivée de \(a(\omega)\) par rapport à \(\omega\).
(Développement à faire en classe)
Proposition 7.2 La log-densité d’une variable aléatoire \(Y\) membre de la famille exponentielle linéaire s’exprime comme:
\[\begin{eqnarray*} \ln(f(y)) &=& \ln(c(y, \phi)) + \left[ \frac{y \omega - a(\omega)}{\phi}\right] \\ &=& \ln(c(y, \phi)) + \frac{y \omega}{\phi} - \frac{a(\omega)}{\phi}. \end{eqnarray*}\]
Plusieurs distributions connues font partie de la famille exponentielle linéaire et il est souvent plus facile de travailler avec la log-densité:
7.2.2 Loi binomiale
On suppose que \(Y \sim Bin(n,p)\). Ainsi nous avons:
\[ \Pr[Y=y] = \binom{n}{y} p^y (1-p)^{n-y} \]
Proposition 7.3 La binomiale est membre de la famille exponentielle linéaire, avec:
\[\begin{eqnarray*} c(y, \phi) &=& \binom{n}{y}\\ \omega &=& \ln\left(\frac{p}{1-p}\right) \\ a(\omega) &=& n \ln(1+e^{\omega})\\ \phi &=& 1 \end{eqnarray*}\]
(Développement à faire en classe)
Proposition 7.4 La fonction \(\ell()\) qui permet de passer du paramètre \(p\) à \(\omega\) est appelé la fonction de lien:
\[\omega = \ell(p)\]
Proposition 7.5 La fonction de lien naturelle, ou canonique, de la binomiale est la fonction logit:
\[\begin{eqnarray*} \omega &=& \ell(p) = \ln\left(\frac{p}{1-p}\right) \end{eqnarray*}\]
Exemple 7.1 Calculez l’espérance et la variance de la binomiale.
(Développement à faire en classe)
7.2.3 Loi de Poisson
On suppose que \(Y \sim Poisson(\lambda)\). Ainsi:
\[ Pr[Y=y] = \frac{\lambda^y e^{-\lambda}}{y!} \]
Proposition 7.6 La Poisson est membre de la famille exponentielle linéaire, avec:
\[\begin{eqnarray*} c(y, \phi) &=& \frac{1}{y!}\\ \omega &=& \ln(\lambda) \\ a(\omega) &=& \lambda \\ \phi &=& 1 \end{eqnarray*}\]
(Développement à faire en classe)
Proposition 7.7 La fonction de lien naturelle, ou canonique, de la Poisson est la fonction logarithmique:
\[\begin{eqnarray*} \omega &=& \ell(\lambda) = \ln(\lambda) \end{eqnarray*}\]
Exemple 7.2 Calculez l’espérance et la variance de la Poisson.
(Développement à faire en classe)
7.2.4 Loi normale (gaussienne)
On suppose que \(Y \sim Normal(\mu, \sigma^2)\). Ainsi:
\[ f(y) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp\left(-\frac{1}{2\sigma^2} (y-\mu)^2\right) \]
Proposition 7.8 La normale est membre de la famille exponentielle linéaire, avec:
\[\begin{eqnarray*} \ln(c(y, \phi)) &=& \ln \sigma - \ln(\sqrt{2 \pi}) - \frac{y^2/2}{\sigma^2}\\ \omega &=& \mu \\ a(\omega) &=& \mu^2/2\\ \phi &=& \sigma^2 \end{eqnarray*}\]
(Développement à faire en classe)
Proposition 7.9 La fonction de lien naturelle, ou canonique, de la Normale est la fonction identité:
\[\begin{eqnarray*} \omega &=& \ell(\mu) = \mu \end{eqnarray*}\]
Exemple 7.3 Montrez que l’espérance et la variance de la normale sont égaux à \[\begin{eqnarray*} E[Y] &=& \mu \\ Var[Y] &=& \sigma^2 \end{eqnarray*}\]
7.2.5 Loi gamma
On suppose que \(Y \sim gamma(\alpha, \tau)\). Ainsi:
\[\begin{eqnarray*} f(y) = \frac{\tau^{\alpha}}{\Gamma(\alpha)} y^{\alpha-1} \exp(-\tau y). \end{eqnarray*}\]
La gamma généralise deux distributions très connues en statistique:
1- La distribution exponentielle lorsque \(\alpha = 1\).
2- La distribution \(\chi^2\) lorsque \(\alpha = \tfrac{p}{2}\) et \(\tau = \tfrac{1}{2}\).
Une autre paramétrisation de la gamme est possible lorsque \(\alpha = \delta\) et \(\tau = \tfrac{\delta}{\mu}\). Sous cette forme, la densité peut s’exprimer comme:
\[\begin{eqnarray*} f(y) = \left(\frac{\delta}{\mu}\right)^{\delta} \frac{1} {\Gamma(\delta)} y^{\delta-1} \exp\left(-\frac{\delta y}{\mu}\right) \end{eqnarray*}\]
Cette forme est plus simple pour lier la gamma à la famille exponentielle linéaire. D’ailleurs, c’est souvent cette dernière paramétrisation de la gamma est qui est utilisée dans la théorie des GLM.
Proposition 7.10 La gamma est membre de la famille exponentielle linéaire, avec:
\[\begin{eqnarray*} c(y, \phi) &=& \delta \log(\delta) - \log\left(\Gamma(\delta)\right) + (\delta-1) \log(y)\\ \omega &=& -\frac{1}{\mu} \\ a(\omega) &=& -\log(-\omega)\\ \phi &=& \frac{1}{\delta} \end{eqnarray*}\]
(Développement à faire en classe)
Proposition 7.11 La fonction de lien naturelle, ou canonique, de la gamma est la fonction inverse:
\[\begin{eqnarray*} \omega &=& \ell(\mu) = -\frac{1}{\mu} \end{eqnarray*}\]
Exemple 7.4 Montrez que l’espérance et la variance de la normale sont égaux à \[\begin{eqnarray*} E[Y] &=& \mu \\ Var[Y] &=& \frac{\mu^2}{\delta} \end{eqnarray*}\]