Moindres Carrés Ordinaires et alternatives
2021-05-10
1 Introduction
La méthode des moindres carrés ordinaires (MCO) consiste à minimiser la somme des carrés des écarts, écarts pondérés dans le cas multidimensionnel, entre chaque point du nuage de régression et son projeté, parallèlement à l’axe des ordonnées, sur la droite de régression. Il s’agit d’ajuster un nuage de points \(\{Y_i, Xi\}_{i=1,...,n}\) selon une relation linéaire, prenant la forme de la relation matricielle \(Y=X\beta+\epsilon\), où \(\epsilon\) est un terme d’erreur. Parmi les différentes méthodes de régression existantes cette dernière est certainement la plus utilisée. C’est pourquoi nous avons, dans ce travail, rappeler les concepts fondamentaux de base utilisés dans cette méthode et avons travaillé sur une méthode de représentation permettant d’en visualiser les principaux résultats.
Dans une première partie, nous reviendrons sur un concept majeur et fondamental en économétrie à savoir la covariance. Pourquoi ? La réponse est très simple : dans la plupart des techniques de régression, la covariance est une notion essentielle. Il s’agira donc de revenir sur la définition de la covariance communément admise, de rappeler les concepts autour de cette notion : la moyenne, la variance, le centre de gravité, etc… Nous proposerons ensuite une définition alternative de cette notion de covariance avec à l’appui une représentation graphique de celle-ci.
Dans la seconde partie, nous reviendrons en détail sur la méthode des moindres carrés ordinaires, nous proposerons une représentation alternative ou plus précisément une représentation diagrammatique, de la méthode des moindres carrés ordinaires qui permet de visualiser le principe de la régression par MCO d’une manière purement graphique. Partant d’une représentation des variances des variables et de leur covariance, nous montrons comment la régression par MCO entre deux variables peut être représentée facilement par un schéma particulièrement simple et intuitif. Une application R Shiny permettra de visualiser les résultats de cette méthode de façon ludique et interactive.