16 Lineare Regression

Das Ziel der linearen Regression besteht darin, den Zusammenhang zwischen zwei (oder später auch mehr als zwei) Variablen $X$ und $Y$ durch eine lineare Funktion möglichst gut zu erfassen. Da die Punktewolke $(x_{1}, y_{1}), \dots, (x_{n}, y_{n})$ aber nie exakt auf einer Geraden liegt, fügt man der linearen Funktion Größen $u_{1}, \dots, u_{n}$ hinzu, die die Abweichungen von der Geraden repräsentieren. $y_{i} = a + b x_{i} + u_{i}$ für $i = 1, \dots, n$ . Man nennt die $u_{i}$ Residuen (engl. residuals). Die folgende Abbildung zeigt ein (positives) Residuum. Es ist der vertikale Abstand des beobachteten Punkts von der Geraden.

Die Frage ist nun: Welche Gerade passt sich am besten der Punktewolke an? Anders gefragt: Wie soll man den Achsenabschnitt (engl. intercept) $a$ und den Steigungskoeffizienten (engl. slope) $b$ der linearen Funktion wählen?

Noch ein Hinweis zur Sprechweise: Wenn $Y$ auf der $y$ -Achse abgetragen wird und $X$ auf der $x$ -Achse, dann sagt man, dass $Y$ auf $X$ regressiert wird (engl. to regress $Y$ on $X$ ).

16.1 Herleitungen

Um die Frage nach der optimalen Anpassung zu beantworten, braucht man ein Kriterium, mit dem beurteilt werden kann, wie gut sich eine Gerade an die Punktewolke anpasst. Das gängige Kriterium ist die Summe der quadrierten Residuen, also die Summe aller $u_{i}^{2}$ . Die Zielfunktion hängt von dem Achsenabschnitt und dem Steigungskoeffizienten ab. Um deutlich zu machen, dass diese beiden Werte frei gewählt werden können, nennen wir die Argumente der Zielfunktion $α$ und $β$ , $\begin{aligned} Z (α, β) & = \sum_{i = 1}^{n} u_{i}^{2} \\ = \sum_{i = 1}^{n} (y_{i} - α - β x_{i})^{2} \end{aligned}$ Diese Funktion wird nun bezüglich $α$ und $β$ minimiert. Man spricht daher auch von der Methode der kleinsten Quadrate. Um das Minimum zu finden, bilden wir zunächst die partiellen Ableitungen.

Wie müssen $α$ und $β$ gewählt werden, um die Summe der quadrierten Residuen zu minimieren? Es handelt sich offenbar um ein Optimierungsproblem in zwei Variablen ( $α$ , $β$ ) ohne Nebenbedingungen. Wir gehen in drei Schritten vor: Ableiten, Nullsetzen, Auflösen.

Die beiden partiellen Ableitungen der Zielfunktion sind $\begin{aligned} \frac{\partial Z (α, β)}{\partial α} & = \sum_{i = 1}^{n} 2 (y_{i} - α - β x_{i}) \cdot (- 1) \\ = - 2 \sum_{i = 1}^{n} (y_{i} - α - β x_{i}) \\ \frac{\partial Z (α, β)}{\partial β} & = \sum_{i = 1}^{n} 2 (y_{i} - α - β x_{i}) \cdot (- x_{i}) \\ = - 2 \sum_{i = 1}^{n} (x_{i} y_{i} - α x_{i} - β x_{i}^{2}) \end{aligned}$ Setzt man die Ableitung nach $α$ auf Null, so ergibt sich $\begin{aligned} - 2 \sum_{i = 1}^{n} (y_{i} - α - β x_{i}) & = 0 \\ \Leftrightarrow & \sum_{i = 1}^{n} (y_{i} - α - β x_{i}) & = 0 \\ \Leftrightarrow & α n + β \sum_{i = 1}^{n} x_{i} & = \sum_{i = 1}^{n} y_{i} \end{aligned}$ Eine alternative Darstellung dieser Gleichung, die wir im nächsten Abschnitt benötigen, lautet $\sum_{i = 1}^{n} u_{i} = 0,$ in anderen Worten: Im Optimum müssen Achsenabschnitt und Steigungskoeffizient so gewählt werden, dass die Summe der Residuen 0 ergibt.

Nullsetzen der Ableitung nach $β$ ergibt $\begin{aligned} - 2 \sum_{i = 1}^{n} (x_{i} y_{i} - α x_{i} - β x_{i}^{2}) & = 0 \\ \Leftrightarrow & \sum_{i = 1}^{n} (x_{i} y_{i} - α x_{i} - β x_{i}^{2}) & = 0 \\ \Leftrightarrow & α \sum_{i = 1}^{n} x_{i} + β \sum_{i = 1}^{n} x_{i}^{2} & = \sum_{i = 1}^{n} x_{i} y_{i} \end{aligned}$ Auch hier gibt es eine alternative Darstellung, in der die Residuen vorkommen. Dazu formen wir die mittlere Gleichung um, $\begin{aligned} \sum_{i = 1}^{n} (x_{i} y_{i} - α x_{i} - β x_{i}^{2}) & = 0 \\ \Leftrightarrow & \sum_{i = 1}^{n} x_{i} (y_{i} - α - β x_{i}) & = 0 \\ \Leftrightarrow & \sum_{i = 1}^{n} x_{i} u_{i} & = 0 \end{aligned}$ Im Optimum müssen Achsenabschnitt und Steigungskoeffizient so gewählt werden, dass nicht nur $\sum_{i = 1}^{n} u_{i} = 0$ , sondern außerdem auch noch $\sum_{i = 1}^{n} x_{i} u_{i} = 0$ gilt.

Wir kehren aber nun zu der Schreibweise ohne die Residuen zurück. Für das Optimum müssen diese beiden Gleichungen simultan erfüllt sein: $\begin{aligned} α n + β \sum_{i = 1}^{n} x_{i} & = \sum_{i = 1}^{n} y_{i} \\ α \sum_{i = 1}^{n} x_{i} + β \sum_{i = 1}^{n} x_{i}^{2} & = \sum_{i = 1}^{n} x_{i} y_{i} \end{aligned}$ Es handelt sich um ein lineares Gleichungssystem mit zwei Gleichungen und zwei Unbekannten, nämlich $α$ und $β$ . Die Lösung des Gleichungssystems kann man auf verschiedenen Wegen finden, z.B. mit Cramérs Ansatz. Die optimalen Werte von $α$ und $β$ nennen wir $a$ und $b$ . Zuerst leiten wir $b$ her. $\begin{aligned} b & = \frac{| \begin{array}{cc} n & \sum_{i = 1}^{n} y_{i} \\ \sum_{i = 1}^{n} x_{i} & \sum_{i = 1}^{n} x_{i} y_{i} \end{array} |}{| \begin{array}{cc} n & \sum_{i = 1}^{n} x_{i} \\ \sum_{i = 1}^{n} x_{i} & \sum_{i = 1}^{n} x_{i}^{2} \end{array} |} \\ = \frac{n \sum_{i = 1}^{n} x_{i} y_{i} - \sum_{i = 1}^{n} x_{i} \sum_{i = 1}^{n} y_{i}}{n \sum_{i = 1}^{n} x_{i}^{2} - (\sum_{i = 1}^{n} x_{i})^{2}} \end{aligned}$ Multipliziert man Zähler und Nenner mit $1 / n^{2}$ , dann vereinfacht sich der Ausdruck zu $b = \frac{s_{X Y}}{s_{X}^{2}} .$ Der optimale Steigungskoeffizient ist also der Quotient aus der Kovarianz von $X$ und $Y$ und der Varianz von $X$ . Diesen Wert können wir nun in die erste Gleichung des obigen Gleichungssystem einsetzen. Der optimalen Achsenabschnitt $a$ muss folgende Bedingung erfüllen, $a n + b \sum_{i = 1}^{n} x_{i} = \sum_{i = 1}^{n} y_{i}$ bzw. nach Teilen beider Seiten durch $n$ und Umstellen $a = \bar{y} - b \bar{x} .$ Fassen wir zusammen: Die Methode der kleinsten Quadrate liefert einen Achsenabschnitt $a$ und einen Steigungskoeffizienten $b$ , so dass die Gerade $y = a + b x$ sich optimal an eine Punktewolke anpasst: $\begin{aligned} a & = \bar{y} - b \bar{x} \\ b & = \frac{s_{X Y}}{s_{X}^{2}} . \end{aligned}$ Die durch $y = a + b x$ beschriebene Gerade nennt man Regressionsgerade.

16.2 Anpassungsgüte

Die minimierte Summe der quadrierten Residuen beträgt $\sum_{i = 1}^{n} u_{i}^{2} = \sum_{i = 1}^{n} (y_{i} - a - b x_{i})^{2} .$ Ist diese Summe nun groß oder klein? Kann durch die Regression die Streuung der $Y$ -Werte eher schlecht oder eher gut erfasst werden? Um das zu beurteilen, müssen wir die Streuung der $Y$ -Werte genauer analysieren.

Zu jeden $x_{i}$ gehört ein $Y$ -Wert, der genau auf der Regressionsgeraden liegt, nämlich ${\hat{y}}_{i} = a + b x_{i} .$ Die ${\hat{y}}_{1}, \dots, {\hat{y}}_{n}$ nennt man Prognosen, auch wenn dieser Begriff umgangssprachlich für echte Vorhersagen besetzt ist, also für Aussagen über die Zukunft. Die englische Bezeichnung “fitted values” trifft den Sachverhalt besser.

Aus der Definition der Prognosen folgt: Die tatsächlich beobachteten $Y$ -Werte sind die Summe aus den Prognosen und den Residuen, $y_{i} = {\hat{y}}_{i} + u_{i} .$ Summiert man über alle $i$ und dividiert beide Seiten durch $n$ , ergibt sich $\frac{1}{n} \sum_{i = 1}^{n} y_{i} = \frac{1}{n} \sum_{i = 1}^{n} {\hat{y}}_{i} + \frac{1}{n} \sum_{i = 1}^{n} u_{i} .$ Wir wissen aber aus dem letzten Abschnitt, dass $\sum_{i = 1}^{n} u_{i} = 0$ ist. Darum gilt, dass der Mittelwert der $Y$ -Werte gleich ist dem Mittelwert der $\hat{Y}$ -Werte, $\overset{―}{y} = \overset{―}{\hat{y}} .$ Nun betrachten wir die Varianz der $Y$ -Werte und formen sie gezielt um. Dabei benutzen wir die Definition der prognostizierten Werte ${\hat{y}}_{i}$ und die Eigenschaft, dass die Mittelwerte der $Y$ -Werte und der $\hat{Y}$ -Werte gleich sind. $\begin{aligned} s_{Y}^{2} & = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - \overset{―}{y})^{2} \\ = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{y}}_{i} - \overset{―}{\hat{y}} + u_{i})^{2} \\ = \frac{1}{n} \sum_{i = 1}^{n} {(({\hat{y}}_{i} - \overset{―}{\hat{y}}) + u_{i})}^{2} \\ = \frac{1}{n} \sum_{i = 1}^{n} (({\hat{y}}_{i} - \overset{―}{\hat{y}})^{2} + 2 ({\hat{y}}_{i} - \overset{―}{\hat{y}}) u_{i} + u_{i}^{2}) \\ = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{y}}_{i} - \overset{―}{\hat{y}})^{2} + 2 \frac{1}{n} \sum_{i = 1}^{n} ({\hat{y}}_{i} - \overset{―}{\hat{y}}) u_{i} + \frac{1}{n} \sum_{i = 1}^{n} u_{i}^{2} . \end{aligned}$ Der erste Summand ist die Varianz der $\hat{Y}$ -Werte, also $s_{\hat{Y}}^{2}$ . Der dritte Summand ist die Varianz der Residuen $s_{U}^{2}$ , weil der Mittelwert (bzw. die Summe) der Residuen 0 ist. Der Term in der Mitte nimmt den Wert 0 an, was man nicht ohne weiteres erkennen kann, sondern herleiten muss. Dazu schauen wir uns die Summe genauer an, $\begin{aligned} \sum_{i = 1}^{n} ({\hat{y}}_{i} - \overset{―}{\hat{y}}) u_{i} & = \sum_{i = 1}^{n} {\hat{y}}_{i} u_{i} - \sum_{i = 1}^{n} \overset{―}{\hat{y}} u_{i} \\ = \sum_{i = 1}^{n} {\hat{y}}_{i} u_{i} - \overset{―}{\hat{y}} \sum_{i = 1}^{n} u_{i} \\ = \sum_{i = 1}^{n} {\hat{y}}_{i} u_{i}, \end{aligned}$ denn die Summe der Residuen ist 0. Nun ersetzen wir ${\hat{y}}_{i}$ durch $a + b x_{i}$ und erhalten $\begin{aligned} \sum_{i = 1}^{n} {\hat{y}}_{i} u_{i} & = \sum_{i = 1}^{n} (a + b x_{i}) u_{i} \\ = \sum_{i = 1}^{n} a u_{i} + \sum_{i = 1}^{n} b x_{i} u_{i} \\ = a \sum_{i = 1}^{n} u_{i} + b \sum_{i = 1}^{n} x_{i} u_{i} . \end{aligned}$ Wir wissen aber bereits, dass diese beiden Summen 0 ergeben. Damit ist der Streuungszerlegungssatz gezeigt: $s_{Y}^{2} = s_{\hat{Y}}^{2} + s_{U}^{2} .$ Die Streuung (Varianz) der tatsächlichen $Y$ -Werte kann exakt zerlegt werden in die Summe der Streuung der gefitteten Werte ( $\hat{Y}$ -Werte) und der Streuung der Residuen. Das Besondere der linearen Regression besteht darin, dass diese Zerlegung sehr elegant und gut interpretierbar ist. Die Größe $s_{\hat{Y}}^{2}$ bezeichnet die durch die Regression “erklärte Streuung”, und $s_{U}^{2}$ ist die “unerklärte Streuung”.

Der Anteil der erklärten Streuung $s_{\hat{Y}}^{2}$ an der gesamten Streuung $s_{Y}^{2}$ heißt Bestimmtheitsmaß und wird in der Literatur meist mit $R^{2}$ (engl. R squared) notiert, $R^{2} = \frac{s_{\hat{Y}}^{2}}{s_{Y}^{2}} .$ Da Varianzen niemals negativ sein können, liegt das Bestimmtheitsmaß immer in dem Intervall $[0, 1]$ . Werte in der Nähe von 0 zeigen, dass (fast) kein linearer Zusammenhang zwischen den Variablen $X$ und $Y$ besteht. Werte in der Nähe von 1 zeigen, dass es zwischen $X$ und $Y$ einen (fast) exakten linearen Zusammenhang gibt.

Achtung: Wenn zwischen zwei Variablen $X$ und $Y$ ein deutlicher linearer Zusammenhang gefunden wird, zieht man leicht den Schluss, dass $X$ einen kausalen Einfluss auf $Y$ hat. Wie schon bei den Zusammenhangsmaßen ist das leider eine unzulässige Schlussfolgerung, denn Regression impliziert keine Kausalität!

Wenn $X$ und $Y$ in einem linearen Zusammenhang stehen, kann das zwar daran liegen, dass $X$ tatsächlich einen kausalen Einfluss auf $Y$ hat, aber es kann auch andere Ursachen haben. So kann der kausale Effekt in die andere Richtung verlaufen, d.h. $Y$ hat einen kausalen Effekt auf $X$ . Oder es kann eine oder mehrere Hintergrundvariablen geben, die sowohl auf $X$ als auch auf $Y$ wirken. Wie man kausale Effekte ökonometrisch sauber aufdecken kann, lernen Sie in dem Modul Empirical Economics (allerdings nur im VWL-Studiengang).

16.3 Lineare Modelle in R

Die Regression $y_{i} = a + b x_{i} + u_{i}$ gehört zu den sogenannten linearen Modellen. Sie spielen so eine große Rolle in Data Science, dass es in R eine eigene Syntax gibt, mit der lineare Modelle dargestellt werden können. Die Syntax der linearen Regression von $Y$ auf $X$ lautet allgemein wie folgt:

regr <- lm(Y~X, data=DATAFRAME)

Dabei ist DATAFRAME der Name des Dataframes, in dem die Variablen $X$ und $Y$ gespeichert sind. Die Notation Y~X wird in R “formula” genannt. Sie bedeutet, dass die Variable links von der Tilde (also hier $Y$ ) erklärt wird durch das, was rechts von der Tilde steht (hier also $X$ ). In dem hier gezeigten einfachsten Fall steht rechts nur eine einzelne Variable, es ist jedoch möglich auf der rechten Seite mehrere Variablen oder auch Transformationen der Variablen aufzulisten, die dann gemeinsam $Y$ erklären sollen.

Als Ergebnis der linearen Regression wird ein recht komplexes Objekt ausgegeben. In dem obigen Befehl wird dieses Objekt unter dem Namen regr gespeichert (und erscheint auch im Environment-Pane).

Das Objekt regr enthält

den Achsenabschnitt $a$ und den Steigungskoeffizienten $b$ ; sie können durch coefficients(regr) als Vektor ausgelesen werden oder durch regr bzw. print(regr) angezeigt werden,
die Residuen $u_{1}, \dots, u_{n}$ ; sie können durch residuals(regr) ausgelesen werden,
die Prognosen ${\hat{y}}_{1}, \dots, {\hat{y}}_{n}$ ; sie können durch fitted.values(regr) ausgelesen werden,
weitere Informationen, die uns jedoch (noch) nicht interessieren.

Beispiel:

Wir betrachten den Auszug aus der Movie-Database tmdb und schränken den Datensatz auf Filme aus 2016 ein. Den Datensatz mit den neuen Filmen speichern wir als Dataframe filme2016.

tmdb <- read_csv("../data/tmdb.csv",
                 col_types = "cfnnnnn")
filme2016 <- filter(tmdb, year == 2016)

Nun regressieren wir das Einspielergebnis revenue auf das Filmbudget budget und speichern das lm-Objekt unter dem Namen regr.

regr <- lm(revenue~budget, data=filme2016)

Der Achsenabschnitt und der Steigungskoeffizient der optimal angepassten Regressionsgeraden sind

regr


Call:
lm(formula = revenue ~ budget, data = filme2016)

Coefficients:
(Intercept)       budget  
      3.381        2.860

Eine Erhöhung des Budgets um 1 Mio. Dollar hat also in diesem Datensatz im Mittel zu einer Erhöhung des Einspielergebnisses von etwa 2.9 Mio. Dollar geführt.

Das Bestimmtheitsmaß $R^{2}$ wird in der Zusammenfassung der Regressionsergebnisse angezeigt. Den größten Teil des Outputs können Sie hier ignorieren.

summary(regr)


Call:
lm(formula = revenue ~ budget, data = filme2016)

Residuals:
    Min      1Q  Median      3Q     Max 
-253.08  -52.71   -5.91   27.00  658.09 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   3.3808    19.2088   0.176    0.861    
budget        2.8599     0.2502  11.430   <2e-16 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 140.1 on 86 degrees of freedom
Multiple R-squared:  0.603, Adjusted R-squared:  0.5984 
F-statistic: 130.6 on 1 and 86 DF,  p-value: < 2.2e-16

Das “Multiple R-squared” (also $R^{2}$ ) beträgt 0.603.

Die Funktion summary berechnet neben dem $R^{2}$ auch viele andere Größen, die uns hier aber (noch) nicht interessieren. Wenn man ausschließlich das $R^{2}$ wissen will, lässt es sich aus dem Output der summary-Funktion mit dem Dollarzeichen herausziehen:

summary(regr)$r.squared

[1] 0.6030412

16.4 Grafische Darstellung

Die Regressionsgerade wird häufig in ein Streudiagramm eingefügt. Das ist empfehlenswert, weil (a) es den Verlauf leichter erkennbar macht, (b) Ausreißer und unplausible Werte in den Daten leicht erkennbar sind und (c) die Streuung der Punkte um die Regressionsgerade herum visualisiert wird. Die Funktion ggplot bietet eine einfache Möglichkeit, die Regressionsgerade in ein Streudiagramm einzufügen.

Beispiel:

In einem Streudiagramm wird das Einspielergebnis revenue gegen das Filmbudget budget abgetragen.

ggplot(filme2016, aes(x=budget, y=revenue)) +
    geom_point()

In diese Abbildung fügen wir nun die Regressionsgerade ein. Dazu ergänzen wir mit einem weiteren Pluszeichen ein Geom, und zwar geom_smooth. Dieses Geom fügt eine geglättete Kurve in ein Streudiagramm ein, und eine mögliche Kurve ist die Regressionsgerade. Die Optionen dafür ist method="lm" (für lineares Modell).

ggplot(filme2016, aes(x=budget, y=revenue)) +
    geom_point() +
    geom_smooth(method="lm")

`geom_smooth()` using formula = 'y ~ x'

Zwei Kleinigkeiten können noch verbessert werden: Erstens, es gibt eine Benachrichtigung, dass für die Regression die $Y$ -Variable auf die $X$ -Variable regressiert wurde. Um diese Benachrichtigung zu vermeiden, können wir die Option formula=y~x (wie im lm-Befehl) hinzufügen. Zweitens erkennt man in der Grafik einen grauen Bereich um die Regressionsgerade herum. Dieser Bereich gibt die Unsicherheit der Anpassung an - ein Thema, das Sie (zumindest wenn Sie Volkswirtschaftslehre studieren) später in dem Modul Empirical Economics kennen lernen werden. Der graue Bereich kann durch die Option se=FALSE ausgeschaltet werden. Damt ergibt sich insgesamt:

ggplot(filme2016, aes(x=budget, y=revenue)) +
    geom_point() +
    geom_smooth(method="lm", formula=y~x, se=FALSE)

16.5 Multiple lineare Regression

In vielen Fällen ist es plausibel, dass man eine Variable $Y$ nicht nur durch eine einzelne Variable $X$ erklärt, sondern durch mehr als eine Variable, z.B. $X_{1}, X_{2}, \dots, X_{k}$ . Man spricht dann von einer multiplen linearen Regression. Die Vorgehensweise ist sehr ähnlich zu dem Fall mit einer einzigen Variablen $X$ , er kann nur nicht mehr so einfach grafisch dargestellt werden.

Die Beobachtungen sind die Punkte $(x_{1, 1}, x_{2, 1}, \dots, x_{k, 1}, y_{1}), \dots, (x_{1, n}, x_{2, n}, \dots, x_{k, n}, y_{n})$ wobei $x_{j, i}$ den Wert der Variable $j = 1, \dots, k$ in Beobachtung $i = 1, \dots, n$ bezeichnet.

Zusammen mit den Residuen $u_{1}, \dots, u_{n}$ lautet nun die Regressionsgerade $y_{i} = a + b_{1} x_{1, i} + b_{2} x_{2, i} + \dots + b_{k} x_{k, i} + u_{i} .$ Es gibt also weiterhin einen Achsenabschnitt, aber nun $k$ Steigungskoeffizienten, nämlich einen für jede erklärende Variable. Die Koeffizienten werden wiederum so gewählt, dass die Summe der quadrierten Residuen minimiert wird.

Für die Herleitung, die wir hier überspringen, sind die Methoden der linearen Algebra notwendig, die in dem Wahlpflicht-Modul Mathematik 2: Lineare Algebra für Wirtschaftswissenschaften gründlich eingeführt werden. Ausführlich wird die multiple lineare Regression in dem Wahlpflicht-Modul Econometrics und dem Pflicht-Modul Empirical Economics (nur für VWL) behandelt. An dieser Stelle wird daher nur ein kurzer Ausblick auf diese Methode gegeben. Worauf man achten muss und wo die Fallstricke der multiplen linearen Regression liegen, lernen Sie später in den anderen Modulen.

In R ist die Schätzung einer multiplen linearen Regression genauso einfach wie eine Regression mit nur einer erklärenden Variablen. Die Syntax der multiplen linearen Regression von $Y$ auf $X_{1}, X_{2}, \dots, X_{k}$ lautet allgemein wie folgt:

regr <- lm(Y ~ X1 + X2 + ... + Xk, data=DATAFRAME)

wobei DATAFRAME der Name des Dataframes ist, in dem die Variablen enthalten sind.

Beispiel:

Wir betrachten weiterhin den Datensatz filme2016, also alle Filme aus der Movie Database, die 2016 erschienen sind. Das Einspielergebnis wird nun jedoch nicht nur auf das Budget regressiert, sondern zusätzlich auf die Filmdauer duration und die durchschnittliche Bewertung avgvote.

regr2 <- lm(revenue ~ budget + duration + avgvote, 
            data=filme2016)

Das Ergebnis der Regression wird in dem Objekt regr2 gespeichert. Es enthält den Achsenabschnitt $a$ und die Steigungskoeffizienten $b_{1}, \dots, b_{k}$ . Diese Koeffizienten können durch coefficients(regr) als Vektor ausgelesen werden. Sie werden auch angezeigt, wenn man einfach regr2 oder print(regr2) eingibt.

regr2


Call:
lm(formula = revenue ~ budget + duration + avgvote, data = filme2016)

Coefficients:
(Intercept)       budget     duration      avgvote  
   -136.301        2.994       -1.573       51.404

Das Ergebnis zeigt, dass das Einspielergebnis eines Films im Mittel um rund 3 Mio. Dollar höher ausfällt, wenn das Budget um 1 Mio. Dollar erhöht wird. Längere Filme spielen etwas niedrigere Ergebnisse ein: Wenn die Filmlänge um eine Minute steigt, sinkt das Ergebnis im Mittel um 1.57 Mio. Dollar. Auch mit der Bewertung der Zuschauer hängt das Ergebis zusammen. Eine bessere Bewertung geht mit einem höheren Ergebnis einher. Eine Erhöhung um 1 Punkt (auf der Bewertungsskala) geht im Mittel mit einer Erhöhung des Ergebnisses um 51.4 Mio. Dollar einher.

In dem Objekt regr2 findet man außerdem die Residuen und die Prognosen. Sie können durch residuals(regr2) bzw. fitted.values(regr) ausgelesen werden.

Auch bei der multiplen linearen Regression gibt das Bestimmtheitsmaß $R^{2}$ an, wie hoch der Anteil der erklärten Streuung ist. Es wird auf die gleiche Weise wie oben von der summary-Funktion berechnet. In diesem Beispiel ergibt sich

summary(regr2)


Call:
lm(formula = revenue ~ budget + duration + avgvote, data = filme2016)

Residuals:
    Min      1Q  Median      3Q     Max 
-229.62  -61.10   -4.28   25.83  621.30 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) -136.3008   126.0086  -1.082  0.28249    
budget         2.9935     0.2747  10.898  < 2e-16 ***
duration      -1.5728     1.1496  -1.368  0.17492    
avgvote       51.4040    17.5955   2.921  0.00447 ** 
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 135 on 84 degrees of freedom
Multiple R-squared:   0.64, Adjusted R-squared:  0.6272 
F-statistic: 49.78 on 3 and 84 DF,  p-value: < 2.2e-16

Das Bestimmtheitsmaß beträgt also 0.64.