Regressionsanalyse
_Statistik
TH Deggendorf
14.07.2024
Zweidimensionale Daten \(y \sim x\)
“Nullmodell”: \(b_1 = 0 \Rightarrow \hat{y}=\bar{y}\)
Regressionsmodell: \(\hat{y} = b_0 + b_1x_1\)
Methode der kleinsten Quadrate
- Modell: \(\hat{y} = b_0 + b_1x_1\)
- Ziel: Bestimmen einer Geraden, die die quadrierten vertikalen Abstände der Datenpunkte vom Modell minimiert (= Residuen; in der Grafik rechts die roten Linien)
- Bestimmung der Modellparameter:
- Geradensteigung \(b_1 = r \cdot \sigma_y/\sigma_x\)
- Achsenabschnitt \(b_0 = \bar{y} - \bar{x} \cdot b_1\)
Totale Quadratsumme: \(QS_{tot}\)
Modell-Quadratsumme: \(QS_{mod}\)
Residual-Quadratsumme: \(QS_{res}\)
Quadratsummenzerlegung
\(QS_{tot} = QS_{mod} + QS_{res}\)
Formeln:
- \(QS_{tot} = \sum_{i}(y_i - \bar{y})^2\)
- \(QS_{res} = \sum_{i}(y_i - \hat{y_i})^2\)
- \(QS_{mod} = \sum_{i}(\hat{y_i} - \bar{y})^2\)
Hinweis: Bei allen Formeln wird über alle i summiert; d.h. jede Quadratsumme hat n Summanden.
F-Verteilung
Homoskedastizität vs. Heteroskedastizität
- Homoskedastizität: Varianz der Residuen ist unabhängig vom X-Wert. Die Streuung nimmt nicht mit der Größe der X-Werte zu.
- Visuelles Kennzeichen: Strukturlose Punktewolke (i.G.z. Trichter-Form bei Heteroskedastizität)
Planung der Stichprobengröße
Beispiel PKW
| PKW.Name | Tueren | Plaetze | Laenge | Gewicht | Hubraum | Leistung | Vmax | Beschl. | Airbags | Verbrauch | Preis |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Mercedes CL 500 | 2 | 5 | 499 | 1865 | 4966 | 225 | 250 | 6.5 | 4 | 12.5 | 155667 |
| Mercedes CLK 200 | 2 | 5 | 457 | 1375 | 1998 | 100 | 208 | 11.0 | 2 | 9.4 | 54673 |
| Mercedes E 200 | 4 | 5 | 480 | 1510 | 1998 | 100 | 209 | 9.3 | 6 | 9.3 | 53453 |
| Mercedes S 320 | 4 | 5 | 504 | 1770 | 3199 | 165 | 240 | 8.2 | 6 | 11.5 | 110664 |
| Mercedes SL 280 | 2 | 2 | 447 | 1810 | 2799 | 150 | 232 | 9.7 | 2 | 11.4 | 117206 |
| Mercedes SLK 200 | 2 | 2 | 401 | 1364 | 1998 | 120 | 223 | 8.2 | 4 | 9.6 | 50863 |
| Merzedes A 140 | 5 | 5 | 358 | 1095 | 1397 | 60 | 170 | 12.9 | 2 | 7.1 | 25414 |
Kann mit Hilfe der Leistung der Verbrauch vorhergesagt (= linear modelliert) werden?
Lineares Modell:
Verbrauch = 5.872 + 0.032\(\cdot\)Leistung
Determinationskoeffizient: 0.918
Teststatistik: F(1, 5) = 56.132
Kritischer F-Wert: 6.608
p-Wert: 0.0007
Estimate Std. Error t value Pr(>|t|)
(Intercept) 5.87152806 0.605748186 9.693018 0.0001984797
Leistung 0.03228185 0.004308753 7.492157 0.0006695017Analysis of Variance Table
Response: Verbrauch
Df Sum Sq Mean Sq F value Pr(>F)
Leistung 1 18.1701 18.1701 56.132 0.0006695 ***
Residuals 5 1.6185 0.3237
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Beispiel PKW (2)
| PKW.Name | Leistung | Verbrauch | Modellvorhersage | QS_tot_values | QS_mod_values | QS_res_values |
|---|---|---|---|---|---|---|
| Mercedes CL 500 | 225 | 12.5 | 13.135 | 5.692 | 9.124 | 0.403 |
| Mercedes CLK 200 | 100 | 9.4 | 9.100 | 0.510 | 1.029 | 0.090 |
| Mercedes E 200 | 100 | 9.3 | 9.100 | 0.663 | 1.029 | 0.040 |
| Mercedes S 320 | 165 | 11.5 | 11.198 | 1.920 | 1.175 | 0.091 |
| Mercedes SL 280 | 150 | 11.4 | 10.714 | 1.653 | 0.359 | 0.471 |
| Mercedes SLK 200 | 120 | 9.6 | 9.745 | 0.264 | 0.136 | 0.021 |
| Merzedes A 140 | 60 | 7.1 | 7.808 | 9.086 | 5.317 | 0.502 |
Verbrauch = 5.872 + 0.032\(\cdot\)Leistung
Quadratsummen (QS\(_{tot}\) = QS\(_{mod}\) + QS\(_{res}\)):
- QS\(_{tot}\) = 19.788
- QS\(_{mod}\) = 18.169
- QS\(_{res}\) = 1.618
Mittlere Quadratsummen:
- MQS\(_{mod}\) = 18.169
- MQS\(_{res}\) = 0.3236
F(1, 5) = MQS\(_{mod}\)/MQS\(_{res}\) = 18.169/0.324 = 56.146
R² = QS\(_{mod}\)/QS\(_{tot}\) = 18.169/19.788 = 0.918
Estimate Std. Error t value Pr(>|t|)
(Intercept) 5.87152806 0.605748186 9.693018 0.0001984797
Leistung 0.03228185 0.004308753 7.492157 0.0006695017Analysis of Variance Table
Response: Verbrauch
Df Sum Sq Mean Sq F value Pr(>F)
Leistung 1 18.1701 18.1701 56.132 0.0006695 ***
Residuals 5 1.6185 0.3237
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Beispiel PKW (multipel) – Details
Call:
lm(formula = Verbrauch ~ Leistung + Gewicht + Hubraum)
Residuals:
1 2 3 4 5 6 7
-0.01473 0.39137 -0.11294 -0.01830 -0.02760 -0.07167 -0.14612
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 2.9666585 0.8363001 3.547 0.0382 *
Leistung 0.0347992 0.0114315 3.044 0.0557 .
Gewicht 0.0029949 0.0008949 3.347 0.0442 *
Hubraum -0.0007787 0.0004177 -1.864 0.1591
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 0.2541 on 3 degrees of freedom
Multiple R-squared: 0.9902, Adjusted R-squared: 0.9804
F-statistic: 101.1 on 3 and 3 DF, p-value: 0.00164
♪♫ Beispiel: Albumverkäufe
- Chef einer Musikfirma möchte seine Verkaufszahlen vorhersagen
- Daten zu 200 verschiedenen Alben (n = 200)
- Kriterium (AV): Albumverkäufe in der Woche nach Veröffentlichung (in 1.000 Stück)
- Prädiktor 1 (UV1): Werbebudget (in 1.000 Pfund)
- Prädiktor 2 (UV2): Radiohäufigkeit (in 1.000 mal pro Woche)
- Prädiktor 3 (UV3): Attraktivität (1 bis 10)
- Modell: Albumverkäufe = \(b_0\) + \(b_1\) Werbebudget + \(b_2\) Radiohäufigkeit
+ \(b_3\) Attraktivität + Fehler
♪♫ Modell mit einem Prädiktor
Call:
lm(formula = Verkäufe ~ Werbung)
Residuals:
Min 1Q Median 3Q Max
-152.949 -43.796 -0.393 37.040 211.866
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1.341e+02 7.537e+00 17.799 <2e-16 ***
Werbung 9.612e-02 9.632e-03 9.979 <2e-16 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 65.99 on 198 degrees of freedom
Multiple R-squared: 0.3346, Adjusted R-squared: 0.3313
F-statistic: 99.59 on 1 and 198 DF, p-value: < 2.2e-16
♪♫ Modell mit zwei Prädiktoren
Hinweis: Die Funktion lm() nimmt mehrere Prädiktoren gleichzeitig in das Modell auf (i. Ggs. z. hierarchischem Ansatz)
Call:
lm(formula = Verkäufe ~ Werbung + Radiohäufigkeit)
Residuals:
Min 1Q Median 3Q Max
-112.121 -30.027 3.952 32.072 155.498
Coefficients:
Estimate Standardized Std. Error t value Pr(>|t|)
(Intercept) 41.123811 NA 9.330952 4.407 1.72e-05 ***
Werbung 0.086887 0.522896 0.007246 11.991 < 2e-16 ***
Radiohäufigkeit 3.588789 0.545645 0.286807 12.513 < 2e-16 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 49.38 on 197 degrees of freedom
Multiple R-squared: 0.6293, Adjusted R-squared: 0.6255
F-statistic: 167.2 on 2 and 197 DF, p-value: < 2.2e-16
Beispiel Sample Splitting
(Zufällige Aufteilung ca. 80 : 20)
Ergebnis Trainingsmodell (ca. 80 %)
Call:
lm(formula = Verkäufe ~ Werbungen + Radiohäufigkeit + Attraktivität,
data = df_train)
Residuals:
Min 1Q Median 3Q Max
-128.535 -26.007 -0.525 27.483 140.963
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -36.720448 19.099229 -1.923 0.056339 .
Werbungen 0.084041 0.007366 11.409 < 2e-16 ***
Radiohäufigkeit 3.724373 0.325565 11.440 < 2e-16 ***
Attraktivität 10.887296 2.762561 3.941 0.000122 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 46.72 on 157 degrees of freedom
Multiple R-squared: 0.6888, Adjusted R-squared: 0.6829
F-statistic: 115.8 on 3 and 157 DF, p-value: < 2.2e-16Vergleich mit Test-Stichprobe (20 %):
R²\(_{80\%}\) = 0.69
R²\(_{20\%}\) = 0.57
- Zufällige Aufteilung der Stichprobe 80 : 20
- Erstellen des linearen Modells für die 80 %
- Bestimmen von R²\(_{80\%}\)
- Anwendung des Modells auf die restlichen 20 %
- Bestimmen von R²\(_{20\%}\)
- Vergleich von R²\(_{80\%}\) und R²\(_{20\%}\)
