Απλή γραμμική παλινδρόμηση

2ο μάθημα

Αλέξανδρος Ρέκκας

2025-10-16

Περιεχόμενα

Ορισμός συντελεστή συσχέτισης \(r\)
Εισαγωγή στα αθροίσματα τετραγώνων και γινομένων
Μοντέλο απλής γραμμικής παλινδρόμησης
Πρόβλεψη με την ευθεία
Σφάλμα πρόβλεψης (υπόλοιπα)
Έλεγχος υποθέσεων (μόνο απλή παλινδρόμηση)

Συσχέτιση (ορισμός)

\[ r = \frac{\sum (x_i-\bar x)(y_i-\bar y)}{\sqrt{\sum (x_i-\bar x)^2\,\sum (y_i-\bar y)^2}} \]

Άθροισμα γινομένων

\(S_{xy} = \sum (x_i - \mu_x)(y_i-\mu_y)\)
\(S_{xx} = \sum (x_i - \mu_x)^2\)
\(S_{yy}= \sum (y_i - \mu_y)^2\)

Συσχέτιση

\[ r = \frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}} \]

Απλή Γραμμική Παλινδρόμηση: ιδέα

Στόχος: εύρεση ευθείας που ελαχιστοποιεί τα τετράγωνα των σφαλμάτων
Μοντέλο: \(\hat{y} = \beta_0 + \beta_1 x\)
Προβλέπουμε τη αναμενόμενη τιμή του \(Y\) για δοσμένο \(X\)

Η ευθεία παλινδρόμησης

\(\hat{y}_i = \beta_0 + \beta_1 x_i\)
\(\beta_1\): κλίση (μεταβολή στο \(Y\) ανά 1 μονάδα \(X\))
\(\beta_0\): τομή με τον άξονα \(Y\) (αναμενόμενη τιμή του \(Y\) όταν \(x=0\))
Η ευθεία περνά από \((\bar{x}, \bar{y})\)

Υπολογισμός κλίσης \(\beta_1\)

\(\beta_1 = \frac{S_{xy}}{S_{xx}}\)
\(\beta_0 = \bar{y} - \beta_1 \bar{x}\)

Παράδειγμα

X	Y
5	10
1	4
4	5
7	11
6	15
4	6
3	5
2	0

Ερμηνεία \(\beta_1\) και \(\beta_0\)

\(\beta_1\): μέση αλλαγή στο \(Y\) ανά 1 μονάδα \(X\)
\(\beta_0\): σημείο αναφοράς

Πρόβλεψη με τη γραμμή

Για \(x_0\): \(\hat{y}(x_0) = \beta_0 + \beta_1 x_0\)
Εσωπαρεμβολή (εντός εύρους \(X\)): ασφαλέστερη
Προβολή (εκτός εύρους): ριψοκίνδυνη και ανεπιβεβαίωτη

Τυπικό σφάλμα εκτίμησης (s_e)

\(s_e = \sqrt{\frac{S_{υπόλοιπο}}{n-2}}\) (\(\text{df}= n-2\))
\(r^2\) μας δίνει το ποσοστό της διακύμανσης της \(Y\) που εξηγείται από τη \(X\)
\(SS_{παλινδρόμηση} = r^2 S_{yy}\)
\(SS_{υπόλοιπο} = (1 - r^2) S_{yy}\)

Έλεγχος υπόθεσης

\(H_0: \beta_1 = 0\) (καμία γραμμική σχέση)

\(MS_{παλινδρομηση} = \frac{SS_{παλινδρομηση}}{df}\) (\(\text{df} = 1\))
\(MS_{υπολοιπο} = \frac{SS_{υπολοιπο}}{df}\) (\(\text{df} = n - 2\))

\(F = \frac{MS_{παλινδρομηση}}{MS_{υπολοιπο}}\) με \(\text{df} = 1, n-2\)