Formelsammlung Statistik/ Regressionsrechnung

Lineare Regression

Methode der kleinsten Quadrate

$RSS=\sum _{i=1}^{n}d_{i}^{2}=\sum _{i=1}^{n}(y_{i}-(a+bx_{i}))^{2}\rightarrow min!$

bezüglich a und b.

Nach Ausmultiplikation, Ableiten und Nullsetzen

${\frac {\partial S}{\partial a}}=-2\sum _{i=1}^{n}y_{i}+2na+2b\sum _{i=1}^{n}x_{i}=0,$

${\frac {\partial S}{\partial b}}=-2\sum _{i=1}^{n}x_{i}y_{i}+2a\sum _{i=1}^{n}x_{i}+2b\sum _{i=1}^{n}x_{i}^{2}=0,$

erhält man die gesuchten Regressionskoeffizienten als die Lösungen

$b={\frac {\sum _{i=1}^{n}x_{i}y_{i}-n{\bar {x}}{\bar {y}}}{\sum _{i=1}^{n}x_{i}^{2}-n{\bar {x}}^{2}}}\;$

und

$a={\bar {y}}-b{\bar {x}}\;,$

wobei ${\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}$.

Mit dem Verschiebungssatz kann man $b$ auch so ermitteln:

$b={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}$

Schätzungen ŷ

${\hat {y}}_{i}=a+bx_{i}$

Residuen r_i :

${\begin{matrix}&y_{i}&=&a+bx_{i}+d_{i}&=&{\hat {y}}_{i}+d_{i}&&\\\Rightarrow &d_{i}&=&y_{i}-{\hat {y}}_{i}&\\\end{matrix}}$

Stichprobenvarianz der Residuen:

$s^{2}={\frac {1}{n-2}}\sum _{i}d_{i}^{2}$

Bestimmtheitsmaß

$r^{2}={\frac {{\frac {1}{n}}\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}}{{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}={\frac {(\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}}))^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}\;,$

mit dem Verschiebungssatz :

$r^{2}={\frac {(\sum _{i=1}^{n}x_{i}y_{i}-n\cdot {\bar {x}}\cdot {\bar {y}})^{2}}{(\sum _{i=1}^{n}x_{i}^{2}-n\cdot {\bar {x}}^{2})(\sum _{i=1}^{n}y_{i}^{2}-n\cdot {\bar {y}}^{2})}}.$

$0\leq r^{2}\leq 1$

Varianz der Residuen

$s^{2}={\frac {1}{n-2}}(1-r^{2})\cdot \sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}$

Variablentransformation

Funktion	u	v
$y=a+b\cdot x^{n}$	$x^{n}$	$v=a+b\cdot u$
$y={\frac {a}{b+x}}$	$x$	$v={\frac {1}{y}}={\frac {b}{a}}+{\frac {1}{b}}\cdot u$
$y=a\cdot x^{b}$	$ln(x)$	$v=ln(y)=ln(a)+b\cdot ln(x)$
$y=a\cdot b^{x}$	$x$	$v=ln(y)=ln(a)+x\cdot ln(b)$
$y=a\cdot e^{b\cdot x}$	$x$	$v=ln(y)=ln(a)+b\cdot x$

Die Methode kann auf weitere Parameter erweitert werden.