Grundlagen
Auf dieser Seite finden Sie kurze Erläuterungen zu Grundbegriffen, die im Verlauf der Vorlesung vorausgesetzt oder nur knapp eingeführt werden und die für das Verständnis der behandelten Methoden relevant sind.
Maximum Likelihood
\(p\): Erfolgswahrscheinlichkeit
\(z\): Anzahl Erfolge
\(n\): Anzahl Versuche
Wir betrachten die Likelihoodfunktion
\[ L(p \mid z) = p^z \cdot (1-p)^{n-z} \]
Für welchen Wert von \(p\) ist diese Funktion am grössten?
Um das Maximum zu finden, berechnen wir die erste Ableitung der Likelihoodfunktion:
\[ \frac{d}{dp} L(p \mid z) = z \cdot p^{z-1} \cdot (1-p)^{n-z} + p^z \cdot (n-z) \cdot (1-p)^{n-z-1} \cdot (-1) \]
Nun berechnen wir die Nullstellen der ersten Ableitung:
\[ \frac{d}{dp} L(p \mid z) = 0 \]
Also
\[ z \cdot p^{z-1} \cdot (1-p)^{n-z} - p^z \cdot (n-z) \cdot (1-p)^{n-z-1} = 0 \] Wir formen diesen Term um (ausklammern) und erhalten:
\[ p^{z-1} \cdot (1-p)^{n-z-1} \cdot \bigl(z \cdot (1-p) - p \cdot (n-z)\bigr) = 0 \]
Weil ein Produkt genau dann Null ist, wenn einer der Faktoren Null ist, gibt es hier drei Lösungen:
\[ p = 0,\quad p = 1 \quad \text{oder} \quad z \cdot (1-p) - p \cdot (n-z) = 0 \]
Wir formen die dritte Lösung um:
\[ z \cdot (1-p) - p \cdot (n-z) = 0 \]
\[ z - p \cdot n = 0 \]
\[ p = \frac{z}{n} \]
Das bedeutet, wenn wir bei 10 Versuchen 7 Erfolge beobachten, ist \(p = \frac{7}{10}\) der Wert, für den die Likelihoodfunktion am höchsten* ist.
*Durch Einsetzen von \(p = \frac{z}{n}\) in die zweite Ableitung (hier nicht gezeigt) kann man zeigen, dass es sich tatsächlich um ein Maximum handelt (und nicht um ein Minimum oder einen Sattelpunkt).