Pinball-Verlustfunktion

learn menu
Von Joannès Vermorel, Februar 2012

Die Pinball-Verlustfunktion, auch als Quantil-Verlust bezeichnet, ist eine Metrik zur Bewertung der Genauigkeit einer Quantilprognose.

Die Bewertung der Genauigkeit einer Quantilprognose ist ein subtileres Problem. Im Gegensatz zu klassischen Prognosen, bei denen das Ziel darin besteht, die Prognose so nah wie möglich an den beobachteten Werten zu haben, ist die Situation bei Quantilprognosen vorsätzlich (absichtlich) verzerrt. Daher ist der naive Vergleich beobachtet vs. Prognose nicht zufriedenstellend. Die Pinball-Verlustfunktion liefert einen Wert, der als Genauigkeit eines Quantilprognosemodells interpretiert werden kann.

Formel

Sei $${\tau}$$ das Zielquantil, $${y}$$ der reale Wert und $${z}$$ die Quantilprognose, dann kann $${L_\tau}$$, die Pinball-Verlustfunktion, wie folgt geschrieben werden:

$${ \begin{eqnarray} L_{\tau}(y,z) & = & (y - z) \tau & \textrm{ wenn } y \geq z \\\ & = & (z - y) (1 - \tau) & \textrm{ wenn } z > y \end{eqnarray} }$$

Download: pinball-loss-function.xlsx

Die Tabellenkalkulation veranschaulicht, wie die Pinball-Verlustfunktion in Microsoft Excel berechnet wird. Die tatsächliche Formel ist nicht komplizierter als die meisten Genauigkeitsindikatoren wie beispielsweise der MAPE.

Veranschaulichung

/pinball-loss-function

Die Pinball-Verlustfunktion (in Rot) wurde nach ihrer Form benannt, die der Flugbahn eines Flipperballs ähnelt. Die Funktion ist immer positiv und je weiter entfernt vom Ziel $${y}$$, desto größer ist der Wert von $${L_\tau(y,z)}$$. Die Steigung wird verwendet, um das gewünschte Ungleichgewicht in der Quantilprognose widerzuspiegeln.

Das beste Quantilmodell hat den niedrigsten Pinball-Verlust

Das wichtigste Ergebnis, das mit der Pinball-Verlustfunktion verbunden ist, ist, dass je niedriger der Pinball-Verlust ist, desto genauer ist die Quantilprognose.

Es kann gezeigt werden, dass die Funktion, die den Pinball-Verlust minimiert, auch das optimale Quantil liefert. Der Formalismus, der für den Beweis erforderlich ist, geht jedoch über den Rahmen dieses Artikels hinaus.

Daher ist es ausreichend, um die jeweilige Genauigkeit von zwei Quantilmodellen (z.B. Lokad vs. andere) zu vergleichen, den durchschnittlichen Pinball-Verlust jedes Modells über eine ausreichend große Anzahl von Zeitreihen zu berechnen, um sicherzustellen, dass der beobachtete Unterschied statistisch signifikant ist. In der Praxis sind einige hundert Zeitreihen ausreichend, um festzustellen, welches Quantilmodell am genauesten ist.

Lokads Tücke

Die vermeintliche Einfachheit des Begriffs der Genauigkeit für eine klassische Prognose (d.h. Durchschnittsprognose) wird unserer Meinung nach weitgehend überschätzt. Prognosen, sowohl Durchschnitts- als auch Quantilprognosen, sind anfällig für Overfitting, was den Vergleich von Prognosemodellen erheblich erschwert. Die Pinball-Verlustfunktion stellt jedoch eine sehr einfache Möglichkeit dar, die relative Genauigkeit von zwei Quantilprognosemodellen zu bewerten.

Weitere Informationen