Continuous Ranked Probability Score (CRPS)

learn menu
Ursprünglich verfasst von Joannes Vermorel, Juni 2016.
Aktualisiert von Alexey Tikhonov, Mai 2024.

Probabilistische Prognosen weisen jeder möglichen Zukunft eine Wahrscheinlichkeit zu. Dennoch sind nicht alle probabilistischen Prognosen gleich genau, und es werden Metriken benötigt, um die jeweilige Genauigkeit unterschiedlicher probabilistischer Prognosen zu bewerten. Einfache Genauigkeitsmetriken, wie der MAE (Mean Absolute Error) oder der MAPE (Mean Absolute Percentage Error), sind nicht direkt auf probabilistische Prognosen anwendbar. Der Continuous Ranked Probability Score (CRPS) verallgemeinert den MAE auf den Fall von probabilistischen Prognosen. Zusammen mit der Kreuzentropie ist der CRPS eine der am häufigsten verwendeten Genauigkeitsmetriken bei probabilistischen Prognosen.

Überblick

Der CRPS wird häufig verwendet, um die jeweilige Genauigkeit von zwei probabilistischen Prognosemodellen zu bewerten. Insbesondere kann diese Metrik mit einem Backtesting-Prozess kombiniert werden, um die Genauigkeitsbewertung durch die Nutzung mehrerer Messungen über denselben Datensatz zu stabilisieren.

Diese Metrik unterscheidet sich deutlich von einfacheren Metriken wie dem MAE aufgrund ihres asymmetrischen Ausdrucks: Während die Prognosen probabilistisch sind, sind die Beobachtungen deterministisch. Im Gegensatz zur Pinball-Verlustfunktion konzentriert sich der CRPS nicht auf einen bestimmten Punkt der Wahrscheinlichkeitsverteilung, sondern betrachtet die Verteilung der Prognosen als Ganzes.

Formale Definition

Sei $${X}$$ eine Zufallsvariable.

Sei $${F}$$ die kumulative Verteilungsfunktion (CDF) von $${X}$$, wie z.B. $${F(y)=\mathbf{P}\left[X \leq y\right]}$$.

Sei $${x}$$ die Beobachtung und $${F}$$ die CDF, die mit einer empirischen probabilistischen Prognose verbunden ist.

Der CRPS zwischen $${x}$$ und $${F}$$ ist definiert als:

$$\qquad \qquad \qquad \qquad{CRPS(F, x) = \int_{-\infty}^{\infty}\Big(F(y)- 𝟙(y - x)\Big)^2dy} \qquad \qquad \qquad \qquad \qquad \qquad \tag{1}$$

wobei $${𝟙}$$ die Heaviside-Sprungfunktion ist und eine Sprungfunktion entlang der reellen Achse darstellt, die folgende Werte annimmt:

  • den Wert 1, wenn das reelle Argument positiv oder null ist,
  • den Wert 0 sonst.

Der CRPS wird in derselben Einheit wie die beobachtete Variable ausgedrückt (z.B. wenn die Nachfrage nach einem Produkt in Einheiten prognostiziert wurde, wird der CRPS ebenfalls in Einheiten ausgedrückt).

Der CRPS verallgemeinert den Mean Absolute Error (MAE). Tatsächlich reduziert er sich auf den MAE, wenn die Prognose deterministisch ist. Dieser Punkt wird in Diagramm D unten veranschaulicht.

Bekannte Eigenschaften

Gneiting und Raftery (2004) zeigen, dass der Continuous Ranked Probability Score äquivalent geschrieben werden kann als:

$$\qquad \qquad \qquad \qquad {CRPS(F,x) = \mathbf{E}\Big[|X-x|\Big]-\frac{1}{2}\mathbf{E}\Big[|X-X^*|\Big]} \qquad \qquad \qquad \qquad \qquad \qquad \tag{2}$$

wobei

  • $${X}$$ und $${X^*}$$ unabhängige Kopien einer linearen Zufallsvariable sind,
  • $${X}$$ die Zufallsvariable ist, die mit der kumulativen Verteilungsfunktion $${F}$$ assoziiert ist,
  • $${\mathbf{E}[X]}$$ der Erwartungswert von $${X}$$ ist.

Numerische Auswertung

Aus numerischer Sicht besteht eine einfache Möglichkeit, den CPRS zu berechnen, darin, das ursprüngliche Integral in zwei Integrale an gut gewählten Grenzen aufzuteilen, um die Heaviside-Sprungfunktion zu vereinfachen, was zu folgendem Ergebnis führt:

$$\qquad \qquad \qquad \qquad{CRPS(F, x) = \int_{-\infty}^x F(y)^2dy + \int_x^{\infty}\Big(F(y)- 1\Big)^2dy} \qquad \qquad \qquad \qquad \qquad \tag{3}$$

In der Praxis hat $$F$$ eine empirische Verteilung, die durch ein Prognosemodell erhalten wird, und die entsprechende Zufallsvariable $${X}$$ hat eine kompakte Trägermenge, was bedeutet, dass es nur eine endliche Anzahl von Punkten gibt, an denen $${\mathbf{P}[X = x] \gt 0}$$. Außerdem sind alle Werte von $$x$$ diskrete Zahlen. Daher können die Integrale in diskrete endliche Summen umgewandelt werden, wie in der folgenden Formel und Diagramm B im nächsten Abschnitt dargestellt.

$$\qquad \qquad \qquad \qquad{CRPS(F, x) = \sum_{k=0}^x F(y_k)^2 + \sum_{x+1}^{n} (F(y_k) - 1)^2} \qquad \qquad \qquad \qquad \qquad \qquad \tag{4}$$

In der Formel (4) steht ein Index $$n$$ für das letzte Element des rechten Tails einer Wahrscheinlichkeitsverteilung (z.B. höchster Nachfragewert mit nichtnull Wahrscheinlichkeit).

Schließlich wird die CRPS-Berechnung für einen Zeitpunkt durchgeführt. Um den CRPS über einen bestimmten interessierenden Auswertungszeitraum zu berechnen (z.B. für das Verantwortungsfenster, das eine Summe aus der Lieferzeit des Lieferanten und der Nachbestell-Periode ist), sollten wir einen Durchschnitt der entsprechenden CRPS-Werte für diesen Zeitraum nehmen.

$$\qquad \qquad \qquad \qquad \qquad \qquad {CRPS = \frac{1}{T} \sum_{t=1}^{T} CRPS_t} \qquad \qquad \qquad \qquad \qquad \qquad \qquad \qquad \qquad \tag{5}$$

Visuelle Intuition

Um die CRPS-Berechnung zu veranschaulichen, betrachten Sie das folgende Beispiel (siehe die untenstehenden Diagramme):

A: Zunächst haben wir eine probabilistische Nachfrageprognose erstellt, indem wir eine negative Binomialverteilung verwendet und ihre Tails mit Wahrscheinlichkeiten unter 0,1% abgeschnitten haben (was extrem unwahrscheinliche Ereignisse darstellt, wie solche, die etwa alle drei Jahre auftreten). Vorhergesagte Nachfragewerte mit nichtnull Wahrscheinlichkeiten erstreckten sich von 1 bis 26 Einheiten. Später stellte sich heraus, dass die tatsächliche Nachfrage 15 Einheiten betrug (wie durch die vertikale gestrichelte rote Linie dargestellt).

B: Wir haben CRPS gemäß der oben genannten 4. Formel berechnet (siehe “Numerische Auswertung”). Der resultierende CRPS-Wert repräsentiert die Summe von zwei mit hellroter Farbe gefüllten Bereichen.

C: Dasselbe wie Diagramm A, jedoch mit einer Punktprognose zur Vergleich hinzugefügt.

D: Die CRPS-Berechnung, die auf die Punktprognose angewendet wird, zeigt, dass bei Anwendung von CRPS auf eine Punktprognose das Ergebnis eine MAE-Genauigkeitsmetrik ist. Tatsächlich sind Punktprognosen triviale Formen von probabilistischen Prognosen, bei denen wir implizit eine 100%ige Wahrscheinlichkeit einem einzigen Wert zuweisen. Dann wird ein kumulatives Wahrscheinlichkeitsdiagramm für CRPS durch zwei Stufenfunktionen dargestellt - eine für Punktprognosen und eine für die tatsächliche Nachfrage. Das bedeutet, dass je nach relativer Position der Punktprognose im Vergleich zum tatsächlichen Wert eine der beiden Summen in der CRPS-Formel (4) null wird: die erste Summe für Überprognosen und die zweite Summe für Unterprognosen.

Ein Diagramm, das die probabilistische Prognose und die CRPS-Metrik zur Bewertung ihrer Genauigkeit veranschaulicht.
A: Probabilistische Prognose. B: CRPS. C: Probabilistische vs. Punktprognose. D: CRPS der Punktprognose ist MAE.

Für das in diesen 4 Diagrammen gegebene Beispiel betragen die resultierenden CRPS-Werte für die probabilistische Prognose und die Punktprognose 3,32 bzw. 3. Wenn man sich die Zahlen ansieht, könnte man zu dem Schluss kommen, dass die Punktprognose genauer ist, weil ihre Genauigkeitsmetrik kleiner (besser) ist als die der probabilistischen Prognose. Diese Schlussfolgerung ist jedoch falsch.

Im obigen Beispiel haben wir nur einen Wert der tatsächlichen Nachfrage betrachtet. Wenn die probabilistische Prognose jedoch mithilfe historischer Daten erlernt wird, werden die Wahrscheinlichkeiten entsprechend den Häufigkeiten der Vorkommnisse der jeweiligen Nachfragewerte angepasst (unter Berücksichtigung der Werte, die im Lerndatensatz verfügbar sind). Wenn sie angemessen gewählt werden, wird der durchschnittliche CRPS-Wert für den Testdatensatz mit dem für den Trainings-/Validierungsdatensatz vergleichbar sein, da die Prognose die Häufigkeiten der verschiedenen Nachfragewerte im Testdaten angemessen darstellt.

Das folgende Diagramm zeigt die Überlegenheit der probabilistischen Prognosen gegenüber Punktprognosen.

Ein Diagramm, das zeigt, wie sich CRPS je nach den tatsächlichen Werten für probabilistische und Punktprognosen ändert.

Beachten Sie, wie sich CRPS je nach verschiedenen tatsächlichen Werten reibungslos ändert. Beachten Sie auch, dass abgesehen von einem winzigen Bereich (in dem die Punktprognose sehr nahe am tatsächlichen Wert liegt) in allen anderen Bereichen CRPS für probabilistische Prognosen kleiner ist als für die Punktprognose.

Wenn wir mehrere verschiedene Punktprognosen hätten, würde diese Beobachtung immer noch zutreffen. Man müsste die rote Kurve geistig nach links oder rechts verschieben, abhängig von der Punktprognose, aber die Überlegenheit der probabilistischen Prognose würde weiterhin gültig sein.

Referenzen

Gneiting, T. und Raftery, A. E. (2004). Strictly proper scoring rules, prediction, and estimation. Technischer Bericht Nr. 463, Abteilung für Statistik, University of Washington, Seattle, Washington, USA.