Genauigkeit der Nachfrageprognose

learn menu
Joannes Vermorel, Juni 2013

In der Statistik ist die Genauigkeit einer Prognose der Grad der Übereinstimmung der Aussage über die Menge mit dem tatsächlichen (wahren) Wert dieser Menge. Der tatsächliche Wert kann in der Regel zum Zeitpunkt der Prognose nicht gemessen werden, da sich die Aussage auf die Zukunft bezieht. Für die meisten Unternehmen erhöhen genauere Prognosen ihre Effektivität bei der Bedienung der Nachfrage und senken gleichzeitig die Gesamtbetriebskosten.

In diesem Artikel nehmen wir eine statistische Sichtweise ein, die hauptsächlich für den Handel und die Fertigung relevant ist, insbesondere für die Bereiche Bestandsoptimierung und Nachfrageplanung.

Verwendung der Genauigkeitsschätzungen

Die Genauigkeit liefert bei Berechnung eine quantitative Schätzung der erwarteten Qualität der Prognosen. Bei der Bestandsoptimierung kann die Schätzung der Genauigkeit der Prognosen mehrere Zwecke erfüllen:

  • die Auswahl zwischen mehreren Prognosemodellen, die zur Schätzung der Leitnachfrage dienen, um zu bestimmen, welches Modell bevorzugt werden sollte.
  • die Berechnung des Sicherheitsbestands, wobei in der Regel angenommen wird, dass die Prognosefehler einer Normalverteilung folgen.
  • die Priorisierung der Artikel, die die meiste Aufmerksamkeit benötigen, da rohe statistische Prognosen nicht zuverlässig genug sind.

In anderen Kontexten, wie der strategischen Planung, werden die Genauigkeitsschätzungen verwendet, um die What-If-Analyse zu unterstützen, indem verschiedene Szenarien und ihre jeweilige Wahrscheinlichkeit berücksichtigt werden.

Auswirkung der Aggregation auf die Genauigkeit

Es ist ein häufiger Irrtum, die Qualität des Prognosemodells als den Hauptfaktor anzusehen, der die Genauigkeit der Prognosen bestimmt: Dies ist nicht der Fall.

Der wichtigste Faktor, der den Wert der Genauigkeit bestimmt, ist die intrinsische Volatilität des zu prognostizierenden Phänomens. In der Praxis ist diese Volatilität im Handel oder in der Fertigung stark mit dem Aggregationsniveau korreliert:

  • größere Gebiete, wie nationale Prognosen gegenüber lokalen Prognosen, liefern mehr Genauigkeit.
  • dasselbe gilt für längere Zeiträume, wie monatliche Prognosen gegenüber täglichen Prognosen.
Anekdotische Evidenz: Bei Lokad stellen wir regelmäßig fest, dass es keine gute Genauigkeit gibt; sie ist kontextspezifisch. Bei der Prognose des landesweiten Stromverbrauchs für den nächsten Tag in einem großen europäischen Land wurde eine Fehlerquote von 0,5% als relativ ungenau angesehen, während es als bedeutender Erfolg galt, eine Fehlerquote von weniger als 80% für die Filialprognosen für den ersten Verkaufstag neu eingeführter Frischeprodukte zu erreichen.

Wenn ein Aggregationsniveau festgelegt ist, spielt die Qualität des Prognosemodells tatsächlich eine Hauptrolle bei der erreichbaren Genauigkeit. Schließlich nimmt die Genauigkeit ab, wenn man weiter in die Zukunft schaut.

Empirische Genauigkeit vs. reale Genauigkeit

Der Begriff Genauigkeit wird am häufigsten in Bezug auf die Qualität einer physikalischen Messung verwendet. Leider ist diese Vorstellung bei statistischen Prognosen etwas irreführend. Tatsächlich sollte die reale Genauigkeit einer Prognose im Vergleich zu Daten, die Sie nicht haben, streng gemessen werden.

Tatsächlich ist es immer möglich, perfekt genaue Prognosen zu erstellen, sobald die Daten verfügbar sind, da dies nur eine Nachahmung der Daten erfordert. Diese Frage hat Statistiker seit mehr als einem Jahrhundert verwirrt, da erst am Ende des 20. Jahrhunderts mit der Einführung der Vapnik-Chervonenkis-Theorie eine zutiefst befriedigende Sichtweise gefunden wurde1.

Die Genauigkeit der Prognosen kann nur praktisch anhand verfügbarer Daten gemessen werden. Wenn jedoch die Daten verfügbar sind, sind diese Prognosen keine echten Prognosen mehr, sondern Aussagen über die Vergangenheit anstatt Aussagen über die Zukunft. Diese Messungen werden daher als empirische Genauigkeit bezeichnet, im Gegensatz zur realen Genauigkeit.

Overfitting Probleme können zu großen Diskrepanzen zwischen der empirischen Genauigkeit und der realen Genauigkeit führen. In der Praxis kann eine sorgfältige Verwendung von Backtesting die meisten Overfitting Probleme bei der Prognose von Zeitreihen mildern.

Beliebte Genauigkeitsmetriken

Es gibt viele Metriken zur Messung der Genauigkeit von Prognosen. Die am häufigsten verwendeten Metriken sind:

  • MAE (mittlerer absoluter Fehler)
  • MAPE (mittlerer absoluter prozentualer Fehler)
  • MSE (mittlerer quadratischer Fehler)
  • sMAPE (symmetrischer mittlerer absoluter prozentualer Fehler)
  • Pinball-Verlust (eine Verallgemeinerung des MAE für Quantil-Prognosen)
  • CRPS (eine Verallgemeinerung des MAE für probabilistische Prognosen)

In der Praxis sollte eine Metrik gegenüber einer anderen bevorzugt werden, basierend auf ihrer Fähigkeit, die durch die Ungenauigkeiten der Prognosen verursachten Kosten widerzuspiegeln.

Lokads Tücke

Es ist besser, ungefähr richtig zu sein als genau falsch. In unserer Erfahrung im Umgang mit Handels- oder Fertigungsunternehmen stellen wir routinemäßig fest, dass der Wahl der Genauigkeitsmetrik zu wenig Aufmerksamkeit geschenkt wird.

Tatsächlich sollte die ideale Metrik keine als Prozentsätze ausgedrückten Werte zurückgeben, sondern Dollar oder Euro, die genau die Kosten der durch ungenaue Prognosen verursachten Ineffizienzen widerspiegeln. Insbesondere sind die Risiken einer Überprognose im Vergleich zu einer Unterprognose in der Praxis nicht symmetrisch, obwohl die meisten beliebten Metriken symmetrisch sind (wobei der Pinball-Verlust eine bemerkenswerte Ausnahme darstellt). Wir schlagen vor, einen Standpunkt einzunehmen, bei dem die Metrik einer wirtschaftlichen Kostenfunktion näher kommt - sorgfältig modelliert, um den Geschäftsbeschränkungen gerecht zu werden - anstatt eines reinen statistischen Indikators.

Außerdem ist es sehr wichtig, keine Planung durchzuführen, bei der implizit davon ausgegangen wird, dass die Prognosen genau sind. Unsicherheit ist im Geschäftsbereich unvermeidlich und sollte berücksichtigt werden.

Weitere Informationen

Anmerkungen

  1. Wikipedia. Vapnik–Chervonenkis-Theorie ↩︎