Accuratezza delle previsioni di domanda

In statistica, l’accuratezza delle previsioni è il grado di vicinanza della dichiarazione di quantità al valore effettivo (vero) di quella quantità. Il valore effettivo di solito non può essere misurato al momento in cui viene effettuata la previsione perché la dichiarazione riguarda il futuro. Per la maggior parte delle aziende, previsioni più accurate aumentano la loro efficacia nel soddisfare la domanda riducendo i costi operativi complessivi.

Utilizzo delle stime di accuratezza

L’accuratezza, quando calcolata, fornisce una stima quantitativa della qualità prevista delle previsioni. Per l’ottimizzazione delle scorte, la stima dell’accuratezza delle previsioni può servire a diversi scopi:

• per scegliere tra diversi modelli di previsione che servono a stimare la domanda di lead quale modello dovrebbe essere favorito.
• per calcolare le scorte di sicurezza assumendo tipicamente che gli errori di previsione seguano una distribuzione normale.
• per dare priorità agli articoli che necessitano della maggior attenzione dedicata perché le previsioni statistiche grezze non sono abbastanza affidabili.

In altri contesti, come la pianificazione strategica, le stime di accuratezza vengono utilizzate per supportare l’analisi dei casi ipotetici, considerando scenari distinti e la loro probabilità rispettiva.

Impatto dell’aggregazione sull’accuratezza

È un’errata convinzione interpretare la qualità del modello di previsione come il fattore principale che determina l’accuratezza delle previsioni: questo non è il caso.

Il fattore più importante che determina il valore dell’accuratezza è la volatilità intrinseca del fenomeno oggetto di previsione. Nella pratica, nel commercio o nella produzione, questa volatilità è altamente correlata al livello di aggregazione:

• aree più grandi, come previsioni nazionali rispetto a previsioni locali, producono maggiore accuratezza.
• lo stesso vale per periodi più lunghi, come previsioni mensili rispetto a previsioni giornaliere.

Quindi, una volta stabilito un livello di aggregazione, la qualità del modello di previsione gioca effettivamente un ruolo primario nell’accuratezza che può essere raggiunta. Infine, l’accuratezza diminuisce guardando più avanti nel futuro.

Accuratezza empirica vs accuratezza reale

Il termine accuratezza viene utilizzato più frequentemente facendo riferimento alla qualità di una misurazione fisica di qualche tipo. Purtroppo, questa visione è in qualche modo fuorviante quando si tratta di previsioni statistiche. Infatti, a differenza dell’impostazione fisica in cui la misurazione potrebbe essere confrontata con metodi alternativi, l’accuratezza reale della previsione dovrebbe essere misurata rigorosamente contro dati che non si hanno.

Infatti, una volta disponibili i dati, è sempre possibile produrre previsioni perfettamente accurate, in quanto richiede solo di imitare i dati. Questa singola domanda ha tenuto gli statistici perplessi per più di un secolo, poiché un punto di vista profondamente soddisfacente è stato trovato solo alla fine del XX secolo con l’avvento della teoria di Vapnik-Chervonenkis¹.

L’accuratezza delle previsioni può essere misurata solo praticamente rispetto ai dati disponibili; tuttavia, quando i dati sono disponibili, quelle previsioni non sono più vere previsioni, essendo affermazioni sul passato piuttosto che affermazioni sul futuro. Pertanto, queste misurazioni sono definite accuratezza empirica, in contrasto con l’accuratezza reale.

I problemi di sovradattamento possono portare a grandi discrepanze tra l’accuratezza empirica e l’accuratezza reale. In pratica, un uso attento del backtesting può mitigare la maggior parte dei problemi di sovradattamento quando si effettuano previsioni su serie temporali.

Metriche di accuratezza popolari

Ci sono molte metriche per misurare l’accuratezza delle previsioni. Le metriche più utilizzate sono:

• MAE (errore medio assoluto)
• MAPE (errore percentuale medio assoluto)
• MSE (errore quadratico medio)
• sMAPE (errore percentuale medio simmetrico assoluto)
• Perdita di Pinball (una generalizzazione del MAE per le previsioni di quantili)
• CRPS (una generalizzazione del MAE per le previsioni probabilistiche)

In pratica, una metrica dovrebbe essere preferita rispetto a un’altra in base alla sua capacità di riflettere i costi sostenuti dall’azienda a causa delle inesattezze delle previsioni.

Attenzione di Lokad

È meglio essere approssimativamente corretti che esattamente sbagliati. Dalla nostra esperienza nel trattare con aziende commerciali o di produzione, osserviamo regolarmente che si presta troppa poca attenzione alla scelta della metrica di accuratezza.

Infatti, la metrica ideale non dovrebbe restituire valori espressi come percentuali, ma dovrebbe restituire Dollari o Euro, riflettendo precisamente il costo delle inefficienze causate dalle previsioni inaccurate. In particolare, mentre la maggior parte delle metriche popolari sono simmetriche (la perdita di Pinball è un’eccezione notevole), i rischi di sovrastima rispetto alla sottostima non sono simmetrici nella pratica. Suggeriamo di adottare un punto di vista in cui la metrica sia più vicina a una funzione di costo economica - attentamente modellata per adattarsi ai vincoli aziendali - piuttosto che a un indicatore statistico grezzo[^2].

Inoltre, è molto importante non effettuare alcuna pianificazione assumendo implicitamente che le previsioni siano esatte. L’incertezza è inevitabile nel business e deve essere presa in considerazione.

Ulteriori letture

• Video. Accuratezza nella previsione delle vendite, Matthias Steinberg, settembre 2011
• La migliore metrica di errore di previsione, Joannes Vermorel, novembre 2012
• Impatto finanziario dell’accuratezza sull’inventario, Joannes Vermorel, febbraio 2012

Note