Precisión del pronóstico de la demanda

En estadística, la precisión del pronóstico es el grado de cercanía de la declaración de la cantidad al valor real (verdadero) de esa cantidad. El valor real generalmente no se puede medir en el momento en que se realiza el pronóstico porque la declaración se refiere al futuro. Para la mayoría de las empresas, unos pronósticos más precisos aumentan su eficacia para satisfacer la demanda y reducir los costos operativos generales.

Uso de las estimaciones de precisión

La precisión, cuando se calcula, proporciona una estimación cuantitativa de la calidad esperada de los pronósticos. Para la optimización de inventario, la estimación de la precisión de los pronósticos puede servir para varios propósitos:

• elegir entre varios modelos de pronóstico que sirven para estimar la demanda líder y determinar qué modelo debe ser favorecido.
• calcular el stock de seguridad asumiendo típicamente que los errores de pronóstico siguen una distribución normal.
• priorizar los artículos que necesitan más atención dedicada porque los pronósticos estadísticos brutos no son lo suficientemente confiables.

En otros contextos, como la planificación estratégica, las estimaciones de precisión se utilizan para respaldar el análisis de qué pasaría si, considerando distintos escenarios y su respectiva probabilidad.

Impacto de la agregación en la precisión

Es una idea errónea frecuente interpretar la calidad del modelo de pronóstico como el factor principal que impulsa la precisión de los pronósticos: esto no es cierto.

El factor más importante que impulsa el valor de la precisión es la volatilidad intrínseca del fenómeno que se pronostica. En la práctica, en el comercio o la fabricación, esta volatilidad está altamente correlacionada con el nivel de agregación:

• áreas más grandes, como pronósticos nacionales vs pronósticos locales, brindan más precisión.
• lo mismo ocurre con períodos más largos, como pronósticos mensuales vs pronósticos diarios.

Luego, una vez que se establece un nivel de agregación, la calidad del modelo de pronóstico juega un papel importante en la precisión que se puede lograr. Finalmente, la precisión disminuye al mirar más hacia el futuro.

Precisión empírica vs precisión real

El término precisión se utiliza con mayor frecuencia para referirse a la calidad de una medición física de algún tipo. Desafortunadamente, esta visión es algo engañosa cuando se trata de pronósticos estadísticos. De hecho, a diferencia de la configuración física donde la medición se puede comparar con métodos alternativos, la precisión real del pronóstico debe medirse estrictamente en comparación con los datos que no tienes.

De hecho, una vez que los datos están disponibles, siempre es posible producir pronósticos perfectamente precisos, ya que solo requiere imitar los datos. Esta única pregunta ha mantenido a los estadísticos desconcertados durante más de un siglo, ya que solo se encontró un punto de vista profundamente satisfactorio a fines del siglo XX con la aparición de la teoría de Vapnik-Chervonenkis¹.

La precisión de los pronósticos solo se puede medir prácticamente en comparación con los datos disponibles; sin embargo, cuando los datos están disponibles, esos pronósticos ya no son pronósticos verdaderos, sino declaraciones sobre el pasado en lugar de ser declaraciones sobre el futuro. Por lo tanto, esas mediciones se denominan precisión empírica, en contraposición a la precisión real.

Los problemas de sobreajuste pueden llevar a grandes discrepancias entre la precisión empírica y la precisión real. En la práctica, un uso cuidadoso de backtesting puede mitigar la mayoría de los problemas de sobreajuste al pronosticar series de tiempo.

Métricas populares de precisión

Hay muchas métricas para medir la precisión de los pronósticos. Las métricas más utilizadas son:

• MAE (error absoluto medio)
• MAPE (error porcentual absoluto medio)
• MSE (error cuadrático medio)
• sMAPE (error porcentual absoluto simétrico medio)
• Pérdida de pinball (una generalización del MAE para pronósticos de cuantiles)
• CRPS (una generalización del MAE para pronósticos probabilísticos)

En la práctica, una métrica debe ser preferida sobre otra en función de su capacidad para reflejar los costos incurridos por la empresa debido a las imprecisiones de los pronósticos.

La trampa de Lokad

Es mejor estar aproximadamente correcto que exactamente equivocado. En nuestra experiencia tratando con empresas de comercio o manufactura, observamos rutinariamente que se presta muy poca atención a la elección de la métrica de precisión.

De hecho, la métrica ideal no debería devolver valores expresados como porcentajes, sino que debería devolver Dólares o Euros, reflejando precisamente el costo de las ineficiencias causadas por los pronósticos inexactos. En particular, aunque la mayoría de las métricas populares son simétricas (siendo la pérdida de pinball una notable excepción), los riesgos de sobrepronóstico versus subpronóstico no son simétricos en la práctica. Sugerimos adoptar un punto de vista en el que la métrica se acerque más a una función de costo económico, cuidadosamente modelada para ajustarse a las restricciones del negocio, en lugar de ser un indicador estadístico crudo indicator.

Además, es muy importante no realizar ninguna planificación asumiendo implícitamente que los pronósticos son exactos. La incertidumbre es inevitable en los negocios y debe tenerse en cuenta.

Lecturas adicionales

• Video. Precisión en la previsión de ventas, Matthias Steinberg, septiembre de 2011
• La mejor métrica de error de pronóstico, Joannes Vermorel, noviembre de 2012
• Impacto financiero de la precisión en el inventario, Joannes Vermorel, febrero de 2012

Notas