documentos de trabajo · 2020. 1. 20. · pron osticos de in aci on m as precisos en los estados...

28
DOCUMENTOS DE TRABAJO Proyección de la Inflación en Chile con Métodos de Machine Learning Felipe Leal Carlos Molina Eduardo Zilberman N° 8 60 Enero 2020 BANCO CENTRAL DE CHILE

Upload: others

Post on 17-Aug-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

DOCUMENTOS DE TRABAJOProyección de la Inflación en Chile con Métodos de Machine Learning

Felipe Leal Carlos MolinaEduardo Zilberman

N° 860 Enero 2020 BANCO CENTRAL DE CHILE

Page 2: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

BANCO CENTRAL DE CHILE

CENTRAL BANK OF CHILE

La serie Documentos de Trabajo es una publicación del Banco Central de Chile que divulga los trabajos de investigación económica realizados por profesionales de esta institución o encargados por ella a terceros. El objetivo de la serie es aportar al debate temas relevantes y presentar nuevos enfoques en el análisis de los mismos. La difusión de los Documentos de Trabajo sólo intenta facilitar el intercambio de ideas y dar a conocer investigaciones, con carácter preliminar, para su discusión y comentarios.

La publicación de los Documentos de Trabajo no está sujeta a la aprobación previa de los miembros del Consejo del Banco Central de Chile. Tanto el contenido de los Documentos de Trabajo como también los análisis y conclusiones que de ellos se deriven, son de exclusiva responsabilidad de su o sus autores y no reflejan necesariamente la opinión del Banco Central de Chile o de sus Consejeros.

The Working Papers series of the Central Bank of Chile disseminates economic research conducted by Central Bank staff or third parties under the sponsorship of the Bank. The purpose of the series is to contribute to the discussion of relevant issues and develop new analytical or empirical approaches in their analyses. The only aim of the Working Papers is to disseminate preliminary research for its discussion and comments.

Publication of Working Papers is not subject to previous approval by the members of the Board of the Central Bank. The views and conclusions presented in the papers are exclusively those of the author(s) and do not necessarily reflect the position of the Central Bank of Chile or of the Board members.

Documentos de Trabajo del Banco Central de ChileWorking Papers of the Central Bank of Chile

Agustinas 1180, Santiago, ChileTeléfono: (56-2) 3882475; Fax: (56-2) 3882231

Page 3: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

Documento de Trabajo

N° 860Working Paper

N° 860

Proyección de Inflación en Chile con Métodos de Machine

Learning

Abstract

In this paper, in line with Medeiros et al. (2019) for the US, we apply Machine Learning (ML) methods with Big Data to forecast the total and underlying CPI inflation in Chile. We show that the ML methods do not gain in a consistent way against simple and univariate linear competitors such as the AR, the mean and the median of the past inflation, which have proven to be highly competitive. In fact, these are the winning methods in many cases. A second contribution of this work is the construction of a large dataset with macroeconomic variables related to the Chilean economy similar to McCracken and Ng (2016), who built (and maintains) a similar dataset for the United States.

Resumen

En este trabajo, en línea con lo realizado en Medeiros et al. (2019) para EE.UU., aplicamos métodos

de Machine Learning (ML) con Big Data para pronosticar la inflación general y subyacente del IPC

en Chile. Documentamos que los métodos de ML no ganan en la proyección de inflación para el

caso chileno de forma consistente sobre competidores lineales simples y univariados tales como el

AR, la media y la mediana de la inflación pasada, que han demostrado ser altamente competitivos.

De hecho, estos son los métodos ganadores en muchos casos. Una segunda contribución de este

trabajo es la construcción de un gran conjunto de datos con variables macroeconómicas

relacionadas con la economía chilena en línea con McCracken y Ng (2016), quienes

construyeron (y mantienen) un conjunto similar de datos para Estados Unidos.

Agradecemos los comentarios de Marcelo Medeiros, Carlos Medel, Pablo Pincheira y Gabriel Vasconelos. Las

ideas y opiniones presentadas en este trabajo no necesariamente representan la visión del Banco Central de Chile

o de sus autoridades. Los errores u omisiones son responsabilidad exclusiva de los autores. Emails:

[email protected], [email protected], [email protected].

Carlos Molina

Universidad de

Chile

Eduardo Zilberman

Banco Central de

Chile

Felipe Leal Banco Central de

Chile

Page 4: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

1. Introduccion

Pronosticar la inflacion es una tarea importante pero difıcil. Como enfa-tizan Stock y Watson (2010), “es extremadamente difıcil mejorar de formasistematica la proyeccion de la inflacion con modelos de prediccion univaria-dos simples”. Existe amplia evidencia que respalda esta opinion1. No obstante,este escepticismo se produjo antes del auge del Big Data y Machine Learning(ML) en economıa y finanzas2. En un trabajo reciente, Medeiros et al. (2019)muestran que la combinacion de los metodos Big Data y ML puede llevar apronosticos de inflacion mas precisos en los Estados Unidos. Las gananciaspueden ser tan grandes como 30 por ciento en terminos de errores cuadraticosmedios (RMSE). Ademas, un metodo ganador emerge de su extenso analisisde robustez: el Random Forest, que es un metodo altamente no lineal.

Aunque es importante, pronosticar la inflacion en Estados Unidos es uncaso de estudio particular. Una pregunta abierta es si los metodos de MLpueden mejorar sistematicamente los pronosticos de una variedad de seriesmacroeconomicas en diferentes paıses y contextos. La literatura ha ido llenan-do poco a poco este vacıo. Con respecto a la inflacion, Garcia et al. (2017)muestran que los metodos de ML conducen a pronosticos mas precisos en Bra-sil, pero el metodo ganador son las Complete Subset Regressions en lugar delRandom Forest. Se han llevado a cabo analisis similares en la India (Patrapy Sengupta (2019)), Rusia (Baybuza (2018)), y el Reino Unido (Chakrabortyy Joseph (2017)), entre otros paıses. Los resultados tienden a favorecer el usode metodos de ML.

Este artıculo considera el caso chileno. Sus contribuciones son dos. Primero,construimos un gran conjunto de datos con variables macroeconomicas relacio-nadas con la economıa chilena en la lınea de McCracken y Ng (2016), quienesconstruyeron (y mantienen) el conjunto de datos para los EE.UU. utilizadoen Medeiros et al. (2019). En segundo lugar, aplicamos un subconjunto de losmetodos de Medeiros et al. (2019) para pronosticar la inflacion general y sub-yacente del IPC en Chile3. Los tres metodos univariados de referencia son elRandom Walk (RW), modelos autorregresivos (AR) y el modelo de componen-

1. Ver Faust y Wright (2013).2. Ver Mullainathan y Spiess (2017) y Gu et al. (2018) para aplicaciones recientes en

economıa y finanzas, respectivamente.3. En este documento, un modelo de ML es cualquier modelo estadıstico utilizado para

pronosticar que se implementa a traves de un algoritmo informatico automatizado, y quepuede manejar un gran conjunto de predictores.

1

Page 5: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

tes no observados de volatilidad estocastica (UCSV). Tambien consideramosdos metodos ingenuos cuyo pronostico de inflacion es simplemente la mediay la mediana. Los metodos de ML incluyen los modelos de “Least AbsoluteShrinkage and Selection Operator” (LASSO), LASSO adaptativo (adaLAS-SO), Elastic Net (ElNet) y el Elastic Net adaptativo (adaElNet). Ademas,consideramos los siguientes metodos lineales: Ridge Regression (Ridge), Baye-sian Vector Autoregressions (BVAR), Principal Component Factors (Factor)y Complete Subset Regressions (CSR). Para terminar, incluimos dos metodosde ML no lineales: Random Forest (RF) y Neural Networks (NN).

Consideramos pronosticos directos fuera de la muestra para horizontes quevan desde un mes hasta doce meses adelante, basados en un marco de ventanasmoviles de longitud fija. El conjunto de regresores incluye cuatro rezagos detodas las variables, ası como cuatro componentes principales del conjunto dedatos.

A diferencia de la literatura antes mencionada para otros paıses, conclui-mos que los metodos de ML no pueden batir en forma consistente los metodosde referencia o ingenuos. A pesar de que algunos metodos funcionan mejorcuando se anaden variables especıficas de la economıa chilena, no represen-ta una mejora significativa respecto de los metodos de referencia o ingenuosen terminos de RMSE y MAE. No deja de sorprender que, para pronosticarla inflacion total (subyacente), simplemente la media (media/mediana) de lainflacion pasada demostro ser competitiva. De hecho, estos son los metodosganadores en muchos casos. Un proceso AR(4) simple, ası como el complejono-lineal RF, son altamente competitivos cuando se pronostica la inflacion ge-neral y subyacente del IPC. Otros metodos como BVAR, ElNet y adaElNettambien son competitivos segun el contexto. Sin embargo, en casi todos loshorizontes, tanto para el IPC como para el IPC SAE, hay al menos un mo-delo de referencia o ingenuo con precision similar a los mejores metodos de ML.

Nuestro principal resultado de que ML no mejora de manera significativarespecto de algunos metodos de referencia e ingenuos nos lleva a dos posiblesinterpretaciones. La primera enfatiza las limitaciones del ejercicio realizado eneste documento. Desde la construccion de la base de datos hasta el ajuste finode los parametros de los modelos de ML, tratamos de mantenernos lo mascerca posible de McCracken y Ng (2016) y Medeiros et al. (2019). Esta repli-cacion “ciega” puede haber favorecido los modelos de referencia y/o aquellosingenuos. Quizas, al excluir algunas variables ruidosas del conjunto de datos(o al ajustar algunos parametros clave), los metodos de ML podrıan funcionar

2

Page 6: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

mejor. No obstante, debemos tener en cuenta que estos ajustes “ex-post”, in-cluso cuando apuntan a capturar las especificidades chilenas, pueden generarun problema de over-fitting. Ademas, el rango de datos es muy corto, lo queimplica una pequena cantidad de observaciones fuera de muestra comparadocon el caso de Estados Unidos. Por lo tanto, los tests predictivos superiores yel Model Confidence Set (MCS), utilizados para establecer la superioridad dealgunos metodos de ML en Medeiros et al. (2019), no son tan informativos enel contexto chileno. Dado el pequeno numero de observaciones, el MCS, porejemplo, es probable que incluyan casi todos los metodos de pronostico en losniveles de significancia habituales. Por lo tanto, una preocupacion razonable essi nuestro resultado principal de que los metodos de ML no mejoran mucho lospronosticos de inflacion en Chile seguirıa siendo valido a medida que las seriesse alarguen. En este mismo contexto de una ausencia de series lo suficiente-mente largas, es que a diferencia del caso estudiado en Medeiros et al. (2019),la sub-muestra utilizada como out-of-sample no presenta ningun periodo derecesion. Estos autores mostraron que gran parte de las ganancias del modeloRF en EE.UU. provienen de recesiones, donde las no linealidades y una base dedatos extendida fueron importantes para que el modelo RF generara mejoresproyecciones que los modelos de referencia.

Alternativamente, la segunda interpretacion enfatiza que Chile es un casoexitoso de metas de inflacion, en el que tanto la inflacion como las expectati-vas de inflacion han sido estables y han estado dentro de la meta durante elperıodo de muestra. Por lo tanto, las desviaciones de la inflacion a corto plazode su meta pueden ser difıciles de predecir. En este caso, los metodos sofis-ticados y los grandes datos pueden no agregar demasiado (o incluso generarruido), lo que podrıa explicar por que simplemente usar la inflacion media omediana pasada para pronosticar la inflacion es tan competitivo. A medidaque las series se alarguen, esperamos que mas investigaciones, que vayan masalla de nuestro enfoque de replicacion “ciega”, ayuden a resolver la utilidad delas tecnicas de ML para pronosticar la inflacion en Chile.

El documento procede de la siguiente manera. La seccion 2 presenta unabreve revision de la literatura para el caso chileno. La seccion 3 presenta elconjunto de datos. La Seccion 4 describe la estrategia empırica, y la seccion 5revisa rapidamente los metodos de pronostico utilizados en este documento. Laseccion 6 presenta y discute los resultados. La seccion 7 presenta la robustezde los resultados. La seccion 8 concluye.

3

Page 7: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

2. Revision de literatura para el caso chileno

La evidencia para el caso chileno es extensa y variada al mismo tiempo.Pincheira y Medel (2015) analizan distintos modelos univariados para paısescon metas inflacion, especıficamente la clase de modelos DESARIMA (DriftlessExtended Seasonal ARIMA). Los autores encuentran que este tipo de mode-los mejoran las proyecciones en horizontes cortos respecto del uso de modelosbenchmark (modelos autorregresivos de orden 6), mientras que los modelos ga-nadores se vuelven ambiguos en horizontes mas largos. En la misma lınea, perocon un objetivo de incorporar elementos externos, Pincheira y Gatty (2016)utilizan un modelo SARIMA de factores aumentado, FASARIMA, conside-rando dos grupos de paıses como medidas de inflacion internacional (factores):LATAM y OECD. Los resultados muestran que, al recoger factores internacio-nales, estos contribuyen en el mejoramiento de las proyecciones de inflacion, esdecir, concluyen que es deseable considerar elementos adicionales a los internosde la economıa.

Por otro lado, se ha estudiado la capacidad predictiva empırica de dis-tintas especificaciones para la curva de Phillips. Los resultados son mixtos,algunos estan en lınea con la evidencia internacional de los ultimos anos, don-de la capacidad predictiva es baja y bastante inestable (Pincheira y Rubio(2015), Aguirre y Cespedes (2004), Fuentes et al. (2008)). Otros, efectivamen-te encuentran una capacidad predictiva considerable (Nadal de Simone (2001),Morande y Tejada (2008)).

Sin embargo, no solo se han estudiado medidas convencionales como el Indi-ce de Precios del Consumidor (IPC) para construir la inflacion. Un recienteestudio explora el uso de medidas subyacentes del nivel de precios. Especıfi-camente, Nolazco et al. (2019) analizan el uso del IPC SAE, una medida deinflacion que extrae los precios de los alimentos y energıa dada su naturalezamas volatil, para predecir la medida de inflacion general en ocho economıasemergentes. Los resultados muestran que existen mejoras en horizontes cortos(uno a seis meses) y, en especial para el caso chileno, se da tambien en hori-zontes mas largos (24 meses).

Es importante mencionar tambien que es necesario considerar un amplioset de variables al momento de proyectar la inflacion, dado que existen mu-chos mecanismos de traspaso de distintas variables que contribuyen a mejorarlas proyecciones futuras, como por ejemplo el precio del petroleo, commodi-ties, entre otros (Chen et al. (2011), Medel (2015), Medel (2016), Chanut et

4

Page 8: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

al. (2018)).

3. Datos

Nuestra base de datos esta compuesta por una extensa cantidad de va-riables obtenidas de diferentes fuentes, tales como: Banco Central de Chile(BCCh), Instituto Nacional de Estadısticas (INE), FRED, Bloomberg y Cama-ra Chilena de la Construccion (CChC). En particular, tenemos 64 variablesmensuales clasificadas en nueve grupos: Produccion e Ingresos; Mercado La-boral; Hogares; Consumo, Ordenes e Inventarios; Dinero y Credito; Intereses yTipo de Cambio; Precios; Bolsa de Valores, y Variables Externas4. El periodocubierto va desde diciembre 2003 a julio de 2019.

Los predictores utilizados en este trabajo se escogen en funcion de su pro-ximidad y similitud con los utilizados en McCracken y Ng (2016)5. Ademas, seincluyen como potenciales predictores los primeros cuatro factores obtenidosde los datos a partir de la metodologıa de componentes principales, ademas delos cuatro rezagos de cada variable independiente y la inflacion, contabilizandoun total de 272 variables6.

Para estimar y evaluar los metodos, la muestra se divide en dos sub-muestras7. La primera va de diciembre 2003 a noviembre 2014 (132 observacio-nes) y sera el insumo para entrenar los modelos. La segunda va de diciembre2014 a julio 2019 (56 observaciones) y se usara como un conjunto independien-te de observaciones contra las cuales contrastar y evaluar las predicciones delos distintos metodos. La inflacion se define como πt = log(Pt) − log(Pt−1),

4. A diferencia de McCracken y Ng (2016), agregamos un noveno grupo de variablesexternas tomando en cuenta el hecho de que Chile es una pequena economıa abierta almundo. Tambien anadimos variables asociadas al sector minero y expectativas de los agenteseconomicos, dada la gran dependencia de este sector y el rol de las expectativas en laefectividad de la polıtica monetaria.

5. Del total de variables disponibles en FRED, Medeiros et al. (2019) toman 122 variablespara las cuales tienen informacion mensual desde enero de 1990 hasta diciembre de 2015.Para el caso chileno, los datos disponibles nos permiten homologar 64 variables de un totalde 122.

6. Ver Apendice.7. La division en sub-muestras de entrenamiento y evaluacion se realizo en una propor-

cion de 70 y 30 por ciento, respectivamente. Esta es una practica habitual en ejercicios devalidacion en ausencia de una muestra lo suficientemente extensa como para dividirla entres partes, siguiendo lo sugerido en Hastie et al. (2009).

5

Page 9: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

donde πt es la inflacion en el mes t y Pt es un ındice de precios. El princi-pal ındice de precios utilizado es el Indice de Precios al Consumidor (IPC)calculado por el INE, sin embargo, tambien se reportan los resultados para lainflacion subyacente (IPC sin alimentos y energıa) (IPC SAE). La sub-muestrade entrenamiento tiene una inflacion promedio mas alta y mas volatil que lasub-muestra de evaluacion, marcado especialmente en el perıodo de la crisissubprime. El promedio (desviacion estandar) de la inflacion mensual para laprimera sub-muestra es igual a 0.29 % (σ = 0.44 %), mientras para el segundoperıodo es 0.23 % (σ = 0.24 %). La Figura 1 muestra ambas series para todoel perıodo, diferenciadas por sub-muestras:

Figura 1: Inflacion e Inflacion subyacente

−1

−.5

0.5

11

.5%

va

ria

ció

n m

en

su

al

20

03

m1

2

20

04

m8

20

05

m4

20

05

m1

2

20

06

m8

20

07

m4

20

07

m1

2

20

08

m8

20

09

m4

20

09

m1

2

20

10

m8

20

11

m4

20

11

m1

2

20

12

m8

20

13

m4

20

13

m1

2

20

14

m8

20

15

m4

20

15

m1

2

20

16

m8

20

17

m4

20

17

m1

2

20

18

m8

20

19

m4

Fecha

IPC (Estimación)

IPC (Evaluación)

−1

−.5

0.5

1%

va

ria

ció

n m

en

su

al

20

03

m1

2

20

04

m8

20

05

m4

20

05

m1

2

20

06

m8

20

07

m4

20

07

m1

2

20

08

m8

20

09

m4

20

09

m1

2

20

10

m8

20

11

m4

20

11

m1

2

20

12

m8

20

13

m4

20

13

m1

2

20

14

m8

20

15

m4

20

15

m1

2

20

16

m8

20

17

m4

20

17

m1

2

20

18

m8

20

19

m4

Fecha

IPC SAE (Estimación)

IPC SAE (Evaluación)

Fuente: Elaboracion propia en base a datos del Banco Central de Chile

6

Page 10: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

4. Metodologıa

La inflacion mensual se predice en forma directa bajo un esquema de ven-tanas moviles de tamano fijo con el objetivo de atenuar el efecto de quiebresestructurales y outliers siguiendo a Medeiros et al. (2019)8. Para ilustrar loanterior, se utiliza el siguiente modelo:

πt+h = Fh(Xt) + εt+h (1)

donde t = 1, 2, ...., T y h = 1, 2, ..., H. La inflacion h periodos adelante,πt+h, dependera de un n-vector de covariables Xt = (X1t, X2t, ..., Xnt)

′ cuyosefectos sobre la inflacion estaran determinados por la funcion Fh(·); εt+h es unerror aleatorio de media cero. En particular, el pronostico directo para cadamodelo estara dado por la siguiente ecuacion:

πt+h|t = Fh,t−Rh+1:t (Xt) (2)

donde πt+h|t es la prediccion de la inflacion h meses hacia adelante, consi-

derando la informacion disponible en t; Fh,t−Rh+1:t (Xt) es la funcion objetivoestimada a partir de la muestra de entrenamiento, la cual varia segun el meto-do empleado, el tamano de la ventana Rh, el horizonte de proyeccion h, y elnumero de rezagos p. Dado que el esquema utilizado es de ventanas moviles detamano fijo, Fh,t−Rh+1:t considera unicamente la informacion disponible desdet−Rh+1 hasta t. El tamano de la ventana esta dado por Rh = 142−h−p−1.

Para comparar el desempeno predictivo de las distintas alternativas, los mo-delos se ponen a competir en terminos de RMSE (Root Mean Square Error) yMAE (Mean Absolute Error) sobre el periodo de evaluacion. En particular, losmodelos utilizados corresponden a los benchmarks de la literatura (RW, ARy UCSV), especificaciones lineales (LASSO, ElNET, RR, adaLASSO, adaE-lastiNet, Factors, BVAR y CSR) y no lineales (Neural Networks y RandomForest), y se anade tambien la media y mediana de la inflacion pasada.

8. A diferencia de la proyeccion iterativa, el pronostico directo utiliza la informacion masreciente de los observables. Marcellino et al. (2006) concluyen que la proyeccion directa eslevemente mejor que la iterativa, sin embargo, la primera no predomina de manera uniformea traves del tiempo y distintas series. La unica excepcion es el caso del BVAR, que considerael pronostico conjunto para covariables e inflacion basado en el procedimiento de Banburaet al. (2010).

7

Page 11: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

5. Modelos

5.1. Benchmarks

Para cuantificar el desempeno predictivo de los distintos metodos se toma comopunto de referencia el modelo Random Walk (RW)9. Tambien se incluyenmodelos univariados simples tales como un proceso autoregresivo (AR) y elmodelo UCSV (Unobserved Components Stochastic Volatility), ademas de lamedia y la mediana de la inflacion pasada10.

5.2. Modelos Lineales

5.2.1. Modelos Contraıdos (Shrinkage)

Estos metodos estiman los parametros de interes a partir de la minimizacionde la suma de los errores al cuadrado mas un termino de castigo asociado alnumero y tamano de los coeficientes. El objetivo de imponer un costo al usode regresores adicionales es balancear el trade-off entre el sesgo y varianza11.Dentro de este grupo se incluyen los modelos LASSO (Least Absolute Shrinka-ge and Selection Operator), RR (Ridge Regression), ElNet (Elastic Net), asicomo tambien sus versiones adaptativas adaLASSO (Zou (2006)) y adaElNet(Zou y Hastie (2005)).

En terminos generales, el termino de castigo esta dado por la siguiente ecua-cion:

λp∑

p=1

[(1− α)|bp|+ α|bp|2] (3)

La suma de los errores al cuadrado mas esta expresion constituyen la funcionde perdida a partir de la cual se estiman los coeficientes en ElNet; de ella de

9. Para cada horizonte se normalizan los valores de RMSE y MAE del Random Walk a uno y se computan las medidas de precision de los distintos metodos relativos al RW.

10. El numero optimos de rezagos del proceso AR para cada horizonte se escoge mediante el criterio BIC, que determina como tamano optimo cuatro rezagos para todos los pronosticos.

11. El parámetro de penalizacion asociado al termino de castigo determina la complejidad del modelo imponiendo un costo al uso de los predictores. Por lo general, un modelo relati-vamente simple arroja predicciones estables pero inadecuadas al no capturar totalmente la estructura subyacente de los datos. Por otro lado, el uso de una gran cantidad de regresores disminuye el sesgo al capturar de mejor manera el comportamiento de los datos al costo de predicciones inestables y especıficas a la muestra de entrenamiento, problema conocido como over-fitting.

8

Page 12: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

desprenden tres casos relevantes. Si no hay penalizacion (λ = 0) se optimizarael problema clasico de Mınimo Cuadrados Ordinarios (MCO). Si α = 1, solohay restricciones cuadraticas sobre los parametros, esto es Ridge Regression,y si α = 0 se tiene LASSO.

Para ver detalle la forma en que LASSO y sus familiares trabajan se reco-mienda leer Hastie et al. (2009), Varian (2014), Mullainathan y Spiess (2017),Driessen et al. (2019), y Coulombe et al. (2019).

5.2.2. Otros Metodos Lineales

Por otro lado, se incluye tambien el modelo de factores (Factors), VAR Baye-siano (BVAR), y el CSR (Compete Subset Regressions). El modelo de factorespermite reducir la dimensionalidad del problema mediante la estimacion de unnumero reducido de componentes que explican gran parte de la variacion y co-variacion entre predictores. Se utilizan los primeros cuatro factores estimadosmediante la metodologıa de componentes principales. Para detalles sobre laspropiedades de dicha metodologıa se recomienda ver Bai (2003).

El VAR Bayesiano (BVAR) es una alternativa a los modelos de factores yVARs en paneles para el analisis de problemas dinamicos de grandes dimen-siones. El parametro de regularizacion se fija en relacion al tamano del modelosiguiendo lo hecho en Banbura et al. (2010), lo que permite atenuar el proble-ma de over-fitting al tiempo que se retiene la informacion muestral relevante.

CSR es un metodo que promedia los pronosticos de varios modelos reducien-do la varianza e incertidumbre asociada a cada modelo individual (Elliot etal. 2015). La idea detras es escoger un sub-conjunto de variables y estimartodas las posibles combinaciones entre ellas para generar una prediccion finalque sera el promedio de los pronosticos individuales. Es importante notar quecuando el conjunto de covariables es demasiado grande las posibles combina-ciones crecen de manera exponencial, tornandose muchas veces impracticable.Para lidiar con este problema se escogen, mediante un proceso de pre-testeo12,20 potenciales variables sobre las cuales se estiman todas las posibles com-binaciones de cuatro regresores; el pronostico final sera el promedio de todos

12. Siguiendo lo hecho en Medeiros et al. (2019), se regresiona la inflacion h meses adelantecontra cada una de las variables con sus rezagos y se guardan los estadısticos t asociadosa los predictores. Posteriormente, las variables son ordenadas segun la magnitud de losestadısticos y se selecciona el sub-conjunto de 20 predictores mas relevantes de acuerdo a lamagnitud de su coeficiente.

9

Page 13: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

ellos. Para detalles sobre CSR se recomienda ver Elliot et al. (2013), Elliotet al. (2015).

5.3. Modelos No Lineales

Dentro de los modelos no lineales se tiene NN (Neural Networks) y RF (Ran-dom Forest). En terminos generales, NN es un modelo construido a partir de lasuma de modelos lineales transformados en forma no lineal (Hastie et al. 2009).Su principal atractivo guarda relacion con la flexibilidad en la que se aproximaa una amplia gama de relaciones funcionales entre variables (Nakamura 2005).

RF es un modelo altamente no lineal construido a partir del promedio de unconjunto no parametrico de arboles de regresion13. Cada arbol se construye apartir de una muestra de boostrap. La agregacion de arboles de-correlacionadosentre sı mediante la seleccion aleatoria de predictores permite reducir la va-rianza de las predicciones individuales. La logica de los arboles individualesconsiste en particionar el espacio de regresores en forma recursiva y generarpredicciones locales a partir de los sub-espacios; la prediccion final es el pro-medio de los pronosticos generados a partir de los multiples arboles (por elloel nombre de bosque aleatorio). Para detalles sobre RF se recomienda verBreiman (2001), Hastie et al. (2001), Hastie et al. (2009), y Varian (2014).

6. Resultados

En esta seccion se presentan los resultados de los distintos ejercicios quellevamos a cabo14. Un conjunto de metodos (AR, Elnet, adaElnet, BVAR, RF,media, mediana) parecen estar haciendolo igual de bien cuando revisamos elRMSE y MAE. No existe un ganador que sea claro, pues este varıa dependien-do del horizonte, de la medida de IPC y del criterio de evaluacion. Ademas,cuando algun metodo funciona particularmente bien, casi siempre existe otroque lo hace practicamente igual. En terminos generales, relativo al RW, losmodelos tienen un mejor desempeno para la proyecciones del IPC SAE en

13. En la literatura de Machine Learning se distingue entre problemas de clasificacion yregresion segun sea la naturaleza de la variable dependiente. Si la variable dependiente escategorica se habla de clasificacion, mientras que si es continua estamos en presencia deregresion. Para detalles se recomienda ver Hastie et al. (2009).

14. Los codigos usados para generar los resultados son adaptaciones de los codigos usadosen Medeiros et al. (2019), y ası como la base de datos para Chile, estan disponibles bajosolicitud.

10

Page 14: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

comparacion con las del IPC.

En cada una de las tablas, se destacan los metodos con mejores resultadospara cada horizonte. RMSEs y MAEs se calculan en terminos relativos al RW,que esta normalizado a 1. Destacamos en gris los metodos que se encuentrandentro de una diferencia de 0.05 puntos respecto del metodo ganador que estadestacado en bold. Escogemos una banda de 0.05 pues en le caso de EE.UU.en Medeiros et al. 2019, cuando el modelo cae dentro de un margen de 0.05con respecto al metodo ganador, por lo general el modelo esta incluido en el50 % Model Confidence Set15.

Las tablas 1 y 2 muestran los resultados de los distintos metodos para elIPC, considerando los criterios de RMSE y MAE, respectivamente.

En promedio, el ganador en terminos de RMSE es el AR y la media, segui-do por la mediana, adaElNet, BVAR, adaLasso, ElNet y RF. Es importantenotar que la diferencia de los errores de todos estos modelos esta dentro deun intervalo de 0.02. BVAR domina en los primeros 3 horizontes, adaLASSOel cuarto, el quinto y sexto lo comparten el AR, la media, ElNet, adaElNety adaLASSO, luego domina en solitario el AR. Los modelos con mejor rendi-miento en promedio arrojan ganancias cercanas al 23 por ciento respecto delRW.

En cuanto al criterio de MAE los resultados practicamente no varıan. Enpromedio, AR es el ganador seguido por RF, BVAR, la mediana y la media.Una vez mas, la diferencia de los errores es mınima. Los modelos ganadoresregistran mejoras del orden del 25 por ciento respecto al RW.

En ambos casos, LASSO y NN son los modelos con peor desempeno. Porlo tanto, para el caso de la inflacion medida a traves del IPC general no hayun metodo que domine en forma notable y consistente en todos los horizontes,sino que es un conjunto amplio el que domina.

15. Para el caso chileno, debido al corto perıodo out-of-sample, el Model Confidence Setpodrıa no ser informativo.

11

Page 15: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

Cuadro 1: RMSE (IPC)

1 2 3 4 5 6 7 8 9 10 11 12 PromedioRW 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00AR 0.82 0.81 0.80 0.79 0.77 0.77 0.8 0.76 0.77 0.73 0.74 0.74 0.77Media 0.78 0.78 0.78 0.78 0.77 0.77 0.77 0.77 0.77 0.77 0.77 0.78 0.77Mediana 0.78 0.78 0.78 0.78 0.78 0.78 0.78 0.77 0.78 0.78 0.77 0.77 0.78UCSV 0.85 0.86 0.85 0.85 0.85 0.84 0.86 0.85 0.85 0.86 0.86 0.86 0.85LASSO 0.76 0.76 0.85 1.37 0.95 1.12 1.51 1.19 0.90 1.09 1.16 1.29 1.08adaLASSO 0.82 0.78 0.78 0.75 0.78 0.77 0.78 0.77 0.83 0.86 0.78 0.80 0.79Ridge 0.76 0.77 0.80 0.85 0.85 0.89 0.91 0.88 0.84 0.86 0.86 0.87 0.85Elnet 0.76 0.77 0.79 0.78 0.77 0.77 0.77 0.77 0.79 0.78 0.78 0.93 0.79adaElnet 0.83 0.75 0.79 0.78 0.77 0.77 0.77 0.76 0.80 0.79 0.78 0.79 0.78Factor 0.80 0.84 0.86 0.85 0.85 0.87 0.85 0.84 0.84 0.89 0.87 0.90 0.85BVAR 0.75 0.75 0.77 0.78 0.78 0.78 0.78 0.78 0.78 0.78 0.78 0.78 0.78CSR 0.81 0.8 0.81 0.78 0.78 0.8 0.88 0.85 0.83 0.81 0.83 0.86 0.82RF 0.76 0.76 0.79 0.81 0.80 0.79 0.79 0.78 0.77 0.79 0.81 0.82 0.79NN 1.06 1.00 0.94 0.93 0.97 1.04 1.19 1.16 1.01 1.01 0.91 1.07 1.02

Fuente: Elaboracion propia.

Cuadro 2: MAE (IPC)

1 2 3 4 5 6 7 8 9 10 11 12 PromedioRW 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00AR 0.83 0.78 0.77 0.76 0.74 0.74 0.79 0.75 0.75 0.68 0.69 0.69 0.75Media 0.77 0.77 0.77 0.77 0.77 0.76 0.76 0.76 0.76 0.76 0.76 0.76 0.76Mediana 0.77 0.77 0.77 0.76 0.76 0.76 0.76 0.76 0.76 0.76 0.75 0.75 0.76UCSV 0.83 0.84 0.83 0.84 0.83 0.82 0.85 0.85 0.84 0.84 0.84 0.85 0.84LASSO 0.75 0.75 0.84 1.10 0.88 0.96 1.35 1.06 0.91 1.02 1.03 1.22 0.99adaLASSO 0.79 0.76 0.78 0.77 0.77 0.77 0.77 0.75 0.82 0.85 0.77 0.79 0.78Ridge 0.74 0.77 0.78 0.83 0.80 0.85 0.86 0.81 0.77 0.81 0.82 0.81 0.80Elnet 0.75 0.76 0.77 0.77 0.77 0.76 0.76 0.75 0.78 0.77 0.77 0.84 0.77adaElnet 0.80 0.74 0.78 0.77 0.77 0.76 0.76 0.75 0.79 0.78 0.77 0.77 0.77Factor 0.79 0.81 0.84 0.82 0.84 0.83 0.84 0.83 0.82 0.87 0.86 0.85 0.83BVAR 0.74 0.75 0.76 0.77 0.77 0.77 0.77 0.77 0.77 0.77 0.77 0.77 0.76CSR 0.8 0.79 0.8 0.76 0.74 0.76 0.87 0.82 0.78 0.78 0.77 0.79 0.79RF 0.71 0.73 0.76 0.8 0.78 0.77 0.77 0.75 0.74 0.75 0.76 0.78 0.76NN 1.00 0.97 0.90 0.92 0.94 1.03 1.16 1.07 0.92 0.93 0.87 1.00 0.98

Fuente: Elaboracion propia.

Las tablas 3 y 4 muestran los resultados de los distintos metodos para elIPC SAE (Sin Alimentos y Energıa), considerando los criterios de RMSE yMAE, respectivamente.

Para el caso de RMSE, en promedio, el ganador es RF, seguido por AR, lamedia, mediana, ElNet, adaElNet y BVAR, pero la diferencia entre los mode-

12

Page 16: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

los es de apenas 0.01 puntos. En los primeros horizontes el AR es el ganador,pero a partir del quinto horizonte el RF se vuelve el mas competitivo. Los me-jores competidores registran ganancias, en promedio, cercanas al 25 por cientorespecto al RW.

En cuanto al MAE los resultados se mantienen bastante similares. En pro-medio, RF es el ganador, seguido por el AR, la mediana y ElNet. Nuevamente,las diferencias son mınimas. El ganador registra ganancias promedio de 34 porciento respecto al RW. En general, el modelo de RF tiene muy buenos resul-tados para todos los horizontes, esto junto con el AR, la media y la mediana.

Similar al caso del IPC total, para el IPC SAE los resultados muestran quemodelos tales como el AR, la mediana o la media son similares o incluso mascapaces en la mayorıa de los horizontes en comparacion con las alternativas deML.

Cuadro 3: RMSE (IPC SAE)

1 2 3 4 5 6 7 8 9 10 11 12 PromedioRW 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00AR 0.72 0.71 0.73 0.77 0.74 0.77 0.74 0.75 0.73 0.74 0.74 0.74 0.74Media 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74Mediana 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74UCSV 0.91 0.91 0.91 0.92 0.92 0.92 0.92 0.92 0.92 0.92 0.93 0.93 0.92LASSO 0.76 0.75 0.79 0.76 0.74 0.77 1.29 1.48 1.04 1.28 0.90 1.06 0.97adaLASSO 0.80 0.72 0.94 0.75 0.74 0.74 0.75 0.76 0.74 0.77 0.76 0.79 0.77Ridge 0.72 0.72 0.76 0.77 0.78 0.84 0.84 0.85 0.82 0.81 0.82 0.82 0.80Elnet 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.75 0.74 0.73 0.74adaElnet 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.76 0.74 0.74 0.74Factor 0.78 0.77 0.77 0.78 0.75 0.76 0.80 0.77 0.79 0.8 0.84 0.82 0.79BVAR 0.72 0.73 0.74 0.74 0.74 0.75 0.75 0.75 0.75 0.75 0.75 0.75 0.74CSR 0.72 0.71 0.74 0.77 0.74 0.82 0.80 0.82 0.78 0.79 0.81 0.80 0.78RF 0.75 0.73 0.75 0.75 0.74 0.73 0.71 0.71 0.70 0.71 0.73 0.74 0.73NN 0.82 0.81 0.98 0.88 0.84 0.92 0.96 0.92 0.87 1.00 0.94 0.94 0.91

Fuente: Elaboracion propia.

13

Page 17: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

Cuadro 4: MAE (IPC SAE)

1 2 3 4 5 6 7 8 9 10 11 12 PromedioRW 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00AR 0.65 0.64 0.67 0.71 0.67 0.70 0.68 0.69 0.67 0.66 0.67 0.67 0.67Media 0.68 0.68 0.68 0.68 0.68 0.69 0.69 0.69 0.69 0.69 0.69 0.69 0.69Mediana 0.68 0.68 0.68 0.68 0.68 0.68 0.68 0.68 0.68 0.68 0.68 0.68 0.68UCSV 0.88 0.88 0.89 0.89 0.89 0.89 0.89 0.89 0.89 0.89 0.90 0.90 0.89LASSO 0.69 0.70 0.74 0.70 0.68 0.71 1.10 1.17 0.87 1.06 0.83 0.98 0.85adaLASSO 0.74 0.66 0.79 0.68 0.68 0.68 0.68 0.70 0.68 0.69 0.68 0.72 0.70Ridge 0.66 0.66 0.67 0.69 0.68 0.77 0.81 0.79 0.74 0.71 0.71 0.72 0.72Elnet 0.68 0.68 0.68 0.68 0.68 0.69 0.69 0.69 0.69 0.69 0.69 0.68 0.68adaElnet 0.68 0.68 0.68 0.68 0.68 0.69 0.69 0.69 0.69 0.70 0.69 0.69 0.69Factor 0.71 0.68 0.67 0.68 0.67 0.69 0.71 0.70 0.73 0.76 0.77 0.75 0.71BVAR 0.67 0.67 0.68 0.69 0.68 0.69 0.69 0.69 0.69 0.69 0.69 0.69 0.69CSR 0.64 0.66 0.67 0.71 0.67 0.73 0.73 0.73 0.71 0.71 0.70 0.72 0.70RF 0.67 0.66 0.68 0.68 0.68 0.67 0.65 0.64 0.64 0.63 0.66 0.67 0.66NN 0.73 0.75 0.95 0.81 0.76 0.85 0.86 0.90 0.80 0.91 0.88 0.84 0.84

Fuente: Elaboracion propia.

7. Robustez

A diferencia de Estados Unidos, Chile es una pequena economıa abierta almundo que depende en gran medida del desempeno del sector minero y delcontexto internacional. Por lo anterior, esta seccion incluye variables externasy del sector minero para capturar las especificidades de la economıa nacio-nal16. Adicionalmente, se anaden variables asociadas a expectativas de tasasde polıtica monetaria, inflacion, y tasas de los bonos soberanos a distintos pla-zos, pues gran parte de la efectividad de la polıtica monetaria depende de lasexpectativas del publico sobre la evolucion futura de la economıa. En total seagregaron 16 variables

Las tablas 5 y 6 muestran el desempeno relativo de los distintos metodospara la inflacion al extenderse el conjunto de predictores. Por construccion, elrendimiento de los modelos de referencia o ingenuos no mejora con la adicionde estas nuevas variables. En terminos generales los resultados se mantienen,en casi todos los casos hay al menos un modelo de referencia o ingenuo conprecision similar a los metodos de ML. Sin embargo, cabe destacar la mejorade 8 puntos porcentuales en CSR y 5 puntos porcentuales para adaLASSO yRF. Dado que los dos primeros metodos son lineales, lo anterior sugiere quelas ganancias podrıan ser explicadas en parte por un conjunto de datos mas

16. Ver Apendice.

14

Page 18: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

informativo.

Cuadro 5: RMSE (IPC+Variables)

1 2 3 4 5 6 7 8 9 10 11 12 PromedioRW 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00AR 0.82 0.81 0.80 0.79 0.77 0.77 0.80 0.76 0.77 0.73 0.74 0.74 0.77Media 0.78 0.78 0.78 0.78 0.77 0.77 0.77 0.77 0.77 0.77 0.77 0.78 0.77Mediana 0.78 0.78 0.78 0.78 0.78 0.78 0.78 0.77 0.78 0.78 0.77 0.77 0.78UCSV 0.85 0.86 0.85 0.85 0.85 0.84 0.86 0.85 0.85 0.86 0.86 0.86 0.85LASSO 0.76 0.91 1.36 1.57 1.28 1.50 1.39 1.34 1.37 1.21 1.11 1.31 1.26adaLASSO 0.76 0.75 0.76 0.77 0.81 0.83 0.76 0.71 0.76 0.74 0.79 0.82 0.77Ridge 0.74 0.75 0.78 0.82 0.81 0.84 0.85 0.84 0.79 0.81 0.81 0.82 0.81Elnet 0.75 0.84 0.78 1.11 0.91 0.77 0.80 0.88 0.77 0.84 0.77 1.04 0.86adaElnet 0.76 0.74 0.77 0.79 0.78 0.77 0.77 0.76 0.77 0.78 0.77 0.80 0.77Factor 0.80 0.80 0.80 0.80 0.81 0.84 0.83 0.83 0.83 0.82 0.83 0.84 0.82BVAR 0.74 0.76 0.77 0.78 0.78 0.78 0.78 0.78 0.78 0.78 0.78 0.78 0.77CSR 0.80 0.77 0.78 0.74 0.75 0.75 0.82 0.78 0.77 0.75 0.78 0.82 0.77RF 0.75 0.75 0.79 0.81 0.80 0.78 0.76 0.75 0.74 0.76 0.77 0.78 0.77NN 0.94 0.92 0.88 0.96 0.88 1.06 1.07 0.91 0.91 1.02 0.94 0.89 0.95

Fuente: Elaboracion propia.

Cuadro 6: MAE (IPC+Variables)

1 2 3 4 5 6 7 8 9 10 11 12 PromedioRW 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00AR 0.83 0.78 0.77 0.76 0.74 0.74 0.79 0.75 0.75 0.68 0.69 0.69 0.75Media 0.77 0.77 0.77 0.77 0.77 0.76 0.76 0.76 0.76 0.76 0.76 0.76 0.76Mediana 0.77 0.77 0.77 0.76 0.76 0.76 0.76 0.76 0.76 0.76 0.75 0.75 0.76UCSV 0.83 0.84 0.83 0.84 0.83 0.82 0.85 0.85 0.84 0.84 0.84 0.85 0.84LASSO 0.73 0.87 1.26 1.51 1.25 1.48 1.38 1.23 1.16 1.23 1.07 1.20 1.20adaLASSO 0.74 0.73 0.74 0.76 0.76 0.80 0.71 0.66 0.72 0.71 0.78 0.77 0.74Ridge 0.74 0.74 0.76 0.81 0.78 0.82 0.80 0.78 0.74 0.76 0.77 0.77 0.77Elnet 0.75 0.80 0.76 1.02 0.83 0.76 0.78 0.81 0.76 0.78 0.76 0.91 0.81adaElnet 0.75 0.74 0.76 0.77 0.76 0.76 0.74 0.73 0.75 0.77 0.76 0.77 0.75Factor 0.80 0.76 0.77 0.79 0.80 0.81 0.83 0.82 0.82 0.82 0.80 0.79 0.80BVAR 0.73 0.75 0.76 0.77 0.77 0.77 0.78 0.77 0.77 0.77 0.77 0.77 0.77CSR 0.78 0.76 0.73 0.71 0.71 0.71 0.83 0.75 0.72 0.70 0.71 0.75 0.74RF 0.72 0.73 0.77 0.79 0.80 0.77 0.73 0.71 0.70 0.73 0.74 0.74 0.74NN 0.90 0.87 0.93 0.92 0.92 1.03 1.01 0.91 0.88 1.06 0.92 0.87 0.93

Fuente: Elaboracion propia.

Las tablas 7 y 8 presentan los resultados para el caso de la inflacion sub-yacente, medida por el IPC SAE. A pesar de que el rendimiento de algunosmetodos de ML mejoran una vez que extendemos la base de datos, estas me-joras no son suficientes para posicionarlos como unicos ganadores. De hecho,

15

Page 19: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

en casi todos los casos hay al menos un modelo de referencia o ingenuo conprecision similar a los metodos de ML. Por lo tanto, al considerar las especifici-dades de la economıa chilena mediante la adicion de nuevas variables, nuestraconclusiones no cambian.

Cuadro 7: RMSE (IPC SAE+Variables)

1 2 3 4 5 6 7 8 9 10 11 12 PromedioRW 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00AR 0.72 0.71 0.73 0.77 0.74 0.77 0.74 0.75 0.73 0.74 0.74 0.74 0.74Media 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74Mediana 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74 0.74UCSV 0.91 0.91 0.91 0.92 0.92 0.92 0.92 0.92 0.92 0.92 0.93 0.93 0.92LASSO 0.84 1.17 1.12 1.26 1.17 1.18 1.45 1.35 1.37 1.53 1.28 1.23 1.25adaLASSO 0.81 0.79 0.76 0.74 0.76 0.77 0.77 0.78 0.74 0.75 0.75 0.75 0.76Ridge 0.71 0.72 0.74 0.74 0.72 0.78 0.78 0.79 0.77 0.77 0.77 0.76 0.75Elnet 0.74 0.74 0.74 0.74 0.73 0.74 0.82 0.74 0.80 0.74 0.74 0.76 0.75adaElnet 0.74 0.74 0.74 0.74 0.75 0.74 0.75 0.74 0.74 0.74 0.74 0.74 0.74Factor 0.78 0.77 0.76 0.78 0.75 0.76 0.78 0.76 0.77 0.74 0.81 0.75 0.77BVAR 0.71 0.73 0.75 0.75 0.75 0.75 0.75 0.75 0.75 0.75 0.75 0.75 0.75CSR 0.73 0.70 0.74 0.77 0.75 0.82 0.79 0.77 0.72 0.71 0.74 0.76 0.75RF 0.73 0.72 0.74 0.73 0.74 0.72 0.71 0.71 0.70 0.71 0.72 0.71 0.72NN 0.85 0.79 0.82 0.89 0.70 0.91 0.82 0.77 0.85 0.82 0.83 0.94 0.83

Fuente: Elaboracion propia.

Cuadro 8: MAE (IPC SAE+Variables)

1 2 3 4 5 6 7 8 9 10 11 12 PromedioRW 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00AR 0.65 0.64 0.67 0.71 0.67 0.70 0.68 0.69 0.67 0.66 0.67 0.67 0.67Media 0.68 0.68 0.68 0.68 0.68 0.69 0.69 0.69 0.69 0.69 0.69 0.69 0.69Mediana 0.68 0.68 0.68 0.68 0.68 0.68 0.68 0.68 0.68 0.68 0.68 0.68 0.68UCSV 0.88 0.88 0.89 0.89 0.89 0.89 0.89 0.89 0.89 0.89 0.90 0.90 0.89LASSO 0.76 1.07 1.04 1.14 1.12 1.07 1.27 1.18 1.26 1.34 1.17 1.20 1.14adaLASSO 0.77 0.73 0.70 0.68 0.69 0.71 0.70 0.71 0.68 0.70 0.69 0.68 0.70Ridge 0.64 0.65 0.65 0.66 0.64 0.72 0.74 0.73 0.70 0.66 0.67 0.65 0.68Elnet 0.68 0.68 0.68 0.68 0.67 0.69 0.73 0.69 0.72 0.69 0.69 0.71 0.69adaElnet 0.68 0.68 0.68 0.68 0.69 0.69 0.69 0.69 0.69 0.69 0.69 0.69 0.69Factor 0.72 0.70 0.69 0.71 0.67 0.68 0.69 0.67 0.69 0.67 0.72 0.67 0.69BVAR 0.66 0.67 0.68 0.69 0.69 0.70 0.70 0.69 0.69 0.69 0.69 0.69 0.69CSR 0.64 0.64 0.66 0.70 0.65 0.70 0.71 0.70 0.65 0.65 0.63 0.66 0.67RF 0.65 0.65 0.67 0.66 0.66 0.65 0.66 0.65 0.64 0.64 0.65 0.64 0.65NN 0.73 0.76 0.77 0.87 0.60 0.85 0.76 0.68 0.79 0.77 0.79 0.80 0.76

Fuente: Elaboracion propia.

16

Page 20: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

8. Conclusion

En este trabajo documentamos que los metodos de ML no ganan en for-ma consistente sobre competidores lineales simples y univariados tales comoel AR, la media y la mediana de la inflacion pasada. Aunque RF domina parala inflacion total y la inflacion subyacente al extenderse las variables, esto norepresenta una mejora significativa en terminos de RMSE y MAE. Sorprenden-temente, para pronosticar la inflacion del IPC o del IPC subyacente, la mediao la mediana de la inflacion pasada demostro ser competitiva. De hecho, estosson los metodos ganadores en muchos casos. Un proceso AR(4) simple, asıcomo el complejo no-lineal RF, son altamente competitivos. Otros metodos deML, como BVAR, ElNet y adaElNet tambien son competitivos segun el con-texto. Sin embargo, en casi todos los horizontes, tanto para el IPC como parael IPC subyacente, hay al menos un modelo de referencia cuyo rendimientoesta muy cerca (o incluso mejor) del metodo de ML de mejor rendimiento.

Reconocemos las limitaciones del ejercicio realizado en este trabajo. Al tra-tar de mantenernos lo mas cerca posible de McCracken y Ng (2016) y Medeiroset al. (2019), esta replicacion “ciega” puede haber favorecido los modelos dereferencia. Ademas, el rango de datos es muy corto, lo que implica una pe-quena cantidad de observaciones fuera de muestra comparado con el caso deEstados Unidos. Por lo tanto, una preocupacion razonable es si nuestro resul-tado principal de que los metodos de ML no mejoran mucho los pronosticos deinflacion en Chile seguirıa siendo valido a medida que las series se alarguen.En este mismo contexto de una ausencia de series lo suficientemente largas, esque a diferencia del caso estudiado en Medeiros et al. (2019), la sub-muestrautilizada como out-of-sample no presenta ningun periodo de recesion, que fuecuando RF resulto particularmente util.

Alternativamente, Chile es un caso exitoso de metas de inflacion, en el quetanto la inflacion como las expectativas de inflacion han sido estables y hanestado dentro del rango meta durante el perıodo de muestra. Por lo tanto, lasdesviaciones de la inflacion a corto plazo de su meta pueden ser difıciles depredecir. En este caso, los metodos sofisticados y los grandes datos puedenno agregar demasiado (o incluso generar ruido), lo que podrıa explicar porque simplemente usar la inflacion media o mediana pasada para pronosticarla inflacion es altamente competitivo. A medida que las series se alarguen,esperamos que mas investigaciones, que vayan mas alla de nuestro enfoque dereplicacion “ciega”, ayuden a resolver la utilidad de las tecnicas de ML parapronosticar la inflacion en Chile.

17

Page 21: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

Referencias

Aguirre, A., y L. Cespedes. 2004. “Uso de Analisis Factorial Dinamico paraProyecciones Macroeconomicas”. Banco Central de Chile, Documentos deTrabajo.

Bai, J. 2003. “Inferential theory for factor models of large dimensions”. Eco-nometrica 71 (1): 135-171.

Banbura, M., D. Giannone y L. Reichlin. 2010. “Large Bayesian vector auto-regressions”. Journal of Applied Econometrics 25 (1): 71-92.

Baybuza, I. 2018. “Inflation Forecasting Using Machine Learning Methods”.Russian Journal of Money and Finance 77 (4): 42-59.

Breiman, L. 2001. “Random forests”. Machine Learning 45 (1): 5-32.

Chakraborty, C., y A. Joseph. 2017. “Machine learning at central banks”.Bank of England Working Paper Series.

Chanut, N., M. Marcel y C. Medel. 2018. “Can Economic Perception SurveysImprove Macroeconomic Forecasting in Chile?” Banco Central de Chile,Documentos de Trabajo.

Chen, Y., S. Turnovsky y E. Zivot. 2011. “Forecasting Inflation using Com-modity Price Aggregates”. Journal of Econometrics 183 (1): 117-134.

Coulombe, P., M. Leroux, D. Stevanovic y S. Surprenant. 2019. “How is ma-chine learning useful for macroeconomic forecasting?” CIRANO WorkingPaper.

Driessen, A., A. Batch, J. Chen, A. Dunn y K. Hood. 2019. “Off to the races:A comparison of Machine Learning and alternative data for predictingEconomic Indicators”. Big Data for 21st Century Economic Statistics.

Elliot, G., A. Gargano y A. Timmermann. 2013. “Complete subset regres-sions”. Journal of Econometrics 177 (2): 357-373.

. 2015. “Complete subset regressions with large-dimensional sets of pre-dictors”. Journal of Economic Dynamics and Control 54:86-110.

Faust, J., y J. Wright. 2013. “Forecasting Inflation, en G. Elliot y A. Timmer-mann, eds.” Handbook of Economic Forecasting 2.

Fuentes, R., F. Gredig y M. Larraın. 2008. “La brecha de producto en Chile:medicion y evaluacion”. Economıa Chilena 11 (2).

18

Page 22: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

Garcia, M., M. Medeiros y G. Vasconcelos. 2017. “Real-time inflation fore-casting with high-dimensional models: The case of brazil”. InternationalJournal of Forecasting 33 (3): 679-693.

Gu, S., B. Kelly y D. Xiu. 2018. “Empirical Asset Pricing via Machine Lear-ning”. Working paper, University of Chicago.

Hastie, T., R. Tibshirami y J. Friedman. 2001. “The Elements of StatisticalLearning; Data Minning, Inference and Prediction”. 1st ed. New York:Springer.

. 2009. “The Elements of Statistical Learning; Data Mining, Inferenceand Prediction”. 2nd ed. New York: Springer.

Marcellino, M., J.H. Stock y M.W Watson. 2006. “A comparison of direct anditerated multistep ar methods for forecasting macroeconomic time series”.Journal of Econometrics 135 (1-2): 499-526.

McCracken, M., y S. Ng. 2016. “FRED-MD: A Monthly Database for Macro-economic Research”. Journal of Business & Economic Statistics 34 (4):574-589.

Medeiros, M., G. Vasconcelos, A. Veiga y E. Zilberman. 2019. “ForecastingInflation in a Data-Rich Environment: The Benefits of Machine LearningMethods”. Journal of Business & Economic Statistics, forthcoming.

Medel, C. 2015. “Fuelling Future Prices: Oil Price and Global Inflation”. BancoCentral de Chile, Documentos de Trabajo.

. 2016. “Un Analisis de la Capacidad Predictiva del Precio del Cobresobre la Inflacion Global”. Banco Central de Chile, Documentos de Tra-bajo.

Morande, F., y M. Tejada. 2008. “Fuentes de incertidumbre monetaria en laconduccion de la polıtica monetaria en Chile”. Economıa Chilena 11 (3).

Mullainathan, S., y J. Spiess. 2017. “Machine Learning: An Applied Econo-metric Approach”. Journal of Economic Perspectives 31 (2): 87-106.

Nadal de Simone, F. 2001. “Proyeccion de la inflacion en Chile”. EconomıaChilena 4 (3).

Nakamura, E. 2005. “Inflation forecasting using a neural network”. EconomicsLetters 86 (3): 373-378.

19

Page 23: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

Nolazco, J., P. Pincheira y J. Selaive. 2019. “Forecasting Inflation in LatinAmerica with Core Measures”. International Journal of Forecasting, forth-coming.

Patrap, B., y S. Sengupta. 2019. “Macroeconomic Forecasting in India:DoesMachine Learning Hold the Key to Better Forecasts?” RBI Working PaperSeries.

Pincheira, P., y A. Gatty. 2016. “Forecasting Chilean inflation with interna-tional factors”. Empirical Economics 51 (3): 981-1010.

Pincheira, P., y C. Medel. 2015. “Forecasting Inflation with a Simple andAccurate Benchmark: The Case of the US and a Set of Inflation TargetingCountries”. Czech Journal of Economics and Finance 65 (1): 2-29.

Pincheira, P., y H. Rubio. 2015. “The low predictive power of simple Phillipscurves in Chile”. Cepal Review 116.

Stock, J.H., y M.W. Watson. 2010. “Modeling inflation after the crisis”. NBER.

Varian, H. 2014. “Big Data: New Tricks for Econometrics”. Journal of Econo-mic Perspectives 28 (2): 3-27.

Zou, H. 2006. “The adaptative lasso and its oracle properties”. Journal ofAmerican Statistical Association 101 (476): 1418-1429.

Zou, H., y T. Hastie. 2005. “Regularization and variable selection via theelastic net”. Journal of the Royal Statistical Society: Series B (StatisticalMethodology) 67 (2): 301-320.

20

Page 24: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

Apendice

Cuadro 9: Transformaciones de las variables de la base de datos

Transformacion Variable Fuente Grupo

∆log(xt) Indıce de produccion Industrial BCCH Produccion e Ingresos∆log(xt) Indice de produccion: Materiales CCHC Produccion e Ingresos∆log(xt) Indice de produccion: manufacturas-produccion BCCH Produccion e Ingresos∆log(xt) Indice de produccion: Electricidad, Agua, y Gas INE Produccion e Ingresos∆log(xt) Indice de generacion electrica BCCH Produccion e Ingresos∆log(xt) Indice de difusion: Manufactura BCCH Produccion e Ingresos∆log(xt) Uso de capacidad: Manufactura BCCH Produccion e Ingresos∆log(xt) Indice de difusion: Minerıa BCCH Produccion e Ingresos∆log(xt) Indice de vacantes BCCH Mercado Laboralsin transformacion Fuerza de trabajo BCCH Mercado Laboralsin transformacion Ocupados BCCH Mercado Laboral∆xt Tasa de Desempleo BCCH Mercado Laboral∆log(xt) Empleo: Industria FRED Mercado Laboral∆log(xt) Empleo: Construccion FRED Mercado Laboral∆log(xt) Empleo: Servicios FRED Mercado Laboralsin transformacion Indice de remuneraciones BCCH Mercado Laboralsin transformacion Indice de costo laboral BCCH Mercado Laboral∆log(xt) Permisos para viviendas FRED Hogares∆log(xt) Permisos para viviendas / construcciones residenciales FRED Hogares∆log(xt) Indice de ventas: Comercio BCCH Consumo, ordenes e inventarios∆log(xt) Indice de ventas: supermercados BCCH Ordenes e inventarios∆log(xt) Indice de difusion: manufacturas-general BCCH Consumo, ordenes e inventarios∆log(xt) Indice de difusion: manufacturas-inventarios BCCH Consumo, ordenes e inventarios∆log(xt) Indice de difusion: Construccion-demanda BCCH Consumo, ordenes e inventarios∆log(xt) Indice de difusion: Manufactura-demanda BCCH Consumo, ordenes e inventarios∆log(xt) Indice de difusion: retail-inventarios BCCH Consumo, ordenes e inventarios∆log(xt) Indice de percepcion de la economıa BCCH Consumo, ordenes e inventarios∆2log(xtt) M1 BCCH Dinero y Credito∆2log(xtt) M2 BCCH Dinero y Credito∆log(xt) Base Monetaria BCCH Dinero y Credito∆2log(xtt) Encaje mantenido sector bancario BCCH Dinero y Credito∆2log(xtt) Encaje exigido sector bancario BCCH Dinero y Credito∆2log(xtt) Colocaciones Comerciales BCCH Dinero y Credito∆2log(xtt) Colocaciones Consumo BCCH Dinero y Credito∆2log(xtt) Colocaciones Vivienda BCCH Dinero y Credito∆xt Tasa Interbancaria (TI) BCCH Intereses y Tipo de cambio∆xt Bonos a 2 anos (pesos) BCCH Intereses y Tipo de cambio∆xt Bonos a 5 anos (pesos) BCCH Intereses y Tipo de cambio∆xt Bonos a 5 anos (UF) BCCH Intereses y Tipo de cambio∆xt Bonos a 10 anos (UF) BCCH Intereses y Tipo de cambio∆xt Bonos a 20 anos (UF) BCCH Intereses y Tipo de cambiosin transformacion Bonos a 5 anos (UF) menos TI BCCH Intereses y Tipo de cambiosin transformacion Bonos a 10 anos (UF) menos TI BCCH Intereses y Tipo de cambio

Fuente: Elaboracion propia.

21

Page 25: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

Cuadro 10: Transformaciones de las variables de la base de datos

Transformacion Variable Fuente Grupo

sin transformacion Bonos a 20 anos (UF) menos TI BCCH Intereses y Tipo de cambio∆log(xt) Tipo de cambio multilateral BCCH Intereses y Tipo de cambio∆log(xt) Tipo de cambio a dolar BCCH Intereses y Tipo de cambio∆log(xt) Tipo de cambio a real BCCH Intereses y Tipo de cambio∆log(xt) Tipo de cambio a euro BCCH Intereses y Tipo de cambio∆log(xt) Tipo de cambio a yen BCCH Intereses y Tipo de cambio∆log(xt) Indice de precios al productor: Manufactura BCCH Precios∆log(xt) Precio Petroleo (WTI) BCCH Precios∆log(xt) Indice de precios al productor: Minerıa BCCH Precios∆log(xt) Indice de precios al consumidor: Vestuario BCCH Precios∆log(xt) Indice de precios al consumidor: Salud BCCH Precios∆log(xt) Indice de precios al consumidor: Transporte BCCH Precios∆log(xt) Indice de precios al consumidor: Educacion BCCH Precios∆log(xt) Indice de precios al consumidor: servicios BCCH Precios∆log(xt) Indice de precios al consumidor: servicios excluyendo vivienda BCCH Precios∆log(xt) Indice de precios al consumidor (IPC) BCCH Precios∆log(xt) Indice de precios al consumidor SAE (IPC-SAE) BCCH Precios∆log(xt) IPSA Bloomberg Bolsa de valores∆log(xt) EPU Cerda, Silva y Valente Bolsa de valores∆log(xt) EPUC Cerda, Silva y Valente Bolsa de valores∆log(xt) VXO Bloomberg Bolsa de valores∆xt Tasa de Polıtica Monetaria: USA BCCH Variables Externas∆xt Tasa de Polıtica Monetaria: Zona Euro BCCH Variables Externas∆xt Tasa de Polıtica Monetaria: Japon BCCH Variables Externas∆log(xt) IPC: USA BCCH Variables Externas∆log(xt) IPC (CORE): USA BCCH Variables Externas∆log(xt) Indice de produccion Mınerıa BCCH Produccion e Ingresos∆log(xt) Indice de exportacion Mınerıa BCCH Produccion e Ingresossin transformacion Expectativas inflacion: este mes BCCH Preciossin transformacion Expectativas inflacion: en 11 meses BCCH Preciossin transformacion Expectativas inflacion: en 23 meses BCCH Preciossin transformacion Expectativas TPM: siguiente reunion BCCH Precios∆log(xt) Precio del cobre (US/libra) BCCH Preciossin transformacion Expectativas TPM: en 11 meses BCCH Intereses y tipo de cambiosin transformacion Expectativas bonos (pesos): en 2 meses BCCH Intereses y tipo de cambiosin transformacion Expectativas bonos (pesos): en 11 meses BCCH Intereses y tipo de cambiosin transformacion Expectativas bonos (pesos): en 23 meses BCCH Intereses y tipo de cambio

Fuente: Elaboracion propia.

22

Page 26: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

Documentos de Trabajo

Banco Central de Chile

NÚMEROS ANTERIORES

La serie de Documentos de Trabajo en versión PDF

puede obtenerse gratis en la dirección electrónica:

www.bcentral.cl/esp/estpub/estudios/dtbc.

Existe la posibilidad de solicitar una copia impresa

con un costo de Ch$500 si es dentro de Chile y

US$12 si es fuera de Chile. Las solicitudes se

pueden hacer por fax: +56 2 26702231 o a través del

correo electrónico: [email protected].

Working Papers

Central Bank of Chile

PAST ISSUES

Working Papers in PDF format can be downloaded

free of charge from:

www.bcentral.cl/eng/stdpub/studies/workingpaper.

Printed versions can be ordered individually for

US$12 per copy (for order inside Chile the charge

is Ch$500.) Orders can be placed by fax: +56 2

26702231 or by email: [email protected].

DTBC – 859A note on currency-hedging

Rodrigo Alfaro, Natan Goldberger

DTBC – 858

Multimarket Contact in Banking Competition in The United States

David Coble

DTBC – 857

Immigration in Emerging Countries: A Macroeconomic Perspective

Agustín Arias, Juan Guerra-Salas

DTBC – 856

Saving Rates in Latin America: A Neoclassical Perspective

Andrés Fernández, Ayşe Imrohoroǧlu, Cesar Tamayo

DTBC – 855

Returns to Work Experience in Chile

Rosario Aldunate

Page 27: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

DTBC – 854

Hindsight vs. Real time measurement of the output gap: Implications for the Phillips

curve in the Chilean Case

Camila Figueroa, Jorge Fornero, Pablo García

DTBC – 853

Prudential Policies and Bailouts - A Delicate Interaction

Ernesto Pasten

DTBC – 852

Capital Controls and Firm Performance

Eugenia Andreasen, Sofia Bauducco, Evangelina Dardati

DTBC – 851

S&P 500 under Dynamic Gordon Model

Rodrigo Alfaro, Andrés Sagner

DTBC – 850

Inflation Globally

Òscar Jordà, Fernanda Nechio

DTBC – 849

Trade Exposure and the Evolution of Inflation Dynamics

Simon Gilchrist, Egon Zakrajsek

DTBC – 848

The link between labor cost and price inflation in the euro area

Elena Bobeica, Matteo Ciccarelli, Isabel Vansteenkiste

DTBC – 847

Trend, Seasonal, and Sectoral Inflation in the Euro Area

James H. Stock, Mark W. Watson

DTBC – 846

Has the U.S. Wage Phillips Curve Flattened? A Semi-Structural Exploration

Jordi Galí, Luca Gambetti

DTBC – 845

The "Supply-Side Origins" of U.S. Inflation

Bart Hobijn

Page 28: DOCUMENTOS DE TRABAJO · 2020. 1. 20. · pron osticos de in aci on m as precisos en los Estados Unidos. Las ganancias pueden ser tan grandes como 30 por ciento en t erminos de errores

DOCUMENTOS DE TRABAJO • Enero 2020