Las cuatro falacias sobre la evaluación cuantitativa de las políticas públicas

De Antonia Díaz (@AntoniaDiazRod) y Pedro Rey Biel (@pedroreybiel). Nada es Gratis blog.- Entre las pocas cosas positivas que nos ha traído la pandemia se encuentra un renovado consenso sobre la necesidad de estudiar cuidadosamente las políticas públicas que se adopten.

 Haciendo de la necesidad virtud, la constatación de las urgencias que nos vienen y la escasez de recursos disponibles ha hecho a los responsables políticos un poco más conscientes de la necesidad de evaluar, de acuerdo con criterios científicos contrastados, la efectividad y las consecuencias agregadas y distributivas de las medidas que se pretenda llevar a cabo. Algunos ejemplos de estos nuevos aires los hemos tenido en la llamada a expertos, no convocados por su afiliación política sino por sus conocimientos y prestigio, en las diversas Comisiones para la Reconstrucción que se han creado en el Congreso y en otros grupos de asesoramiento. De forma similar, la aprobación del ingreso mínimo vital (IMV), a la que finalmente ningún partido político se opuso, se ha realizado basándose en la evaluación de experiencias pasadas y con la promesa de José Luis Escrivá, actual Ministro de Seguridad Social tras su paso por la AiReF (otro símbolo del interés por las políticas basadas en la evidencia), de que sería “evaluada antes, durante y después de su despliegue”. Estos vientos favorables a la evaluación vienen, además, propiciados por el empuje, cada vez más numeroso, de diversas instituciones, administrativas, académicas y de pura consultoría, que han presionado para que se usen las mejores metodologías existentes en la evaluación de políticas.Airef

En este clima positivo, sorprendió esta semana que el informe inicial de la llamada Sociedad Española de Evaluación de Políticas Públicas, remitido a una de las Comisiones de Reconstrucción del Congreso, se pronunciara en los siguientes términos:

El clamor en diversos medios y redes sociales de expertos de referencia en el campo de la evaluación, llevó a una sentida rectificación pública posterior y a que el informe final enviado al Congreso no contenga afirmaciones tan atrevidas. Más allá de la anécdota de que una asociación se sienta obligada a pedir disculpas, el informe, en su versión inicial, manda un mensaje erróneo sobre el papel y la utilidad de lo que llama “metodologías cuantitativas y experimentales” y en Economía llamamos “métodos de evaluación de políticas económicas”.

¿Se imagina usted que le recetaran una dosis de un medicamento sin que su médico supiera qué dosis exacta es recomendable dada la gravedad de su enfermedad? ¿Se imagina que usted accediera a recibir un tratamiento experimental y su médico no vigilara de cerca el efecto de esa medicina sobre parámetros de salud tan medibles como un análisis de sangre, su tensión arterial o masa corporal? ¿Se imagina que su médico, en vez de tomarle la temperatura, le preguntara por qué se sintió impelido a acudir a su consulta y le pidiera que escogiera el tratamiento con el que se sentiría más cómodo? Lo más seguro es que le pareciera una burla o que. simplemente, el médico no estuviera haciendo su trabajo. Pues esto lo que se hace cuando se lleva a cabo una política económica sin un estudio cuantitativo previo de sus probables efectos y un estudio a posteriori de su resultado.

Distingamos cuatro afirmaciones erróneas en el enunciado de la Sociedad y pasemos a refutarlas:

Las metodologías cuantitativas cuentan y deben contar con la participación ciudadana, tanto para definir las cuestiones que se van a evaluar, como para concretar los indicadores que se utilizarán para medir su éxito, que pueden ser tan amplias y tan subjetivas, aunque medibles, como uno quiera.

La transparencia y la rendición de cuentas se facilitan, en lugar de dificultarse, cuanto más claras, objetivas y medibles sean las variables de estudio. Medir no significa reducir la realidad social a simples números, siempre que se genere un debate lo suficientemente amplio sobre todas las cosas que se quieren medir. El debate claro sobre la elección de indicadores y sobre el conjunto de poblaciones y fenómenos que se deben medir puede ser más inclusivo y transparente si se explicita lo que se mide.

El desarrollo de técnicas cuantitativas, como la estimación estructural o la experimentación, se produce precisamente, para acercarse lo más posible a establecer causalidad entre variables, en lugar de razonamientos circulares en los que causas y efectos se confunden.

La posibilidad de manipulación de datos “con programas informáticos”, puede ser fácilmente corregida con datos contrastables y verificables gracias a la replicabilidad que permite tener una metodología precisa y clara.

Desarrollemos un poco más estas ideas. Cuando pedimos que las políticas públicas se evalúen cuantitativamente estamos pidiendo que el proyecto de ley o borrador venga acompañado de un documento donde se explique el probable impacto de esa medida, qué variables y parámetros se escogen para medir sus efectos, donde se muestre la metodología y los datos utilizados para que se pueda revisar la fiabilidad del estudio y contrastar sus conclusiones con las que se obtengan en estudios alternativos. Por ejemplo, la propuesta “Fair Taxation of the Digital Economy” es una iniciativa de la Comisión Europea para gravar las empresas del sector digital. Ponemos este ejemplo porque este impuesto se está discutiendo actualmente como una forma de financiar el Fondo de Recuperación (del que se habló aquí) y, por tanto, deberíamos empezar a estimar qué parte de esos ingresos se podría recaudar en España. En la web donde aparece la propuesta legislativa hay un enlace llamado “impact assesment” que lleva a un documento de trabajo que evalúa su potencial recaudatorio, utilizando un modelo de equilibrio general computable conocido como CORTAX. Los modelos multisectoriales de equilibrio general computable tienen una larga tradición en Economía como herramienta para estudiar los efectos agregados de políticas macroeconómicas (es decir, el impacto sobre el PIB agregado y los precios). 

Estos modelos (CGE) han tenido una larga evolución hasta llegar a los Dynamic Stochastic General Equilibrium Models o, de forma más genérica, a los “Applied General Equilibrium Models”, como prefiere llamarlos Edward C. Prescott. En España tenemos un ejemplo temprano de CGE en el artículo de uno de nuestros directores de tesis Tim Kehoe donde, con profesores de la UAB, estudiaba el efecto de la reforma impositiva de 1986 (que Javier Ferri menciona aquí). Esta tradición se mantuvo con el modelo REMS, usado en los Ministerios de Economía y Hacienda, en cuya elaboración intervinieron, por ejemplo, Javier Ferri y Luis Puch, y que actualmente ha mutado al modelo EREMS, usado para evaluar ex ante el último Programa de Estabilidad.

Además de las políticas macro hay otras donde interesa conocer no solo el efecto de equilibrio general sino sobre el comportamiento de los individuos. Se trata, por ejemplo, de políticas que buscan eliminar la posibilidad de trampas de pobreza sin matar los incentivos individuales y que, generalmente, afectan a la oferta laboral y a la inversión en educación. Por eso son medidas muy especificas para cada tipo de perceptor. Hay dos formas de operar en la literatura. En la primera se explotan enormes bases de datos usando modelos estructurales. El máximo exponente es el ganador del Premio Nobel Angus Deaton. En la segunda se usa la metodología de experimentos controlados aleatorios. Ejemplo de esta metodología son los galardonados Banerjee, Duflo y Kremer. De todas las metodologías usadas en Economía esta última es la más cercana al ensayo clínico propio de las Ciencias de la Salud.

Los ejemplos que hemos dado corresponden a lo que llamamos evaluación de políticas ex ante. Por su propia naturaleza (ex ante queremos predecir) o se hacen supuestos de causalidad (la política A afecta al comportamiento del grupo B) y eso se inserta en un modelo estructural o se hacen experimentos controlados aleatorios. La cuestión crucial para esta metodología es que sea replicable. Y esto debe ser así porque hay que controlar y contrastar. El método científico debe soportar el máximo de luz y taquígrafos, o no es científico.

Pues bien, además de la evaluación de políticas ex ante hay que hacer evaluación ex post. Porque podemos equivocarnos y hay que aprender de los errores (máxime cuando los errores atañen al dinero del contribuyente y a las vidas de muchas personas). Y, para eso, hay que saber qué fue un error y qué fue un acierto. Por eso hay que hacer evaluación a posteriori. Los macroeconomistas nos hartamos a hacerla. Ponga usted en Google Académico: Size of fiscal multipliers — que es una forma técnica de decir “efecto total sobre el PIB y nivel de precios de un cambio en el gasto público y/o presión impositiva” — y aparecerán los enlaces de miles de artículos científicos. Pero también es posible evaluar a posteriori los efectos microeconómicos. De hecho, los microeconómetras casi se han apropiado del término policy evaluation para referirse a las técnicas usadas para cuantificar los efectos de políticas. También en este campo hay grandes aportaciones metodológicas que han merecido un Premio Nobel, como es el caso de James Heckman.

Citamos a todos estos galardonados con Premios Nobel no porque queramos ponernos campanudos. Ni siquiera porque todas las metodologías indicadas nos parezcan igualmente útiles (nótese que quienes escriben este post son una macroeconomista acérrima y un experimentalista) sino porque son contrastables, aplican el método científico y, al usarse masivamente por economistas en todo el mundo, tenemos una idea muy clara de su fiabilidad.

El método científico es particularmente deseable cuando se trata del dinero público y del bienestar de todos, es la expresión máxima de la transparencia exigible a todo organismo público. Por eso toda propuesta de política debería venir acompañada de su evaluación cuantitativa previa. No solo eso, sino que la cuantificación de efectos es el mejor antídoto contra los ardores partidistas. Cuando no hay magnitudes contrastables sobre la mesa las personas tendemos a hablar sobre nuestro imaginario (y nosotros podemos entender que el imaginario de unos resulte molestísimo a otros), pero es desgraciado que eso ocurra en el Parlamento. Desgraciado para los ciudadanos, claro está, además de un despilfarro de recursos. El éxito del Ingreso Mínimo Vital, aprobado sin oposición en el Parlamento, no se debe a que, repentinamente, todo el arco parlamentario se haya compadecido de la suerte de miles de familias en situación crítica. Se debe a que, quienes consideran que es un deber público asistir a esas familias, han elaborado una propuesta evaluada cuantitativamente y han puesto los números sobre la mesa. Muy probablemente la evaluación cuantitativa no solo mejorará nuestra política económica sino nuestra vida pública.

Esta defensa de la evaluación cuantitativa de políticas no ignora la existencia de técnicas cualitativas, que en muchos casos ya se están combinando con las cuantitativas para crear modelos mixtos que no excluyen ninguna metodología. La importancia de cuestiones sociales, no tan fácilmente cuantificables, supone un reto para estimular la traslación cualitativa de una realidad compleja a indicadores medibles, pero la dificultad de combinar ambas cosas no debe llevar ni a medir sólo aquella variable que es sencilla ni a perdernos en valoraciones cualitativas que evitan la concreción. Dejémonos de debates metodológicos vacíos, y centrémonos en encontrar y evaluar las mejores políticas para la situación que nos viene.