"Algunos colegas defienden la categoría de las Top5 argumentando que las normas editoriales y de evaluación que se aplican en ellas son mucho más estrictas y mejores en términos de calidad, lo que justifica su estatus especial"
Por Roberto Serrano. Nada es Gratis blog. La Top5itis es una enfermedad que afecta a la ciencia económica. Se refiere a la obsesión de los economistas académicos con las así llamadas revistas “Top5” (Top Five, como Los Jackson 5; las 5 mejores revistas en Economía), también conocidas por ser las revistas que publican los artículos que se consideran de “interés general” para la profesión. Este artículo (Serrano 2024), que se organiza como dos entradas para Nada es Gratis, ofrece algunas reflexiones sobre la noción de “interés general” en Economía, y discute brevemente algunas de las prácticas que se pueden observar con frecuencia en las “revistas Top 5” (o directamente ya, en “las Top5”). La segunda entrada se publicará la semana próxima, para dar tiempo al posible debate que surja de la lectura de esta primera entrada.
Soy un micro-teórico. Sin embargo, mi estrategia para combatir la top5itis no se ha basado en demostrar teoremas. Para seguir concienciando sobre el tema, primero adopté un enfoque satírico en Serrano (2018). Ahora intento ir un poco más allá, aunque seguramente en una dirección igual de inusual para las prácticas habituales de los economistas académicos.
De hecho, el enfoque que sigo ahora es casi el de un periodista. Mi estrategia en esta ocasión es dar cuenta de muchas conversaciones informales que he mantenido con colegas de economía y de otras disciplinas. Para dejar claro mi objetivo desde el principio, me gustaría poner por delante las súplicas articuladas con toda claridad en Akerlof (2020) y en la última sección de Heckman y Moktan (2020), en cuanto a que la profesión de los economistas académicos haría bien si abandona su obsesión por las cinco mejores revistas.
La idea es que, en lugar de dicha obsesión, el complejo proceso para la evaluación de los logros de un investigador debería adoptar un enfoque más integral: además de utilizar estadísticos de referencia (recuentos de las principales revistas de interés general, recuentos de las principales revistas de campo, número citas, medidas multidimensionales de impacto, etc.), debería tener en cuenta también la valoración justa del contenido real que se desarrolla en la investigación que se está evaluando. Una mayor flexibilidad en la evaluación, con el equilibrio adecuado de originalidad, calidad e impacto, parece razonable. Y que quede algo claro: no abogo por rebajar los estándares, sino por mejorarlos. Concretamente, la profesión debería liberarse de la esclavitud a una única señal rígida, cuya calidad se ha difuminado a lo largo de los años por diferentes razones.
Esto es así al menos a juzgar por las decenas de correos electrónicos de apoyo que recibí tras mi artículo "Top5itis" (Serrano, 2018). Está claro que este es un tema que perturba mucho a muchos colegas de la profesión. En los mencionados correos electrónicos y en otras conversaciones privadas que mantuve, se me transmitieron muchas opiniones que expresaban frustración por la obsesión de la profesión con las Top5. Entre algunos de los problemas importantes que persisten se menciona la dificultad que encuentran las ideas innovadoras por abrirse paso, la creación de clubes de economistas asociados a algunas de estas revistas -el factor de endogamia o incesto, como se denomina en Heckman et al. (2017) (o véase también en Heckman y Moktan, 2020)-, y una percepción de falta de imparcialidad y transparencia en la revisión de algunos trabajos presentados a las mejores revistas. El impresionante análisis empírico de Heckman y Moktan (2020) también cuestiona la conexión entre las publicaciones Top5 y su calidad -aproximada por las citas- e impacto.
Mi propósito con estas líneas es hacer algunos comentarios al efecto, compartir algunas opiniones que me han transmitido y que me parecen de interés tanto para la investigación en economía como en otras disciplinas afines, y desde luego, sugerir mejoras en los procesos de revisión. Aunque estas ideas pueden ser útiles en general, es decir, para cualquier revista de economía, aplicarán más directamente a las Top5. De hecho, voy a ilustrar algunos de mis comentarios con historias reales muy amablemente compartidas por algunos de mis colegas en cuanto a sus experiencias con los Top5 journals. Creo que dar a conocer estas historias a través de estos párrafos puede contribuir al bien común, del mismo modo que cualquier otra acción que contribuya a la equidad y la transparencia en la evaluación de la profesión y en los métodos de revisión por pares. Por supuesto, en todos los casos se mantendrá el anonimato de las partes implicadas. Mi objetivo no es ofender ni avergonzar a nadie, sino contribuir a mejorar nuestros métodos de evaluación de la producción científica.
La etiqueta de "interés general
Las revistas del "top5" también se conocen como revistas de "interés general". En nuestra disciplina ha habido tradicionalmente clasificaciones de revistas. Incluso antes de la era de la top5itis, algunas revistas se percibían como más prestigiosas, lo que se manifestaba en gran medida por sus elevadas tasas de rechazo. Antiguamente, cuando la economía no estaba tan desarrollada como ahora (en términos de volumen de producción científica), las revistas más exigentes solían publicar trabajos de "interés general", con la idea de que dichos trabajos pudieran atraer la atención de economistas muy diversos.
Sin embargo, mi impresión sobre el estado actual de nuestra disciplina es que básicamente no hay generalistas en la profesión. Es decir, quizá como evolución natural de un campo maduro, todos nos hemos convertido en especialistas. Desde este punto de vista, parece un poco extraño seguir insistiendo en la terminología de "interés general". No me opongo a mantener esa etiqueta, pero en mi opinión, si la economía quiere seguir insistiendo en ella, la historia del pensamiento económico debería enseñarse en todos los programas superiores, para que las nuevas generaciones de economistas mejor formados sean capaces de evaluar las contribuciones en su campo a la luz de un panorama más amplio. La historia del pensamiento ha estado ausente durante muchas décadas de casi todos los programas de postgrado en economía. Tal vez por ello, ahora mismo no se me ocurren muchos economistas a los que calificaría de "generalistas" en el sentido de que dominen muchos campos diferentes.
Una manera de subrayar este punto es que dudo que la mayoría de los teóricos lean los últimos artículos de "interés general" en econometría publicados por algunas de las cinco revistas más importantes, o que la mayoría de los macroeconomistas lean los artículos de "interés general" en teoría publicados en las cinco revistas más importantes, y así sucesivamente. La afirmación puede reforzarse probablemente para que se mantenga dentro de las áreas: por ejemplo, dudo que un teórico interesado en juegos repetidos lea con atención el último artículo sobre elección social publicado en una de las 5 mejores revistas, y viceversa. Por tanto, quizá lo que publican esas revistas es otra cosa; quizá publican artículos que, en opinión de los evaluadores y editor implicados, representan un avance importante en una literatura, incluso si esa literatura puede ser una que no sea de interés general.
Una posible manifestación de que los editores de las revistas top5 también son especialistas es que a menudo eligen a los evaluadores de la lista de referencias del artículo a evaluar. No es una mala práctica, por supuesto, pero en algunos casos puede dar lugar a un excesivo poder de monopolio concedido a algunos evaluadores. He oído a varios colegas cómo, en algunos de sus envíos a estas revistas, se han enfrentado al mismo evaluador en dos, a veces tres de ellas, lo que en sí mismo crea una consecuencia indeseable. En mi opinión, no se debe conceder a una sola persona el poder de monopolio sobre el destino de un trabajo de investigación, y depender de un conjunto tan reducido de individuos parece especialmente extraño cuando el listón que se intenta superar es el del "interés general". Por cierto, muchas de estas historias me han llegado de académicos más noveles de la profesión, que en muchos casos están empezando su carrera. Dados los perversos incentivos creados por la top5itis, no es de extrañar que estos colegas sigan intentando agotar la lista completa de revistas top5, quizá bajo la creencia de que no hay vida fuera de ese reducido conjunto de revistas. Esta es, sin duda, otra consecuencia negativa de la enfermedad, ya que publicar en buenas revistas alternativas, como las muy exigentes revistas top del área del trabajo, es sin duda mejor que perder varios años con experiencias negativas en el Top5. Sin embargo, dados los incentivos actuales, dar el salto a centrarse en las revistas de área constituye una decisión difícil para todos aquellos que sufren las consecuencias de la top5itis. Y es que las creencias ex ante y ex post pueden ser muy diferentes a la hora de considerar las perspectivas de publicación de un determinado artículo.
El proceso de evaluación
Algunos colegas defienden la categoría de las Top5 argumentando que las normas editoriales y de evaluación que se aplican en ellas son mucho más estrictas y mejores en términos de calidad, lo que justifica su estatus especial. Aunque es posible que esto sea cierto – que muchas decisiones editoriales en las revistas Top5 son de alta calidad y los evaluadores exigen un listón más alto de significación para un artículo-, un abundante número de pruebas anecdóticas sugiere que en muchas ocasiones eso de la aplicación de estándares de calidad más altos no funciona bien. Permítanme señalar primero una tendencia peligrosa que he encontrado, otra consecuencia de la top5itis. Bajo la creencia de que una revista fuera del Top5 ya es de calidad inferior, algunos colegas me han confesado que no se esfuerzan demasiado cuando hacen evaluaciones para esas revistas. Este es un problema grave, es decir, el mito de las revistas del Top5 asociado a la top5itis nunca debería ser un argumento para justificar una evaluación descuidada para otras revistas. Una evaluación chapucera nunca está justificada y, de hecho, la buena evaluación debería ser entendida por todos nosotros como una parte esencial de la disciplina, ya que es la revisión por pares de alta calidad la clave para evaluar nuestra producción científica. Conviene citar en este punto el excelente y muy reputado artículo de Thomson (2011) sobre sugerencias para un buen proceso de evaluación.
En particular, lo que no parece aceptable es la práctica de los informes de evaluación de una sola línea o poco más, redactados por algunos evaluadores de revistas top5. Informes en los que lo único que se dice es que "el artículo objeto de examen no pertenece al Top5". Me preocupa que esta práctica haya sido fomentada en ocasiones por las propias revistas top5. Es decir, en mi opinión, los evaluadores no deberían rechazar un artículo porque esa no es su función. Después de que el editor de la revista haya decidido solicitar la opinión de revisores expertos, debe entenderse que ha decidido no rechazar el artículo y, por tanto, lo que el editor necesita en ese momento es un análisis y una evaluación razonablemente cuidadosos de la contribución del artículo realizada por colegas en los que confía. Y aunque dicho informe podría basarse en la afirmación "este artículo no tiene suficiente interés general", no creo que deba utilizarse como una afirmación infalible en sí misma. Debe ser razonada. Por ejemplo, si el resultado principal del artículo hace suposiciones indebidamente restrictivas sobre las preferencias en un modelo de emparejamiento, o suposiciones inverosímiles sobre la trayectoria de la política monetaria -y aquí, por supuesto, siempre hay lugar para cierta subjetividad en las evaluaciones- se puede argumentar por qué la etiqueta de "ausencia de interés general" podría estar justificada en ese caso.
La bola de cristal
La tarea de cualquier editor es exigente e importante. Se trata de decidir si una nueva investigación merece ser añadida al stock de conocimiento publicado. La tarea del editor de una Top5 es si cabe más importante y sin lugar a duda mucho más exigente dado el enorme impacto de sus decisiones. Imaginen que el editor de una de estas revistas rechaza un artículo que conecta la Literatura A con la Literatura B. Ella o Él no ve la relevancia de la conexión, o al menos no al nivel de ser considerada como de interés general. Mientras que el editor no sea conocido justamente por haber contribuido a la literatura A o a la literatura B, tal juicio puede verse como justo, más aún en la medida que los editores de estas revistas suelen ser prestigiosos académicos que tienen todo derecho a decidir la dirección editorial de la revista de la que son editores. El problema es si el editor va más allá de su derecho y escribe: “No preveo que la conexión que se propone pueda dar lugar a contribuciones importantes en las próximas décadas”. El uso de este tipo de bolas de cristal no debería formar parte de una buena labor editorial, puesto que en el mejor de los casos sólo puede catalogarse de práctica dudosa. Esto es, un buen editor, que ya de por sí se enfrenta a una difícil tarea, debería evitar cualquier tipo de prácticas que se asemejen a la adivinación.
El problema se agrava cuando todos estos procesos, carentes de rigor o más o menos superficiales, se contagian desde arriba, desde los comités editoriales de las revistas y a través de comportamientos poco sanos. Pero dejemos este asunto para la segunda parte del post, porque, además, este tipo de complicaciones pueden estar también relacionadas con algunos patrones que se observan a nuestro alrededor en otras disciplinas científicas.
(*) Traducido y adaptado a NeG por Luis Puch a partir de una primera versión generada automáticamente por DeepL.com
Referencias
Akerlof, G. A. (2020), “Sins of Omission and the Practice of Economics,” Journal of economic Literature 58, 405-418.
Heckman, J. and S. Moktan (2020), “Publishing and Promotion in Economics: The Tyranny of the Top5,” Journal of economic Literature 58, 419-470.
Heckman, J., Akerlof, G., Deaton, A., Fudenberg, D., and Hansen, L. (2017), “Publishing and Promotion in Economics: The Curse of the Top5,” discussion session at the American Economic Association annual meetings, https://www.aeaweb.org/webcasts/2017/curse.php
Serrano, R. (2018), “Top5itis,” Economics Bulletin 38, No. 2, p. A2.
Serrano, R. (2024), “Top5itis Revisited: Some Thoughts on the Notion of General Interest in Economics,” Ensayos, Revista de Economía, Vol. 43, no. 1, January 2024
Thomson, W. (2011), A Guide for the Young Economist, 2nd edition, M.I.T. Press, Cambridge, MA.
No hay comentarios:
Publicar un comentario