El mes pasado, en una entrevista publicada en Materia, decía el químico Avelino Corma: “A los científicos se nos está continuamente evaluando y eso la sociedad no lo sabe. (…) tenemos más exámenes que los políticos.” Y me parece perfecto que se nos evalúe, faltaría más, para eso vivimos del erario público (lo que no sé es porque no se evalúa a otros, pero eso es otro asunto). El problema surge cuando la evaluación es capaz de distorsionar la actividad científica, como voy a describir a continuación.
¿Cómo se evalúa el trabajo de un científico? Cuando hablamos de investigación, hay que ir a los resultados de la misma, y eso, típicamente, se traduce en analizar las publicaciones del investigador, si su trabajo tiene un corte más teórico, o sus patentes, si es más aplicado (o ambas, si el evaluado es muy bueno). Cómo yo soy un teórico, y no sé mucho de patentes y no tengo ninguna, voy a hablar de las publicaciones.
¿Cómo funciona esto de las publicaciones? Cuando un científico cree que ha entendido suficientemente bien un problema, escribe un informe explicando sus resultados y aportando evidencia de lo que dice, y lo envía a una revista especializada para darle difusión. Esta revista, a su vez, envía el trabajo a otros científicos que, de manera anónima, informan sobre la calidad del trabajo presentado en el artículo, y recomiendan que se publique, que se modifique, o que se rechace. Si es modificado, vuelve a los mismos revisores que decidirán si la nueva versión es correcta o no, y así (normalmente y depende de los campos entre una y cuatro veces) hasta que se acepte o se rechace definitivamente. Hasta aquí, creo que todo parece bastante sencillo.
El problema viene cuando nos damos cuenta de que el artículo que ha escrito un científico es, casi siempre, un “ladrillo” que entienden él y los pocos o muchos colegas que trabajan en cosas afines. Bueno, eso no está mal; al fin y al cabo no se puede entender de todo, y lo importante es que los del campo entiendan los resultados y sus implicaciones. Pero ahora decidimos que vamos a evaluar al investigador en cuestión. Nos vamos a sus trabajos (que en una vida de, digamos veinte años de esfuerzo, pueden ser entre unas pocas decenas y algunos centenares, en función del campo) y no tenemos tiempo de leerlos ni, de hecho, los entenderíamos si los leyeramos.
¿Y como se resuelve esto? Pues se recurre a indicadores numéricos, que deberían ser ayudas a la evaluación pero que casi siempre resultan determinantes para la misma. Dos son los más típicos: las citas de otros trabajos a los del investigador evaluado, y el parámetro de impacto de las revistas donde publica. Este parámetro se define, aproximadamente y para entendernos, como el número de citas medio de un artículo publicado en una revista dada, y es una indicación del prestigio o de la importancia del medio, de la misma manera que las citas de los artículos reflejan la importancia o relevancia de los resultados obtenidos.
Centrándonos en el parámetro de impacto, la empresa Thomson-Reuters calcula este número para la gran mayoría de revistas científicas (y las que no están ahí, directamente, no cuentan). Con este indicador, las revistas multidisciplinares (es decir, que publican artículos de cualquier disciplina) más prestigiosas son las que salen a menudo en los periódicos: Science, Nature y Proceedings of the National Academy of Sciences of the USA (PNAS). Luego, en cada campo, también hay revistas estrella, como Econometrica en economía, o Physical Review Letters en Física. Con estos datos, muy a menudo las evaluaciones se limitan a decir que cuando un científico publica a menudo en este tipo de revistas, consideramos que es bueno, y si no, menos bueno. ¿Sorprende? Pues es lo que hay y, contra lo que cabría suponer, no funciona tan mal como parecería.
Pero tampoco tan bien como debería: este sistema de evaluación tiene muchos problemas. Así, tan sólo en los últimos días he visto varios posts en blogs científicos tratando este asunto. Así, Francis (th)E mule hablaba de las manipulaciones en el cálculo del parámetro de impacto; J. M. López Nicolás trataba la falta de responsabilidad de las revistas a la hora de publicar trabajos fraudulentos o no difundir los correctos, y el cuaderno Zientziakultura se ocupaba del peregrinar de los artículos rechazados de revista en revista y su relación con la calidad de la investigación. Recomiendo vivamente estos trabajos al lector si quiere entender un poco más en profundidad las dificultades de evaluar la ciencia.
Dentro de este marco, el tema de este post no son esos problemas, sino las consecuencias de este sistema de evaluación, y en concreto, una: el impacto del papel couché, de las llamadas “revistas top” generalistas (como las citadas Science, Nature o PNAS) en qué ciencia hacemos. Dado que publicar en esas revistas mejora considerablemente la valoración del científico, muchos intentamos con mayor o menor insistencia publicar en ellas. Pero claro, estas revistas, para mantener su prestigio, rechazan la mayor parte de los artículos que reciben (típicamente, aceptan menos del 10% de lo que les llega). Como la gran mayoría de esos trabajos son técnicamente correctos, el argumento para rechazarlos es otro: literalmente, “no son suficientemente importantes”. De hecho, esos rechazos los hacen unos editores, profesionales de la revista, muchos científicos de origen pero ya desligados de la investigación directa, que juzgan los trabajos no por su validez, sino por lo “sexy” que resultan. Y deciden si podría ser interesante (o sea, si vendería) publicarlo, y sólo entonces lo envían a revisores científicos siguiendo el proceso descrito arriba. Como anécdota, contaré una de mis experiencias personales: una de esas revistas rechazó un trabajo en el que yo era co-autor (que sólo escribir en el formato de comunicación breve que exige la revista nos llevó un mes) en 45 minutos. Sí, como suena: un editor recibió el trabajo, lo miró, decidió que no le interesaba, y lo devolvió con un email de rechazo, en 45 minutos. Sin comentarios.
Esto, para mí, es una situación muy grave: las decisiones de los editores de estas revistas están condicionando en qué se investiga. Y es que el tema es uno de los factores más importantes para esos editores. Hay muchos temas muy importantes tanto de investigación básica como aplicada que jamás se publican en las revistas top. Y otros temas se vuelven importantes a raíz de que aparecen artículos en esas revistas. Pero no hay un criterio científico detrás, sino un criterio comercial. Y como queremos publicar en esas revistas, nos metemos en temas que gustan ahí, condicionando de esa manera las direcciones de avance de la ciencia. Por otra parte, esto que estoy contando ocurre con las grandes publicaciones multidisciplinares, pero en cada campo hay algunas revistas influyentes, las top de ese campo, cuyo efecto es el mismo, además de fijar fronteras arbitrarias que van contra el espíritu interdisciplinar que todos ponderamos tanto (Physical Review Letters rechazó un trabajo en el que yo participaba, de nuevo sin enviarlo a revisores, con el único argumento de que “no es física”, por ejemplo).
Para complementar esta reflexión, diré que en un artículo titulado “Deep Impact: Unintended consequences of journal rank“, B. Brembs y M. Munafo estudian el efecto del factor de impacto en la ciencia y muestran que la posición de una revista en el ránking predice sólo débil o moderadamente el impacto de lo que publica, y moderada o fuertemente la posibilidad de que lo publicado sea fraudulento o erróneo. Es decir, ese criterio de importancia con el que eligen los editores no selecciona bien, pero además, esas revistas tienen más artículos equivocados o engañosos que otras. En su argumento, el factor de impacto no es el culpable, sino cualquier parámetro que clasifique a las revistas por orden de importancia, porque esa ordenación distorsiona la correcta difusión de la ciencia. Estudian además las consecuencias a largo plazo de la clasificación de las revistas (entre las que incluyen la que yo he discutido aquí, que ellos llaman “presiones sistémicas sobre los autores”), y llegan a decir: “(…) instituciones de todo el mundo han contratado y promocionado a científicos que sobresalen en vender su trabajo en las revistas top, pero que no son necesariamente igual de buenos en investigar.” ¿Y qué alternativa proponen? “Abandonar por completo las revistas, en favor de un sistema de comunicación científica basado en bibliotecas (…) equipadas con la moderna tecnología de la información para mejorar enormemente el filtrado, ordenado y la función de descubrimiento del sistema actual”. Nada más y nada menos; ahora, a ver quién le pone el cascabel al gato.
Claro que todo esto tiene una desventaja: que al final, si esto es así, tendremos que leernos los trabajos de la gente para evaluarlos, ¡menudo desastre!