Factor de impacto

Sin algo que medir o cuantificar no se puede saber si está funcionando el negocio, la campaña, la política de estado, la revista. Así, uno se inventa indicadores más o menos arbitrarios para tener algo que medir y en lo cual basar evaluaciones y decisiones: el rating en radio y televisión, las calificaciones en la escuela... y luego sacraliza esos indicadores, lo que acarrea errores, injusticias (niño con malas calificaciones = niño tonto)... y trampas.

En la ciencia hay indicadores para evaluar 1) a los investigadores individuales (indicadores: número de artículos publicados, número de veces que se citan sus artículos, tipo de revista en que publica sus artículos); 2) instituciones y 3) revistas especializadas. Las revistas especializadas son el sistema circulatorio y la sangre de la ciencia. Ningún trabajo cuenta en ciencia si no está publicado en un medio académico profesional como las revistas especializadas, por eso es fundamental inventar una manera de evaluar el desempeño de éstas.

Desde 1975 el desempeño de las revistas científicas se evalúa por medio del factor de impacto. Para obtener su factor de impacto la revista tiene que estar incluida en una lista llamada Journal Citation Reports (hoy administrada por la empresa Thomson Reuters). La lista se publica cada año e incluye información como el área de especialidad de la revista, el número de artículos que publicó en un lapso de dos años y el número de veces que se citaron los artículos de esa revista (incluyendo citas en la misma revista). La lista de 2013, que se acaba de publicar, contiene datos de 10,853 revistas de 232 especialidades científicas (naturales y sociales). El factor de impacto de una revista se calcula dividiendo el número de citas de artículos de la revista en los últimos dos años entre el número de artículos publicados en ese lapso. Dicho de otro modo, es el promedio de citas por artículo para los últimos dos años. Un factor de impacto menor que 2 se considera bajo; las revistas más conocidas, como las semanales Science y Nature, tienen factores de impacto de alrededor de 30.

Este año 379 revistas recibieron su factor de impacto por primera vez y 37 fueron suprimidas de la lista por... bueno, en un momento veremos por qué.

El factor de impacto se ha vuelto muy importante desde que lo introdujo Eugene Garfield en 1963 porque se usa para tomar decisiones importantes: las bibliotecas universitarias y de centros de investigación lo usan para escoger revistas para suscribirse (y las suscripciones institucionales a estas revistas cuestan entre 5,000 y 20,000 dólares; nada que ver con la suscripción personal a Reader's Digest o Scientific American); los investigadores lo usan como guía para elegir qué revistas consultar y en cuáles publicar su trabajo; y los evaluadores lo usan para estimar el desempeño de investigadores e instituciones de investigación. Y, como cabía esperar, en vista de la importancia que ha cobrado el factor de impacto no faltan revistas que traten de sacar provecho indebido de los defectos de este sistema de evaluación.

Los defectos son muchos, como los de cualquier indicador. No todos los artículos científicos empiezan a generar citas con la misma prontitud: en física y matemáticas los primeros dos años de vida de un artículo generan entre 1 y 3 % de las citas; en biología y afines, en cambio, es entre 5 y 8%, por lo tanto no tiene sentido comparar el factor de impacto de una revista de física con el de una de biología, ni en general, entre disciplinas. Además, un simple promedio aritmético como el factor de impacto no describe la manera compleja en que un artículo va generando citas a través de los años, especialmente desde que todos los artículos científicos especializados están disponibles en internet. Quizá el defecto más grave del factor de impacto sea que las muchas citas no necesariamente implican gran mérito científico en un artículo especializado. Todavía se cuenta con horror y en susurros la historia del artículo "A Short History of SHELX", publicado en la revista Acta Chrystallographica A. Antes de 2009 el factor de impacto de esa revista había variado entre 1.5 y 2.5, pero ese año se disparó a 50 por culpa de un sólo artículo que obtuvo cerca de 6,000 citas en el periodo de cálculo. Ningún otro artículo de la revista para ese periodo fue citado más de 3 veces. El popularísimo artículo es una descripción del desarrollo de un conjunto de programas de computadora llamado SHELX que se usa mucho en cristalografía desde 1976.  El artículo quedaba que ni hecho a la medida para que lo citaran los científicos que usan estos socorridos programas. Así, sin ser ni una investigación original ni un descubrimiento revolucionario que trastoca una disciplina, esta simple monografía sin pretensiones incrementó más de 20 veces el factor de impacto de la revista.

Pese a todo esto y pese a que en los últimos años se ha disparado el número de nuevas medidas bibliométricas para la ciencia, el factor de impacto sigue siendo el rey, y se sigue usando bien y mal. Anthony van Raan, director del Centro de Estudios de la Ciencia y la Tecnología de la Universidad de Leiden, Holanda, dice: "Todo bibliotecario sabe que nunca se debe usar el factor de impacto para evaluar el desempeño de un artículo o de un individuo; es un pecado mortal". Si fuera así, entonces muchos evaluadores se van a ir al infierno, porque eso es precisamente lo que hacen. Y, en efecto, usar el factor de impacto de la revista en la que se publica un artículo como medida del mérito de ese artículo es tan absurdo como evaluar el desempeño de un estudiante por la calificación que obtuvo su estado en la prueba ENLACE.

Todo esto sugiere maneras de darle un empujoncito al factor de impacto de una revista científica especializada. He aquí varias, unas legítimas, otras francamente fraudulentas:

• Publicar preferentemente artículos del tipo conocido como review, monografías del estado de avance de una disciplina. Estos artículos son muy útiles para los lectores porque sirven como puerta de entrada a una disciplina. En vez de ir a buscar uno por uno los artículos importantes de esa disciplina, se lee el review y ya está uno al día. Este tipo de artículos genera muchas citas porque es más fácil citarlos que citar los artículos individuales que se reseñan. Publicar reviews no es trampa. Publicar un número excesivo de reviews es sospechoso.
• Evitar citar a la competencia
• Pubicar números "best-off", y el único truco verdaderamente tramposo:
• Obligar a los aspirantes a publicar en la revista a citar artículos de la misma revista --o por lo menos sugerírselo encarecidamente. 

Este año 37 revistas fueron suprimidas del Journal Citation Reports estimarse que incurrieron en fraudes para aumentar su factor de impacto. Estas revistas podrán volver a ingresar en dos años.