En el ámbito científico y universitario mexicano iniciamos la transición hacia los sistemas de retribución económica basados en el desempeño individual (pay for performance) con la creación del Sistema Nacional de Investigadores (SNI) en 1984. Este obedecía, según sus promotores, al propósito de aliviar el decaimiento de los ingresos de los académicos dedicados a la investigación, y facilitar su retención en las universidades y los centros de investigación del país.

Se supuso que SNI sería temporal, mientras salíamos de la crisis. Pero ocurrió lo contrario: el sistema se ha desenvuelto como una de las políticas científicas de mayor continuidad e impacto al grado en que hoy, formar parte del mismo representa la puerta de ingreso a la comunidad científica y el principal canal de movilidad en la ruta del prestigio académico.

Muy pronto la fórmula del SNI sería replicada, por supuesto con variantes, en los programas universitarios de estímulo a la productividad académica. Inicialmente en la Universidad Autónoma Metropolitana y en la Nacional Autónoma de México, más adelante en el conjunto de universidades públicas de los estados, y al cabo en el amplio y diverso conglomerado de instituciones públicas de educación superior del país, incluso en las escuelas normales.

Dos problemas: Primero ¿cómo medir la productividad científica?, muy fácil, mediante las publicaciones. Pero ¿cómo distinguir la calidad en ellas?, no es tan sencillo, y el tema ha ocupado la atención, por años, de los grupos encargados de la gestión del sistema. Segundo ¿de qué manera ponderar las tareas de docencia y difusión académica?, más complicado aún, porque fuera de ciertos conteos básicos (asignaturas impartidas, tesis dirigidas, tutorías comprobadas), la aproximación a la calidad de esas tareas es poco menos que imposible.

En el caso de la productividad (cantidad y calidad) de la investigación, a medida en que se ha incrementado el volumen de solicitudes de ingreso y promoción al SNI y a los sistemas de estímulo que consideran esa variable, se ha ido adoptando el criterio de utilizar métricas impacto de las publicaciones. En parte porque las herramientas internacionales de registro y difusión (básicamente los índices Journal Citation Reports de Thomson Reuters y Scopus de Elsevier) han alcanzado un considerable nivel de desarrollo, en parte porque así se hace en los países desarrollados, y en (gran) parte porque se supone que los indicadores de impacto resuelven los dilemas de objetividad en los juicios de calidad.

La convergencia en torno a la evaluación por bibliometría no está, ni mucho menos, exenta de problemas. Quizás el principal consiste en generalizar la publicación de artículos en revistas indexadas como la más valiosa, en algunas áreas la única, forma de difusión de la producción académica. ¿Y los libros, y los capítulos, y las ponencias en memorias?, cuentan menos, y como van las cosas llegará el día en que no cuenten. Algo de ello está retratado en el imprescindible libro de James Hynes, Publish and Perish: Three Tales of Tenure and Terror, publicado en 1997 por la editorial Picador.

Del lado de la academia no han faltado críticas a esta tendencia, más bien al contrario. Una de las más conocidas e influyentes es la articulada en torno a la denominada “Declaración de San Francisco de Evaluación de la Investigación”, también conocida como DORA, por sus siglas en inglés.

La declaración DORA, dada a conocer en 2012 por un grupo de editores y directores de revistas académicas, se inicia con una tesis muy clara: “Hay una necesidad apremiante de mejorar la forma en que los resultados de la investigación científica son evaluados por las agencias de financiación, instituciones académicas y otros.” El diagnóstico que incluye la declaración destaca cuatro problemas centrales: a) la distribución de citas en revistas está muy sesgada; b) las propiedades del índice de impacto son específicas del campo científico considerado; c) los índices de impacto se pueden manipular por la política editorial; y d) los datos para el cálculo de los índices de impacto no son transparentes ni están a disposición del público.

El documento de San Francisco, que hasta la fecha ha recogido casi 13 mil firmas individuales y más de 850 firmas de organizaciones académicas y editoriales de todo el mundo, postula un conjunto de recomendaciones específicas dirigidas a las instituciones académicas, los organismos de financiamiento de la actividad científica, las casas editoras, los investigadores y las organizaciones que proveen las métricas. La lista es larga pero, según se aclara en el texto, hay tres temas trasversales y estratégicos. Son los siguientes: La necesidad de eliminar el uso de métricas basadas en revistas, tales como índice de impacto de revistas, en el financiamiento, en los nombramientos, y en las consideraciones de promoción. La necesidad de evaluar la investigación por sus propios méritos y no en base a la revista en la que se publica la investigación. La necesidad de aprovechar las oportunidades que ofrece la publicación en línea y la exploración de nuevos indicadores de importancia e impacto.

El tema merece atención, y la ha tenido en el mundo académico del Norte. Ojalá la discusión se abra pronto en nuestro contexto.