En el ámbito académico, especialmente a partir de los años noventa, con la asociación financiamiento y desempeño, hemos visto formarse un creciente, complejo y variable sistema de evaluación. El acento generalmente se ha puesto en los propósitos que se persiguen, en los resultados que se obtienen —sean positivos o negativos—, en las innumerables instancias que se han creado, o bien, en las consecuencias que se han generado. Pocas veces, sin embargo, se repara en una de las bases de funcionamiento de tan sofisticado sistema: la revisión por pares.

Hace algunos años, cuando se cuestionó al titular del Conacyt de favorecer financieramente cierto número y tipo de proyectos. Su respuesta fue lacónica: son los mismos investigadores quienes dictaminan y aprueban los proyectos; Conacyt solamente distribuye los recursos. Es decir, son los pares de la misma disciplina quienes juzgan la calidad o el mérito de las solicitudes de financiamiento.

En principio tenía razón, al menos formalmente, Conacyt envía los protocolos de investigación a su base de dictaminadores que está formado, precisamente, por los integrantes del Sistema Nacional de Investigadores (SNI) y ellos indican si se aprueba o no el proyecto.

El SNI funciona con base en comisiones dictaminadoras por área de conocimiento, las cuales deciden periódicamente el ingreso de nuevos solicitantes, la promoción, el descenso o salida de los integrantes. Las comisiones, nuevamente los pares, están formadas por miembros del área de conocimiento del mismo SNI, y particularmente por quienes han alcanzado el nivel más alto, o sea, los niveles 2 o 3 del sistema. Es decir, una cuarta parte de los poco más 13 mil miembros del SNI.

Si vamos al interior de las instituciones para examinar las comisiones encargadas de juzgar quiénes podrán recibir incentivos a la productividad y qué monto otorgarles, veremos que, otra vez, estarán formadas por miembros que desempeñan una función similar o superior a la que se evaluará, tales integrantes pueden ser externos e internos a la institución de la cual se trate, pero a menudo la mayoría son integrantes del SNI.

Tal vez la revisión por pares es más visible en los procedimientos para publicación en determinados medios o en las solicitudes de participación en encuentros académicos. En los primeros, especialmente en las revistas y editoriales más prestigiadas, antes de que un artículo sea publicado debe ser arbitrado, es decir, juzgado por expertos en el tema de referencia del texto.

Las modalidades del arbitraje y las características del dictamen pueden ser muy variables, pero lo que generalmente se intenta garantizar es la imparcialidad y capacidad del dictaminador, pues de ello dependerá si se publica o no el texto. La admisión en encuentros académicos sigue un esquema similar a las publicaciones. Lo que cabe subrayar es que en ambos casos la revisión por pares es más visible porque se identifican claramente el medio, o la organización, y la lista de dictaminadores. Tampoco es raro encontrar miembros del SNI en la mayoría de comités o consejos.

El asunto es que generalmente sobre la base de los resultados de la revisión por pares, un procedimiento directo, usual, consolidado y relativamente respetado en el ámbito académico, se practica otro nivel de evaluación. Una especie de extensión de la revisión por pares que no es exclusivo de México (David H. Guston. “The Expanding Role of Peer Review Processes in the United States”). En este segundo nivel está la evaluación de las instituciones, la distribución de fondos públicos para investigación o el reconocimiento o no de ciertas organizaciones y medios de publicación. Todas ellas se fundan en factores previamente evaluados por pares.

La revisión por pares tiene sus fallas, entre las más conocidas está la lentitud con la que opera, puesto que en ocasiones requiere varias revisiones, se trata de una actividad no remunerada —aunque tampoco es completamente altruista— y generalmente sujeta a la disposición del revisor. Es costosa en términos del tiempo de trabajo que emplea de quienes se ocupan de la evaluación y, cómo se refuerza a sí misma, es contraria a la innovación. No es infalible, como lo muestran los numerosos fraudes cometidos en publicaciones más (o menos) prestigiadas o las variadas inconformidades de quienes reciben una calificación negativa. Y, sin embargo, pese a todas sus deficiencias, la revisión por pares, hasta ahora, es el mejor mecanismo de evaluación. La pregunta es si lo sigue siendo en una situación extendida y, como en el caso de México, en una reducida comunidad de revisores.