La proliferación internacional de rankings de universidades no ha pasado inadvertida a los especialistas en educación superior, como tampoco a los organismos multilaterales competentes en la materia. La bibliografía analítica y crítica sobre el tema ya es abundante y se prefigura una tendencia a incorporar su estudio en el campo de la evaluación educativa. Entre las apreciaciones críticas del fenómeno cabe distinguir aquellas que se ocupan de los aspectos metodológicos y técnicos propios de la elaboración de indicadores y resultados, y las que analizan los impactos económicos, sociales, políticos y culturales de la difusión de este procedimiento de clasificación.

En general, la crítica especializada suele resaltar debilidades tales como las dificultades de comparación entre los distintos rankings existentes, la falta de transparencia en los procedimientos de validación de datos y, en algunos casos, la inconsistencia metodológica que resulta de combinar indicadores de prestigio (subjetivos) con variables objetivas de insumo-producto.

Algunos autores han comprobado la escasa correlación entre los resultados que ofrecen, por ejemplo, los principales rankings globales y sugerido metodologías alternativas (véase Joao Steiner, World University Rankings, A Principal Component Analysis). La reciente difusión de un artículo de Razvan Florian (Irreproducibility of the Results of the Shanghai Academic Ranking of World Universities) causó cierto revuelo entre la comunidad especializada en el tema, abriendo un nuevo ángulo de debate.

La vertiente de crítica política sobre los rankings insiste, por su parte, en su inconveniencia como un instrumento que propicia la hegemonía de un único modelo de gestión universitaria: la universidad de investigación. Este enfoque, se afirma, da lugar a la subestimación de aquellas instituciones cuya misión se centra en la formación de profesionales, pero también limita posibilidades para las universidades que no se han incorporado al circuito global de difusión de conocimientos.

Junto a estas vertientes de crítica, algunas organizaciones, como la UNESCO, han decidido ventilar el tema con un enfoque más constructivo: examinar la forma de producción de rankings y sugerir mejores prácticas en su elaboración y difusión de resultados.

Así, en mayo de 2006 tuvo lugar, en Berlín, la segunda reunión de trabajo del Grupo Internacional de Expertos en Rankings (IREG) auspiciado por la UNESCO. El propósito de ésta fue definir una serie de "buenas prácticas" en la materia que pudieran ser observadas por las agencias productoras de rankings. Como antecedente, el IREG se avocó, a partir de 2004, al análisis de un vasto conjunto de sistemas de clasificación de calidad universitaria en diferentes partes del mundo, así como a la observación crítica de los principales rankings de alcance internacional.

El documento de conclusiones de los especialistas de la UNESCO se titula "Berlin Principles on Ranking of Higher Education Institutions" y emite recomendaciones en cuatro áreas, a saber, propósitos y objetivos; diseño y peso de indicadores; recolección y procesamiento de datos, y presentación de resultados. Sobre la finalidad de los rankings se recomienda: reconocerse como una forma de evaluación universitaria complementaria, pero no alternativa, de otras metodología y sistemas; establecer con claridad los usuarios a quienes se dirije la información; tomar en cuenta la diversidad de misiones y objetivos de las instituciones objeto de evaluación; aclarar las características y alcance de las fuentes utilizadas para la elaboración de indicadores; especificar el contexto histórico, lingüístico, cultural y económico de los sistemas educativos incluidos en los ejercicios de ranking.

Acerca del diseño de indicadores la UNESCO sugiere, en primer lugar, transparencia en la metodología seguida para la elaboración de los rankings, y complementariamente: selección de indicadores de acuerdo a su relevancia y validez, preferir la medición de resultados sobre la medición de insumos, y justificar el peso de cada indicador en el sistema de medición. Asímismo se recomienda estabilizar la ponderación de indicadores para evitar confusiones al público usuario.

Sobre el procesamiento de datos, el grupo de especialistas recomienda: objetividad e imparcialidad de parte de la agencia encargada de la sistematización de los datos; utilización de fuentes auditables y verificables; limitarse al uso de datos recogidos mediante procesos rigurosos, y aplicación de medidas de aseguramiento de calidad sobre la producción, administración y difusión de los rankings.

Por último, en materia de difusión de resultados, el organismo internacional emite dos recomendaciones adicionales: ofrecer a los usuarios todos los elementos que permitan la comprensión del procedimiento de clasificación de las instituciones, y tomar las debidas precauciones para evitar la distorsión de los datos originales empleados en el ejercicio.

En resumen, la postura de UNESCO reconoce, quizás realistamente, que los rankings universitarios "llegaron para quedarse", pero que, por la misma razón, su instrumentación requiere una vigilancia mucho más estricta que la actual. No debiera pasar inadvertida esta posición.