La literatura sobre los rankings universitarios suele diferenciar dos grandes familias de estos instrumentos de clasificación: las listas “reputacionales” o subjetivas, elaboradas con base en encuestas de opinión aplicadas a grupos que, según se estima, son capaces de emitir puntos de vista autorizados. Por ejemplo, los egresados, los académicos y los empleadores. Este método es el más antiguo y suele ser criticado por problemas de representatividad estadística. En segundo lugar, los llamados “rankings objetivos”, basados en indicadores de desempeño, los cuales se calculan a partir de un determinado conjunto de datos empíricos.

Los ranqueos internacionales de tipo “objetivo” son, a su vez, criticados porque tienden a comparar realidades institucionales muy distintas y sobre todo porque, excepto algunos indicadores básicos (tamaño de las poblaciones estudiantiles y académicas, recursos financieros de las instituciones o indicadores de productividad científica), las variables de la calidad docente, o la apreciación de las funciones de difusión y extensión, suelen pasar desapercibidas.

Con todo, en el mundo de los rankings universitarios de cobertura internacional, las clasificaciones de tipo “objetivo” han alcanzado primacía numérica. Ello se explica por la intensa circulación en las redes de internet de información sobre las variables de desempeño universitario, y por la tendencia, política y educativa, que hace que las prácticas docentes, de investigación y de gestión académica se sometan a escrutinio público mediante evaluaciones internas y exteriores de todo tipo.

En alguna medida, los rankings refuerzan las pautas de evaluación en boga al generar un referente comparativo con las ventajas y riesgos inherentes a su aparente simplicidad. Las clasificaciones de este tipo son, sin duda, un fenómeno mediático que tiene consecuencias políticas considerables, lo que hace recomendable, en primer lugar, la comprensión de su naturaleza, metodología y alcance explicativo.

En tal estado del debate, algunos rankings internacionales, entre los cuales sobresale el difundido por el Times Higher Education Supplement (THES), han optado por una fórmula de tipo mixto o intermedio, es decir, una clasificación a la vez “reputacional” y “objetiva”. El ranking THES, cuya primera edición data de 2004, ha ido perfeccionado su metodología por la presión de los no pocos cuestionamientos recibidos.

Pero lo ganado en robustez técnica se ha perdido en estabilidad. Entre los rankings universitarios internacionales más conocidos, el THES presenta la mayor variabilidad de resultados cuando se busca ordenar, por ejemplo, una secuencia temporal de resultados.

La edición 2008 de esta clasificación, denominada World University Rankings, incluye en la lista de las mejores 400 universidades del mundo 15 instituciones de Iberoamérica, de las cuales cinco son de España, tres de Brasil, dos de México, dos de Chile, una de Argentina, una de Uruguay y una de Portugal. La Universidad Nacional Autónoma de México (UNAM) se clasifica como la primera de la región y la 150 en la comparación mundial. El año pasado, la institución mexicana fue ubicada en la posición 192, aunque en 2005 había alcanzado el sitio 95 y en 2006 el 74. Siguen a la UNAM, en la lista de las primeras 200, la Universidad de Barcelona (España), en el lugar 186; la Universidad de Sao Paulo (Brasil), en la posición 196, y la Universidad de Buenos Aires (Argentina) en la 197.

En los lugares 200 aparecen las universidades Católica de Chile (241); Campinas, de Brasil (249); Autónoma de Madrid (254), y Autónoma de Barcelona (256). En los 300 figuran la Universidad de Chile (320), el Tecnológico de Monterrey (328), la Universidad Federal de Río de Janeiro (334), la Universidad Pompeu Fabra, de España (342); la Universidad ORT de Uruguay (387), y la Universidad de Coimbra (Portugal).

La lista del THES incluye también resultados por área de conocimientos. Las clasificaciones se limitan, en este renglón, a enumerar las primeras cien universidades que, en opinión de especialistas de la academia, son consideradas líderes de investigación en el área respectiva. Como es de esperarse, en la clasificación por áreas la cantidad y proporción de las universidades iberoamericanas es más bien escasa, aunque no inexistente.

En artes y humanidades figuran tres instituciones de la región: la Universidad Complutense de Madrid, en el lugar 78; la Universidad de Barcelona (94), y la UNAM (97). En ciencias de la vida y biomedicina sólo clasifica la UNAM, en el puesto 64. En ciencias naturales se encuentran las universidades de Barcelona (90) y Sao Paulo (93). En ciencias sociales sólo califica la Universidad Pompeu Fabra, de España, en el sitio 91. En el área de tecnología, por último, ninguna universidad iberoamericana.

La reputación cuenta

La clasificación de universidades en los World Universty Rankings se construye mediante indicadores sobre las variables de formación profesional, capacidad de investigación, y presencia de académicos y estudiantes extranjeros. Son seis: reputación de las universidades según académicos; reputación según empresarios; proporción de estudiantes entre planta académica; proporción de citas a los artículos en revistas indexadas entre planta académica; proporción de estudiantes extranjeros, y proporción de académicos extranjeros.

El primer indicador tiene el mayor peso relativo en la escala al representar 40 por ciento de la puntuación total. La calificación de las universidades, a cargo de la comunidad internacional de académicos, es recogida mediante la encuesta que cada año aplica la compañía Quacquarelli Symonds (QS), firma especializada en facilitar contactos entre graduados universitarios y potenciales empleadores.

La muestra es de aproximadamente 6 mil casos y proviene de dos bases de datos: una que administra la compañía Mardev, (http://www.maderv.com), dedicada a capturar, organizar y comercializar direcciones de académicos de todo el mundo. La base Mardev cuenta con más de 600 mil contactos académicos con e-mail incluido. La segunda base proviene de la compañía World Scientific (http://www.worldscientific.com), la cual es una distribuidora de revistas académicas y posee una base de datos de autores con más de 180 mil registros.

La encuesta de “pares académicos” solicita a los informantes que identifiquen las regiones del mundo y las áreas académicas de las que tienen familiaridad. Posteriormente, el cuestionario presenta, para cada área seleccionada, una lista “nacional” de universidades (las del país del académico informante) y una lista “internacional”, que incluye a las universidades de la o las regiones seleccionadas. A continuación se solicita valorar en qué universidades se realiza la mejor investigación dentro de cada área; quien responde puede elegir un máximo de diez instituciones.

El cuestionario aclara que “su propia universidad será excluida de las secciones”. Así, el académico informante puede opinar sobre cualquier universidad menos la suya, y sobre una, varias o todas las áreas de conocimiento incluidas en la encuesta.

La muestra de académicos tiende a representar los resultados de rankings previos. A pesar de que la metodología propone un equilibrio cuantitativo entre regiones geográficas —un tercio para el continente americano, un tercio para Europa y un tercio para el resto del mundo—, al cabo la proporción de académicos adscritos a universidades anglosajonas resulta mayor que la de cualquier otro conglomerado.

En la aplicación 2008, la muestra incluyó a 638 académicos de Estados Unidos (10.0 por ciento del total), 563 ingleses (8.9 por ciento) y 286 australianos (4.5 por ciento). Sólo esos tres países consumieron casi una cuarta parte de la muestra total. En cambio, sólo fueron encuestados 142 académicos de España (2.2 por ciento), 63 de Brasil (1.0 por ciento), 59 de México (0.9 por ciento) y 36 de Argentina (0.6 por ciento).

El segundo indicador se basa también en una encuesta, esta vez aplicada a empleadores, y representa 10 por ciento del puntaje total. En ésta, cuya muestra promedia 2 mil casos por año, se solicita a cada informante que, “de acuerdo con su experiencia, seleccione un máximo de 30 universidades de las cuales egresan los mejores candidatos (esta lista está separada por país y ha sido compilada con base en el número de ocasiones que dichas facultades han sido mencionadas en nuestras encuestas)”.

La última aclaración es importante, pues la lista de universidades elegibles se reduce a las que la compañía QS ha identificado previamente como relevantes. Para dar un ejemplo, la lista de universidades mexicanas que los empleadores pueden marcar se limita a tres instituciones: la UNAM, la Universidad Iberoamericana y el Tecnológico de Monterrey. Ninguna otra. También cabe aclarar que esta encuesta contiene, en su mayor parte, preguntas acerca de programas y escuelas de administración de empresas, pues QS elabora también un ranking acerca de las mejores escuelas de negocios en el mundo.

Como puede advertirse en la tabla 1, el peso otorgado a los indicadores de prestigio predice la posición final en la tabla. Si ambos valores son altos (puntuación en la revisión de pares y puntuación de empleadores), entonces un buen lugar en la clasificación está asegurado.

Indicadores de productividad, desempeño e internacionalización

El tercer indicador del ranking refleja la proporción de estudiantes por académico de tiempo completo en las universidades. Es confeccionado mediante consulta a las instituciones sobre sus datos de matrícula y planta académica. Para evitar subestimación de los datos de universidades que cuentan con figuras académicas de tiempo parcial o por horas, el ranking solicita a las instituciones que estimen equivalencias. El peso de este indicador en la puntuación total es de 20 por ciento.

El cuarto indicador se deriva del número de citas a los artículos producidos por los académicos, en los últimos cinco años, según la base de datos Scopus, administrada por la compañía editora holandesa Elsevier Ltd. En las primeras ediciones del ranking (2004 a 2006), el indicador respectivo provenía del ISI-Thomson Web of Science pero, a partir del año pasado, se tomó la decisión de utilizar los servicios de Scopus por contener un mayor número de registros que los consignados en la base ISI-Thomson. Este indicador concentra, asimismo, 20 por ciento en la puntuación total.

Las diferencias entre las bases ISI y Scopus no son irrelevantes. En primer lugar, Scopus es aproximadamente el doble de tamaño, a pesar de haberse iniciado apenas en 2004, mientras que los servicios bibliométricos del Institute for Scientific Information (ISI) tienen casi medio siglo. En efecto, la firma ISI fue fundada en 1960 por Eugene Garfield y actualmente forma parte del consorcio editorial Thomson-Reuters. La base ISI se ha caracterizado por ser académicamente selectiva; cada revista propuesta es revisada, durante al menos un año, para tener certeza que cumple con los estándares, de forma y contenido, de una publicación científica, además de controlar el volumen de citas que recibe. La mayoría de los journals incluidos en la base se publican en inglés, independientemente del país de origen.

También en Scopus es aplastante mayoría la proporción de revistas en inglés pero, a diferencia de la base ISI, la incorporación de revistas es menos rígida. En primer lugar porque se integró a partir de catálogos de publicaciones científicas que ya existían; en segundo, porque la revisión de nuevas publicaciones procede mediante una revisión de pares descentralizada. Como han anotado varios especialistas, tanto ISI como Scopus, además del sesgo del idioma, muestran una marcada inclinación por las revistas del área de ciencias de la salud, probablemente por ser ésta la que ha logrado un mayor desarrollo en términos de internacionalización de la producción y la difusión de resultados.

En la tabla 2, la cual consigna los datos reportados por las universidades iberoamericanas que alcanzaron lugar entre las primeras 200 de la lista, es notable la heterogeneidad de condiciones de infraestructura y resultados que éstas presentan.

En el cálculo de desempeño una variable crucial es el tamaño de la planta académica. Este dato funciona como denominador tanto del indicador de estudiantes por miembros del personal académico de las instituciones, como del indicador de citas per cápita. Si el volumen de la matrícula es elevado, pero también el de la planta académica, entonces la relación entre ambos datos genera un puntaje elevado. En estas condiciones, sin embargo, se requiere un elevado número de citas académicas para adquirir puntos en el indicador de citas por académico.

Tómese como ejemplo la comparación entre la UNAM y la Universidad de Sao Paulo (USP). La UNAM, en el indicador de estudiantes por académico de tiempo completo, obtiene un resultado de 10.1 contra 15.3 de la institución brasileña (en este indicador el menor puntaje expresa los mejores resultados). En cambio, en el indicador de citas, en que más puntos implican mejores resultados, la UNAM obtiene 2.6 contra 13.4 de la USP.

Por último, los indicadores quinto y sexto se estiman con base en la proporción de estudiantes y académicos extranjeros en las universidades. Cada uno de éstos vale 5 por ciento en el puntaje total y los datos proceden de consultas a las instituciones. En el reporte de las cuatro universidades iberoamericanas la variación es notable. Mientras que en la UNAM y la USP la proporción de estudiantes extranjeros es limitada (menos de 2 por ciento en cada caso), la cantidad relativa de alumnos foráneos en las universidades de Buenos Aires y Barcelona supera 6 por ciento en cada caso.

Una observación final

En la elaboración del ranking se asignan, en cada indicador y en el puntaje total, 100 puntos a la universidad con los mejores datos o promedios. El resto de las universidades obtiene sus puntos mediante la estimación de valores normalizados “Z” que equivalen al valor puntual menos la media aritmética de la distribución entre la desviación estándar de la misma. La normalización incluye, asimismo, un proceso de conversión logarítmica de los puntajes que estrecha aún más las distancias entre los resultados institucionales. El cálculo del resultado total, que determina la posición en la tabla, promedia las puntuaciones de los seis indicadores ponderándolos con los pesos asignados a cada uno. Al proceder a la normalización de la distribución, ésta se convierte en simétrica con respecto de la media, de tal forma que es el promedio, y no la puntuación más alta, el dato de referencia en torno al cual se colocan las instituciones en la distribución. Esta opción metodológica, implantada en el ranking THES a partir de 2007, tiene el efecto de hacer variar los lugares en la clasificación en función del número de universidades calificadas, pues la puntuación promedio es muy sensible a este factor. Por ello, es de esperarse que, aun cuando permanezca invariable la construcción de los indicadores, así como el sistema de ponderación adoptado, se observen en próximas ediciones cambios en la colocación de las universidades dentro del ranking.

Quizá, hacerla de emoción y crear suspenso es parte del atractivo de esta clasificación.