Se acaba de publicar el Cuaderno 46 del Instituto Nacional para la Evaluación de la Educación (INEE) titulado “México en el proyecto TALIS-PISA: Un estudio exploratorio”. El volumen tiene como coautores a Eduardo Backhoff, director del Instituto, y Ramsés Lira Baroja, Glenda Patricia Guevara y Yareli Morán Acevedo. El estudio reporta los resultados de la exploración, en el contexto mexicano, de dos bases de datos relacionadas, ambas derivadas de ejercicios de evaluación diseñados por la OCDE: el Programa Internacional de Evaluación de Alumnos (PISA), en su edición de 2012, y la Encuesta Internacional sobre la Enseñanza y el Aprendizaje (TALIS), con datos recogidos en 2013.
Hace un año, bajo la conducción de un grupo de especialistas de la OCDE (Noémie Le Donné, Pablo Fraser y Guillaume Bousquet) la comparación de principales resultados entre ocho países, México incluido, generó el reporte “Teaching strategies for instructional quality: insights from the TALIS-PISA link data” (OECD Education Working Paper no. 148). Sobre esta plataforma, el equipo del INEE elaboró un estudio, a escala nacional, que se propone dar cuenta de la importancia de las escuelas, directores, docentes y estudiantes en el aprendizaje de las matemáticas.
Una razón explica la elección del área de aprendizaje evaluada: PISA 2012 tuvo como principal foco de evaluación los resultados de aprendizaje en esa disciplina. De esa evaluación conviene recordar dos elementos. Primero que México consiguió incrementar notablemente sus resultados en la prueba, ya que incrementó 28 puntos entre las aplicaciones 2003 y 2012. No obstante, se reporta en el estudio, el 55 por ciento de los estudiantes mexicanos, de 15 años de edad, no alcanzó el nivel de competencias básicas en matemáticas de acuerdo con los estándares del PISA.
Aunque el estudio sobre factores, sociales y educativos, que inciden sobre el aprendizaje y el logro escolar cuenta ya con una amplia bibliografía, la novedad del TALIS-PISA estriba en la representatividad de las muestras y en las posibilidades de contraste internacional. Entre los factores identificados con mayor peso en los resultados obtenidos en el área de matemáticas de PISA-2012 destacan los siguientes. Nueve variables del factor “escuelas y directores” explican 33 por ciento de la varianza de resultados, siendo las principales la autonomía de la escuela en políticas de instrucción, la autonomía de la escuela en la selección de personal, y el liderazgo educativo del director.
Seis variables propias del desempeño docente explican, a su vez, un 31 por ciento de la varianza de resultados. Las principales son: desarrollo profesional en materias y docencia, creencias constructivistas, y autoeficacia pedagógica en matemáticas. Once de las variables correspondientes a estudiantes explican 90 por ciento de la varianza; la principal es el estatus ocupacional de la madre, seguida de la estrategia de solución de problemas y la autoeficacia matemática. Por último, el análisis simultáneo de todas las variables, tomadas en conjunto, consigue explicar el 73 por ciento de la varianza de resultados. La principal en este gran conglomerado vuelve a ser el estatus ocupacional de la madre, seguido la falta de personal pedagógico en la escuela, y en tercer lugar la relación docente-alumno.
El reporte TALIS-PISA de México cuenta con una metodología de análisis robusta, principalmente apoyada en el análisis de conglomerados, que permite identificar y describir subconjuntos de escuelas, docentes y alumnos. Posteriormente se calcula la cantidad de varianza explicada por estos conglomerados en los puntajes obtenidos en el PISA-2012. Tal metodología aprovecha la técnica de análisis cuantitativo conocida como Agrupamiento Jerárquico Aglomerado.
Los autores reconocen que una aproximación metodológica más estricta y pertinente es el análisis de regresión multinivel, pero que el diseño de las bases de datos no permite relacionar individualmente a los alumnos y docentes con los resultados de la prueba PISA, y por lo tanto el análisis de conglomerados resultó la mejor opción.
¿Cómo se pueden interpretar los resultados? Lo primero que destaca es que, pese a todas las políticas de equidad con calidad que se han intentado, el factor social (el origen social de los estudiantes medido a través del estatus ocupacional de la madre del hogar) sigue pesando con mayor intensidad que cualquier otro factor. Pero, en segundo lugar, que hay el “factor docente”, principalmente la preparación de los profesores en su materia y en estrategias didácticas, cuenta significativamente. También que los grados de libertad de la escuela para establecer estrategias de mejora educativa puede mejorar en forma relevante las oportunidades de aprendizaje y logro. Por último, que el papel de director de escuela, en cuanto líder de la comunidad docente y de la operación del centro escolar, es un factor que incide positivamente en los resultados que alcanzan los estudiantes.
La lección que se deriva del ejercicio de análisis es que el logro escolar, en particular el que se produce en el área de matemáticas, es resultado de una combinación de factores, no solo de un grupo en particular (buenos docentes, buenas escuelas, estudiantes motivados) y que, desde el ángulo de las políticas educativas, la mejora de la calidad no se producirá por la atención focalizada a un grupo limitado de factores estratégicos, sino que requiere la consideración sistemática del conjunto. También de los resultados cabe derivar una inferencia: los estudiantes más vulnerables en capacidades de aprendizaje y logro ecolar requieren mejores escuelas y mejores maestros.
A propósito del INEE, mañana empieza el Seminario “La reforma educativa: avances y desafíos” en que funcionarios de la SEP, integrantes del INEE y especialistas académicos van a debatir durante siete presentaciones, una a la semana, los temas críticos de la reforma. Se transmitirá en vivo en el portal del INEE, los miércoles del 13 de septiembre al 25 de octubre, de 17 a 19 hrs.
