También disponible en: Inglés
En los países de ingreso alto, los resultados del aprendizaje han mejorado gracias a un tipo de intervención que aumenta la transparencia y la rendición de cuentas y que consiste en el uso de las calificaciones obtenidas en las pruebas por los estudiantes. En un blog (i) anterior, mencioné algunos ejemplos de sistemas de rendición de cuentas que incluyen “exámenes estandarizados”, como la ley “No Child Left Behind” (Que ningún niño se quede atrás). Este tipo de pruebas tiene importantes consecuencias para quien toma el examen, la escuela o las autoridades escolares. Aporta importantes beneficios si se pasa la prueba, como por ejemplo obtener un diploma, recibir recursos adicionales para la escuela, o conseguir una mención positiva. Algunas de estas intervenciones también usan el mecanismo de la “denuncia pública” (i) de las autoridades escolares, tal como se hace en Inglaterra.
También existen evidencias que indican que el solo hecho de proporcionar información sobre los resultados de los exámenes puede dar lugar a mejoras. Este es el caso de los sistemas que dan libertad a los padres de elegir la escuela, como en los Países Bajos. (i)
No obstante, incluso en un entorno “en que no hay mucho en juego” (que no acarrea ninguna de las consecuencias los exámenes estandarizados; incluso ni siquiera se impone una sanción por el bajo desempeño), la información puede tener un efecto poderoso. Hasta ahora, los datos disponibles acerca de la rendición de cuentas menos estricta han sido desiguales, pero hay algunas señales prometedoras.
Evidencias de India, Chile y Pakistán
Evidencias experimentales obtenidas en India (i) indican que un programa que incluyó exámenes de diagnóstico no estandarizados y comentarios a los maestros no tuvo impacto en los resultados de aprendizaje de los alumnos. En Chile, la distribución de información con respecto al valor agregado de las escuelas no tuvo efectos sobre la matrícula, los niveles de enseñanza o la composición socioeconómica de los estudiantes. Sin embargo, los datos disponibles de un estudio aleatorio realizado en Punjab, (i) Pakistán, muestran que dar a conocer los resultados de los exámenes a los hogares y las escuelas llevó a un aumento de 0,11 desviaciones estándar en los puntajes de las pruebas posteriores, un año después de que se implementara la intervención.
Rendición de cuentas y transparencia en México
En el documento Impact of an Accountability Intervention with Diagnostic Feedback: Evidence from Mexico (i) (Impactos de una intervención de rendición de cuentas con un informe de diagnóstico: Evidencias de México), Rafael de Hoyos, Vicente García-Moreno y yo informamos sobre un mecanismo diseñado para mejorar el desempeño de los estudiantes de 100 escuelas primarias de bajo rendimiento en Colima, México.
Colima es un pequeño estado que se sitúa en la costa del Pacífico, en la región centro-occidental de México. Desde la descentralización del sistema educativo iniciada en 1992, Colima ha desarrollado un sistema escolar eficiente adaptando los programas educativos nacionales a las características y necesidades específicas locales.
A lo largo de la década de 1990, Colima adoptó políticas educativas innovadoras, como la implementación y difusión de una de las primeras pruebas estandarizadas del país. En 2003, Colima superó a todos los estados mexicanos en la prueba del Programa para la Evaluación Internacional de Alumnos (PISA, por sus siglas en inglés) y se acercó a la media de la Organización para la Cooperación y el Desarrollo Económicos (OCDE). Sin embargo, en 2009, de acuerdo con las pruebas estandarizadas de México (ENLACE), el estado se ubicó por debajo del promedio nacional. Y aunque todas las escuelas de Colima tuvieron acceso a esta información desde 2006, la situación no mejoró. Entonces, las autoridades educacionales de Colima iniciaron el diseño del Programa de Atención Específica (PAE) para la Mejora del Logro Educativo.
El PAE se ejecutó en el estado entre enero de 2010 y finales de 2011. El programa, diseñado originalmente como una intervención de educación integral, se interrumpió cuando se aprobó un programa federal similar para evitar duplicaciones. Por este motivo, solo se implementó un subconjunto de los componentes. Las escuelas recibieron información acerca de los puntajes en las pruebas y de su participación en el programa.
Una vez que el programa se puso en marcha y se difundió públicamente la lista de las escuelas del PAE, se asignó un asesor técnico a cada uno de los establecimientos participantes. Esta persona visitaría la escuela y ayudaría a hacer un diagnóstico de los resultados obtenidos en los exámenes y a diseñar un plan de mejoramiento escolar.
Aprovechando las estrictas normas de elegibilidad del PAE, empleamos un diseño de regresión discontinua (y una estrategia de diferencias en diferencias). Encontramos que el PAE aumentó significativamente los puntajes en las pruebas —en 0,12 desviaciones estándar— solo unos pocos meses después del lanzamiento del programa.
Sostenemos que cuando los estudiantes, los profesores y los padres son conscientes de que sus calificaciones son bajas, se activa un proceso de autoevaluación y análisis. El proceso en sí puede llevar a un mejoramiento de los resultados de aprendizaje. Incluso sin la adopción de sanciones, la información sobre la calidad escolar —en el marco de un entorno de apoyo y colaboración— mejoró de manera suficiente los resultados en materia de aprendizaje.
El hecho de que el PAE llegara a su fin después de solo 18 meses indica que la intervención principal del programa se limitó principalmente al anuncio público y la información detallada proporcionada a las escuelas. En otras palabras, fue la evaluación pública del desempeño de los directores de las escuelas participantes en el PAE lo que posiblemente hizo que las escuelas lograran pequeños pero significativos avances en el aprendizaje.
Evidencias de otros sectores
A diferencia de las intervenciones de rendición de cuentas más estrictas que a veces conducen al cierre de escuelas en Estados Unidos, o el despido de los directores en Inglaterra, o la libertad de cambiarse de escuela en los Países Bajos, las políticas (y los eventos de facto) en Colima no conllevan sanciones contra las escuelas o sus directores.
Los datos disponibles de otros sectores indican que, en algunos casos, la información sobre un mal desempeño, cuando es correctamente divulgada, puede conducir a mejoras. Por ejemplo, los restaurantes que exhiben tarjetas de calificaciones de la calidad de la higiene (i) dieron lugar a un aumento del puntaje de la inspección sanitaria de estos locales comerciales. Esto se debe a que los propios establecimientos hicieron mejoras en la calidad de la higiene.
En el sector de la energía, existen evidencias experimentales que muestran que la entrega de información a los clientes sobre el uso de la electricidad y el gas natural en el hogar, (i) poniendo énfasis en las comparaciones entre pares, puede llevar a una reducción significativa en el consumo de energía a un bajo costo. Esto puede ser equiparado con lo que sucede cuando el puntaje de las pruebas se muestra de manera destacada en las escuelas públicas. La publicación de los resultados hace que los maestros, los padres y la dirección recuerden que el mandato y la prioridad de la escuela es proporcionar servicios de educación de alta calidad para todos.
Se necesita más investigación
Uno puede preguntarse por qué las escuelas no mejoraron antes de la puesta en marcha del programa PAE, a pesar de que la misma información ya se había dado a conocer públicamente. Quizás la información no fue bien entendida o difundida. Tal vez las atribuladas autoridades escolares en las escuelas con bajo desempeño no pudieron, sin el adecuado apoyo logístico y de redes, comenzar a usar de manera proactiva los resultados de las pruebas estandarizadas para generar un debate y diseñar un plan de mejoramiento escolar. Estas son áreas para investigaciones futuras, pero el suministro de información sigue siendo el primer paso en el camino hacia el logro de mejoramientos.
Siga a Harry Patrinos en el blog Education for the Global Development (i) y en Twitter. (i)
También siga en Twitter a: Rafael de Hoyos (@rafadehoyos) y al equipo de Educación del Grupo Banco Mundial (@WBG_Education).
Únase a la conversación