Mejorar los instrumentos para observación en el aula: un nuevo estudio en torno a Teach

Los docentes deberían estar en el centro de las políticas centradas en la mejora de los sistemas educativos. Sin maestros efectivos capaces de promover interacciones positivas con sus estudiantes y llevar a cabo actividades educativas significativas en el aula, será un desafío mejorar el aprendizaje de los estudiantes. Sin embargo, los formuladores de políticas públicas y otros actores educativos interesados en apoyar a los maestros cuentan con información limitada para tomar las decisiones correctas y asignar recursos donde más se necesitan.

Los instrumentos para observación en el aula que capturan la calidad de las prácticas de enseñanza ayudan a producir esta información con el fin de brindar retroalimentación a los maestros y los sistemas educativos. Sin embargo, para que esta información sea precisa, estas herramientas deben cumplir con los más altos estándares técnicos en términos de confiabilidad y validez. Algunas circunstancias que pueden reducir la confiabilidad y validez de estos instrumentos incluyen fuentes de sesgo durante su proceso de calificación.

En términos simples, el sesgo es cualquier fuente de error que puede reducir la precisión de la información recopilada o que distorsionar la interpretación de esta información. Con los instrumentos para observación en el aula, el sesgo puede provenir de los criterios subjetivos que utilizan los enumeradores para calificar estas herramientas o de los sesgos en la percepción del desempeño de los maestros. El sesgo representa en si mismo un problema porque reduce la precisión de la información producida por las observaciones en el aula, al mismo tiempo que dificulta la interpretación y el uso de la información. Imagine, por ejemplo, que varios enumeradores están utilizando la misma herramienta de observación en el aula, pero cada uno de ellos otorga importancia a diferentes aspectos de las prácticas de docencia. Entonces, algunos enumeradores pueden estar más inclinados a asignar puntajes más altos que otros debido a un conjunto idiosincrásico de creencias. Esto dificultaría la interpretación de los puntajes de calidad de la enseñanza y la medida en que estos reflejan la calidad de las prácticas de enseñanza en lugar de sesgos de los encuestadores.

En los últimos años, el Banco Mundial ha apoyado el desarrollo y la mejora continua del instrumento para observación en el aula Teach, que está diseñado para capturar la calidad de las prácticas de enseñanza en el aula. Desde su desarrollo, el equipo detrás de Teach ha estado analizando los datos disponibles en todo el mundo para informar sobre las propiedades técnicas de la herramienta (ver 1, 2 y 3), en un esfuerzo por verificar que Teach cumple con los estándares técnicos de instrumento para observación en el aula de alta calidad. Por ejemplo, Teach parece medir criterios que se consideran esenciales para la práctica eficaz en el aula. Además, la mejora de la calidad de la enseñanza, medida a través de Teach, se ha relacionado con un mayor rendimiento estudiantil en lenguaje y matemáticas.

A medida que el uso de Teach se expande en todo el mundo para medir y respaldar la mejora de las prácticas de enseñanza, nuestro equipo se esfuerza por garantizar que sus puntajes reflejen con precisión las prácticas del aula. Aprovechando los datos de Teach en países de ingresos bajos y medios, utilizamos un conjunto de herramientas analíticas del campo de la psicometría para determinar hasta qué punto existe el sesgo del enumerador y cuánto impacta en las puntuaciones producidas por Teach. Los hallazgos de este estudio se pueden encontrar en un capítulo en idioma inglés publicado recientemente: "Un estudio de generalización de Teach, una herramienta de observación en el aula", en la serie de Quantitative Psychology. Se recopilaron, recodificaron y analizaron datos de cuatro países ubicados en el sur de Asia, África subsahariana, Asia oriental y el Pacífico y América Latina y el Caribe para identificar hasta qué punto los enumeradores contribuyeron al sesgo de puntuación de Teach.

¿Cuáles son los resultados de este estudio? En resumen, los puntajes producidos por Teach son principalmente el producto de los aspectos de la calidad del maestro medidos por cada uno de sus ítems y el desempeño del maestro, más que el producto del sesgo del enumerador. Este es un hallazgo positivo que confirma que Teach produce información precisa y valiosa para ayudar a los docentes. Sin embargo, nuestro equipo reconoce que otras fuentes de sesgo podrían influir en las puntuaciones producidas por Teach. Por lo tanto, también exploramos diferentes factores de sesgo, como la ubicación de la escuela o la asignatura impartida por el profesor durante la observación, pero no hemos encontrado ninguna contribución significativa de sesgo por parte de ellas.

¿Cómo pueden los usuarios de instrumentos para la observación en el aula, como Teach, garantizar que los enumeradores son una fuente menor de sesgo de puntuación? Se ha demostrado que asegurarse de que los enumeradores reciban la capacitación adecuada antes de recopilar datos de las aulas reduce el sesgo. En el caso de Teach, los capacitadores certificados, los protocolos de capacitación y administración, y la orientación y los recursos de capacitación están disponibles públicamente para garantizar que los enumeradores produzcan puntajes precisos. La capacitación para enumeradores de Teach consiste en codificación de videos locales que coinciden con una variedad de temas de interés durante la recopilación de datos en las aulas. Además, contar con ejemplos claros de las prácticas de enseñanza que se espera que los enumeradores observen y califiquen, pueden ayudarles a calificar el desempeño docente con un sesgo mínimo. En el caso de Teach, se proporcionan ejemplos para cada uno de los comportamientos que deben calificar los enumeradores.

Este estudio arroja luz sobre posibles sesgos en la evaluación de las prácticas de los maestros, un tema importante que a menudo se pasa por alto durante el desarrollo de instrumentos para la observación en el aula. Los enumeradores representan una fuente mínima de sesgo en los puntajes de la herramienta Teach, lo que confirma el beneficio de realizar una capacitación adecuada para los enumeradores con ejemplos representativos de comportamientos de enseñanza. En el futuro, nuestro equipo busca expandir la comprensión global en torno al impacto de la calidad de la enseñanza en el rendimiento de los estudiantes. Esperamos que los datos producidos por nuestro estudio cierren la brecha entre la investigación y la práctica mejorando una comprensión general de cómo el uso efectivo de las herramientas de observación en el aula puede mejorar las prácticas de enseñanza y aprendizaje.

Para obtener más información sobre el estudio de generalización sobre el sesgo del enumerador, consulte el artículo publicado recientemente que presenta este trabajo. Si desea una copia del artículo o está interesado en aprender más sobre psicometría y proyectos de evaluación en torno al conjunto de herramientas de observación del aula Teach, comuníquese con Ezequiel Molina, Adelle Pushparatnam y Diego Luna Bazaldua.