Evaluar el aprendizaje cuando las escuelas están cerradas: El potencial de las evaluaciones formativas por teléfono para apoyar la continuidad del aprendizaje

La pandemia de COVID-19 sacudió los sistemas educativos de todo el mundo, afectando dónde y cómo aprenden los estudiantes, cómo interactúan con los docentes y sus compañeros, y cómo se monitorea y apoya su aprendizaje. Al mismo tiempo, esta crisis ha brindado una oportunidad para pensar de manera creativa y de explorar enfoques innovadores para apoyar el aprendizaje a distancia. A pesar que la existencia de recursos de aprendizaje a distancia ha sido necesaria para apoyar la continuidad del aprendizaje, no basta con su simple disponibilidad, también es importante saber si los estudiantes están aprendiendo realmente con los recursos a distancia y cómo lo hacen. Evaluar a los estudiantes para determinar lo que saben, entienden y pueden hacer es la única manera de identificar dónde necesitan más apoyo y de planificar acciones para abordar sus necesidades.

Las evaluaciones de aprendizaje normalmente se llevan a cabo en persona, pero garantizar la seguridad e higiene de todos los involucrados en el contexto de la pandemia de COVID-19 ha hecho de esta implementación un reto. En los lugares en los que la conectividad a Internet y el acceso a computadoras y otros dispositivos es prevalente, los sistemas virtuales de gestión del aprendizaje y las plataformas en línea han facilitado la administración de las evaluaciones del aprendizaje a distancia. Sin embargo, en contextos de bajos recursos, con limitada conectividad a Internet y escaso acceso a dispositivos "inteligentes", han llevado a las organizaciones y a los responsables de la política educativa a explorar la posibilidad de realizar evaluaciones telefónicas mediante llamadas telefónicas directas, servicios de mensajes cortos (SMS) y/o tecnologías de respuesta de voz interactiva (IVR).

Estas soluciones de evaluación del aprendizaje vía telefónica pueden utilizarse para llevar a cabo evaluaciones formativas de bajo impacto para, por ejemplo, conocer el grado de asimilación de los contenidos por parte de los estudiantes, identificar cualquier error en la comprensión de aprendizajes, proporcionar comentarios constructivos y ofrecer recursos adicionales para apoyar su aprendizaje desde casa. Estas soluciones también pueden utilizarse para realizar evaluaciones de impacto de intervenciones, como algunas las implementadas en respuesta a la pandemia de COVID-19. Con cualquiera de los dos propósitos, cuando los responsables de la política educativa y otros actores educativos diseñen y apliquen las evaluaciones del aprendizaje por teléfono, deben tener en cuenta los principios y normas de medición en educación para ayudar a prevenir posibles sesgos en los resultados de la evaluación y en su interpretación. Estos principios y normas están relacionados con los conceptos clave de validez y confiabilidad.

La validez está relacionada con el uso e interpretación correctos de los resultados de la evaluación. Al adaptar las evaluaciones a la aplicación por teléfono, es necesario considerar varias cuestiones clave relacionadas con la validez:

• ¿Cuáles son los objetivos y usos previstos de la evaluación? Una explicación clara que identifique el objetivo de la evaluación puede ayudar a determinar qué información adicional debe documentarse para garantizar que la evaluación telefónica pueda producir resultados válidos. Por ejemplo, una evaluación basada en contenidos de aprendizaje presentados a través de la televisión o la radio podría administrarse por teléfono con el objetivo de determinar si los estudiantes están realmente aprendiendo a través de estas modalidades.
• ¿El contenido de la evaluación vía telefónica es pertinente y está relacionado con el contenido de aprendizaje que se va a medir? Toda evaluación del aprendizaje debe estar alineada con el contenido de aprendizaje específico para producir información significativa sobre lo que los estudiantes saben y pueden hacer. En este caso, la pregunta implica la existencia de una definición exhaustiva de los contenidos de aprendizaje que los alumnos tienen que estudiar mientras no están físicamente en la escuela, y que estos contenidos de aprendizaje puedan medirse a distancia.
• ¿Hay algún contenido de aprendizaje que se omita en la evaluación al no poder evaluarse por teléfono? Si un contenido de aprendizaje clave no puede ser evaluado por teléfono, esto debe estar claramente documentado para facilitar la interpretación de los resultados de la evaluación. Por ejemplo, cuando una evaluación en papel incluye diagramas, gráficos, figuras, manipulación de objetos o pasajes de lectura extensos que no pueden incluirse en una evaluación por teléfono, estos elementos omitidos pueden alterar la interpretación de lo que los alumnos saben y pueden hacer.
• ¿El uso de los teléfonos dificulta la comprensión y la respuesta de los alumnos a las preguntas de la evaluación? Debido al uso relativamente pequeño y reciente de los teléfonos para realizar evaluaciones de aprendizaje a distancia, es fundamental garantizar que esta modalidad de evaluación no añada complejidad a los estudiantes a la hora de demostrar lo que saben y pueden hacer.
• ¿Qué procesos de pensamiento utilizan los alumnos para responder a las preguntas por teléfono? Es posible que los responsables de la evaluación deban realizar un pequeño estudio piloto en el que los alumnos expliquen cómo resolvieron cada pregunta que se les planteó por teléfono. Se espera que los estudiantes describan con sus propias palabras los procesos de pensamiento específicos que utilizaron para resolver las tareas incluidas en la evaluación.

Además de la validez, las evaluaciones deben caracterizar el aprendizaje de los alumnos de manera confiable. En lo que respecta a la confiabilidad, las preguntas clave que hay que tener en cuenta son

• ¿Son precisas las puntuaciones de las evaluaciones por teléfono? Es importante tener en cuenta que la aplicación de evaluaciones por teléfono puede añadir nuevas fuentes de sesgo a la medición del aprendizaje. Por lo tanto, dependiendo de cómo se lleve a cabo la evaluación, uno o más análisis estadísticos pueden informar sobre si los resultados de la evaluación son una representación exacta de los conocimientos y habilidades de los estudiantes.
• ¿Las puntuaciones de los ítems son consistentes entre sí cuando se administran por teléfono? Una vez recogidos los datos de la evaluación, este tipo de fiabilidad se capta mediante técnicas estadísticas que determinan si los ítems muestran un patrón de puntuación consistente (es decir, los estudiantes que responden correctamente a la pregunta 1 también tienden a responder correctamente a otras preguntas similares en la misma prueba).
• Por último, con respecto a la precisión del encuestador, ¿son coherentes entre sí las puntuaciones producidas por diferentes encuestadores que aplican la evaluación por teléfono? Los encuestadores deben recibir capacitación sobre la forma de calificar las evaluaciones por teléfono para garantizar precisión en este proceso. Como parte de la formación de los encuestadores se pueden llevar a cabo simulaciones de puntuación. Los equipos que desarrollan y administran las evaluaciones telefónicas también pueden aumentar la confiabilidad de los resultados de las evaluaciones telefónicas desarrollando protocolos estandarizados de administración de las evaluaciones y materiales de capacitación para los encuestadores con el fin de maximizar la equivalencia de los resultados.

Dado que la pandemia del COVID-19 ha impulsado a los líderes educativos a explorar e introducir innovaciones para apoyar la continuidad del aprendizaje, es fundamental que estas innovaciones, especialmente las que apoyan el proceso de aprendizaje fuera del aula, sean consistentes con las normas y principios establecidos en evaluación educativa. Aunque en muchos lugares el aprendizaje de los alumnos sólo puede evaluarse a distancia, basar los resultados de las evaluaciones, ya sean presenciales, por computadora, o telefónicas, en pruebas válidas y confiables las hace más valiosas para apoyar a los alumnos en su proceso de aprendizaje. Estas consideraciones sobre la evaluación por teléfono deberán motivar la mejora de las herramientas de evaluación del aprendizaje y reforzar las prácticas de evaluación resilientes que puedan hacer frente a futuras crisis en los sistemas educativos.