Aprendizagem para todos: Indo além de uma pontuação média

 Antes da COVID-19, o mundo já estava em uma crise de aprendizado. Com taxas históricas de progresso, a meta dos Objetivos de Desenvolvimento Sustentável (ODS) de garantir que todas as meninas e meninos concluam a educação primária e secundária gratuita, equitativa e de qualidade, levando a resultados de aprendizagem relevantes e eficazes até 2030, está fora de alcance. Mais da metade das crianças em países de renda baixa e média estão fora da escola ou não conseguem ler com compreensão aos dez anos de idade. No nível secundário, a situação é ainda pior.

As perdas de aprendizado devido à pandemia provavelmente serão grandes. Estamos apenas começando a entender qual será o impacto da desigualdade de aprendizagem. Olhando para os dados históricos, podemos encontrar padrões que nos ajudem a planejar melhor nossas ações no futuro próximo? À medida que os países reconstroem sistemas educacionais que são mais resilientes, equitativos e inclusivos - capazes de promover a aprendizagem para todos - qual a chance da desigualdade de aprendizagem atrapalhar esse processo?

ODS de educação: além da pontuação média

Vamos considerar os resultados de aprendizagem de alunos nos anos finais do ensino fundamental, conforme avaliados pelo Programa de Avaliação Internacional de Alunos (PISA). O PISA fornece dados comparáveis sobre o desempenho de alunos de 15 anos em matemática, ciências e leitura. Muita atenção é dedicada à discussão das classificações dos países e das melhorias nas pontuações médias nos testes do PISA. Mas a média fornece uma imagem incompleta em um mundo desigual. Sabemos que múltiplas fontes de desigualdade causam variações na aprendizagem na escola e em casa por gênero, etnia, status socioeconômico e deficiências.

Por meio do processo dos ODS, os países concordaram em monitorar a aprendizagem de todos através da parcela de alunos que alcançam um nível mínimo de proficiência. Por exemplo, em leitura, os alunos dos anos finais do ensino fundamental devem reconhecer a ideia principal de um texto, entender as relações ou interpretar o significado usando uma parte limitada do texto na qual a informação não é proeminente e fazer inferências básicas. A falta de domínio dessas competências básicas os impedirá de participar efetiva e produtivamente da vida futura como estudantes, trabalhadores e cidadãos. Ir além da pontuação do aluno médio reflete um forte compromisso em focar nossa atenção na melhoria da aprendizagem das crianças que não conseguem atingir esses padrões mínimos de habilidades / competências.

Essas duas medidas de desempenho dos sistemas educacionais - pontuação média e proporção de alunos que alcançam proficiência mínima transmitem informações importantes. São semelhantes a observar as mudanças na renda média per capita e na parcela da população que vive na pobreza, ao avaliar o desempenho econômico de um país ao longo do tempo. A renda média per capita e a pontuação média do teste são medidas sintéticas de todos os indivíduos. A percentagem da população em situação de pobreza e a percentagem de alunos abaixo do nível mínimo de proficiência referem-se à percentagem privada de padrões mínimos de vida e de competências adquiridas, respetivamente. Na educação, assim como na economia, essas medidas não caminham necessariamente na mesma direção.

Desagregando o progresso na proporção de alunos que alcançam proficiência mínima

Os economistas há muito investigam a relação entre pobreza, crescimento e desigualdade e entendem que eles são determinados em conjunto. As mudanças nas taxas de pobreza podem ser decompostas nas contribuições das mudanças na média (renda média per capita) e na distribuição de renda (desigualdade). Uma decomposição semelhante pode ser esclarecedora no contexto educacional. Uma melhoria na pontuação média do teste com crescente desigualdade será qualitativamente diferente de um processo no qual a pontuação média do teste aumenta na mesma proporção, mas a desigualdade permanece constante.

Exploramos dados de países que participaram de várias rodadas do PISA. Cada barra na Figura 1 representa a decomposição da mudança anualizada na participação dos alunos abaixo do limite do ODS na leitura entre duas rodadas do PISA para um determinado país. Os países em vermelho tiveram pior desempenho nos últimos anos. Ou seja, a proporção de alunos que não conseguem ler com proficiência aumentou em pelo menos 0,1 por cento a uma taxa anual. Os países em verde viram melhorias: mais alunos alcançando proficiência mínima em leitura. Por último, para os países em amarelo, a parcela de proficiência permanece razoavelmente semelhante. Decompomos a mudança na proporção de alunos abaixo da proficiência mínima (linha preta) na contribuição da pontuação média (barras escuras) e na distribuição das pontuações (barras claras).

Figura 1- Decomposição das mudanças na proporção de alunos abaixo da proficiência mínima (BMP)

 <script type='text/javascript' src='https://dataviz.worldbank.org/javascripts/api/viz_v1.js'></script><div class='tableauPlaceholder' style='width: 1000px; height: 727px;'><object class='tableauViz' width='1000' height='727' style='display:none;'><param name='host_url' value='https%3A%2F%2Fdataviz.worldbank.org%2F' /> <param name='embed_code_version' value='3' /> <param name='site_root' value='&#47;t&#47;EdStats' /><param name='name' value='blog_dash_datt-ravallion_pisa&#47;Fig1' /><param name='tabs' value='no' /><param name='toolbar' value='yes' /><param name='showAppBanner' value='false' /></object></div>

O leitor pode usar nossa visualização interativa para estender esta análise para matemática e ciências e subgrupos de alunos por gênero, localização e quintil de status socioeconômico. Também incluímos quaisquer dois anos de participação no PISA - não apenas o intervalo de tempo mais longo em que a disciplina foi o foco principal da avaliação. Uma metodologia de decomposição alternativa também é usada, mas abordaremos isso em um outro blog. Os resultados permanecem qualitativamente semelhantes - como você pode ver ao interagir com os filtros na Figura 1. Outra maneira de visualizar esses resultados é calculando a média de todos os países que melhoraram ou pioraram. Isso é feito na Figura 2, que resume a decomposição para leitura em mais de 300 observações (cada uma correspondendo a um país e um par de anos de participação).

Figura 2 Contribuições absolutas e relativas para mudanças na proporção de alunos abaixo da proficiência mínima (BMP)

<script type='text/javascript' src='https://dataviz.worldbank.org/javascripts/api/viz_v1.js'></script><div class='tableauPlaceholder' style='width: 1000px; height: 757px;'><object class='tableauViz' width='1000' height='757' style='display:none;'><param name='host_url' value='https%3A%2F%2Fdataviz.worldbank.org%2F' /> <param name='embed_code_version' value='3' /> <param name='site_root' value='&#47;t&#47;EdStats' /><param name='name' value='blog_dash_datt-ravallion_pisa&#47;Fig2' /><param name='tabs' value='no' /><param name='toolbar' value='yes' /><param name='showAppBanner' value='false' /></object></div>

Alguns fatos estilizados emergem:

➤ A maré alta [quase sempre] levanta todos os barcos

• Todos os países que melhoraram seu nível de proficiência também aumentaram as pontuações médias em testes. No Peru, a proporção de alunos que não sabem ler o básico caiu de 80% para 54%, ou uma taxa de variação anualizada de aproximadamente -1,4p.p. por ano. Durante este período, as pontuações médias aumentaram de 327 para 401 pontos entre 2000 e 2018, enquanto a desigualdade na aprendizagem piorou - ou seja, se a desigualdade nas pontuações dos testes tivesse permanecido a mesma de 2000, a melhoria na proporção de alunos abaixo do nivel de proficiencia mínimo acordado pelos através dos Objetivos de Desenvolvimento Sustentável seria 3p.p. superior, ou o equivalente a dois anos adicionais de melhoria média.
• Apenas em alguns países, a proporção de alunos que alcançaram a proficiência piorou, apesar de pequenas melhorias nas pontuações médias nos testes. Na Geórgia, a pontuação média aumentou 6 pontos entre 2009 e 2018; no entanto, a proporção de alunos abaixo do limite mínimo de proficiência aumentou 2,4 pontos percentuais. Portanto, foram os alunos com notas mais altas nos testes que melhoraram mais.

➤ Quando as pontuações médias nos testes caem, a desigualdade na aprendizagem sempre piora; e não houve um padrão claro quando o nível de proficiência melhorou

• Em todos os países onde a proporção de alunos abaixo da proficiência mínima aumentou, a desigualdade na aprendizagem piorou a situação. Na Coréia do Sul, as pontuações médias em 2018 foram quase as mesmas de 2000, mas a proporção de jovens que não conseguem ler com proficiência mínima aumentou de 6% para 15% à medida que a desigualdade no aprendizado aumentou.
• A proficiência pode melhorar mesmo quando a desigualdade na aprendizagem piora. Entre 2006 e 2018, a proporção de alunos abaixo da proficiência mínima na Colômbia aumentou quase 6 pontos percentuais, embora as pontuações médias nos testes tenham aumentado 27 pontos, refletindo maiores melhorias na aprendizagem de crianças com desempenho de aprendizagem relativamente mais alto.

A visualização de exemplos de países pode esclarecer a decomposição. A Figura 3 mostra as distribuições sobrepostas das pontuações de leitura em um país para duas rodadas do PISA - a primeira em azul e a última em vermelho. Em países como o Peru, as duas fotos no tempo têm formas semelhantes, mas pontuações médias diferentes nos testes dão a impressão de que a curva deslizou, a maré alta que levantou todos os barcos. Na Coreia do Sul, a média permaneceu a mesma, mas a forma da distribuição (desigualdade no aprendizado) mudou significativamente entre os anos.

Figura 3- Distribuição das pontuações de leitura em duas rodadas do PISA para os países selecionados

 
Projetar políticas para escala com foco no aprendizado para todos

Os ODS nos deram um consenso sobre os níveis mínimos de proficiência de aprendizagem. Devemos construir sobre isso para documentar e compreender os motores da mudança. Aprendizado para todos requer a superação das desigualdades entre os países e dentro deles.

Em todos os países, devemos estar obcecados em obter resultados em escala. Intervenções bem-sucedidas em pequena escala que beneficiam um pequeno grupo de crianças não serão suficientes para lidar com a magnitude da crise de aprendizagem. As políticas e intervenções precisam ser planejadas em escala. Isso não significa necessariamente que precisamos revisar todo o sistema educacional no curto prazo para alcançar melhorias no aprendizado. Políticas mais focadas em escala, conforme descrito no “Relatório Ending Learning Poverty” e Estado do Ceará no Brasil, podem gerar melhorias significativas de curto prazo, enquanto, ao mesmo tempo, os países assumem a tarefa mais difícil de construir a longo prazo sistemas de educação robustos.

Para garantir que o aprendizado aconteça para todos, devemos medir e monitora as mudanças no aprendizado das crianças que não alcançam os níveis mínimos de proficiência. Avaliar o desempenho dos sistemas educacionais com base em pontuações médias ou lacunas de desempenho entre os grupos não é suficiente. Devemos ser intencionais e sistemáticos na maneira como documentamos e entendemos a desigualdade de aprendizagem dentro dos sistemas. Nem todos os sistemas educacionais propagam as desigualdades da mesma maneira.

Estimamos que a COVID-19 afetará negativamente a distribuição da aprendizagem, como já aconteceu antes em todos os episódios de declínio de aprendizagem. Períodos de redução da proficiência de aprendizagem nunca foram neutros do ponto de vista de distribuição. Daqui para frente, devemos mitigar e remediar as perdas de aprendizagem dos mais vulneráveis. Temos a oportunidade e a responsabilidade de reimaginar e reconstruir sistemas educacionais mais resilientes e capazes de proteger melhor a aprendizagem dos mais vulneráveis, especialmente em momentos de crise.