Os bons diretores da escola nascem ou podem ser criados?

Os bons diretores podem fazer uma grande diferença
"Acredita-se amplamente que um bom diretor é a chave para uma escola bem-sucedida." Assim disseram Branch, Hanushek e Rivkin em um estudo que analisou o efeito dos diretores escolares sobre o aprendizado e a produtividade. Mas, como puderam medir isso? Utilizando um banco de dados do estado do Texas, nos Estados Unidos, eles aplicaram uma metodologia para medir o valor agregado, análoga à utilizada para medir o desempenho dos professores. Eles utilizaram como controle informações básicas individuais e condições socioeconômicas dos alunos (gênero, raça e indicador de pobreza), bem como os resultados dos exames dos alunos no ano anterior. Então, eles perguntaram: o que acontece com a aprendizagem dos alunos quando uma escola muda seu diretor? Eles encontraram que o aumento de um desvio padrão na qualidade do diretor aumenta a aprendizagem dos alunos em 0.11 desvio padrão. Mesmo depois de considerar alguns ajustes adicionais, suas estimativas mais conservadoras mostram que "um aumento de um desvio padrão na qualidade do diretor se traduz em, aproximadamente, 0,05 desvio padrão na melhoria do desempenho médio dos alunos, ou quase dois meses de aprendizado adicional".
Notavelmente, embora a melhoria da efetividade do professor afete o desempenho médio de todos os alunos de sua classe, melhorar a eficácia do diretor afeta o desempenho médio de toda a escola, de modo que os ganhos potenciais são mais altos.

Nem todas as escolas têm bons diretores
Em todos os países, a qualidade da gestão das escolas varia drasticamente. Bloom e outros pesquisadores mediram a qualidade da gestão em 1.800 escolas secundárias em 8 países usando uma versão da Pesquisa Mundial de Práticas de Gestão adaptada para escolas. Como mostra o gráfico abaixo, a distribuição dos escores de qualidade da gestão varia tanto dentro como entre países, com muitas escolas mal administradas.
 
Fonte e notas: Bloom e outros, 2015 . As linhas vermelhas são a distribuição de gestão nas escolas dos EUA (para fins comparativos). As barras mostram a distribuição dos escores de gestão em cada país. Melhores classificações do escore de gerenciamento estão à direita.

Quando essas pontuações de gerenciamento estão vinculadas ao desempenho dos alunos, a associação é forte.
 
Fonte e notas: Fryer, 2017 . Os dados regionais são do Canadá, da Alemanha e da Itália.

Os diretores de escolas podem melhorar?
Embora uma literatura considerável tenha examinado várias intervenções de melhoria da "gestão escolar", a maioria dessas intervenções foca em tornar a comunidade escolar mais envolvida na tomada de decisões da escola, em vez de tentar melhorar a qualidade da liderança ou do gerenciamento do diretor. Assim, o novo texto para discussão, de Roland Fryer, sobre o impacto das formações para diretores de escolas é muito bem-vindo. Como ele diz: "Até o momento, todas as evidências sobre a relação entre a gestão da escola e o desempenho dos alunos são apenas correlações".

De volta ao Texas. De 58 escolas, metade recebeu uma formação intensiva sobre gestão escolar. (As escolas foram aleatorizadas utilizando pares correspondentes e foram distribuídas de forma aproximada entre as escolas primárias – anos iniciais e anos finais – e escolas secundárias.) A formação foi de 300 horas ao longo de dois anos. Isso incluiu uma formação de uma semana inteira todos os anos, formação continuada com um tutor (o "Diretor de Gerenciamento"), um conjunto de avaliações intermediárias de alta qualidade e uma formação sobre como utilizá-las e um sistema de monitoramento de dados.

Como a formação foi implementada no nível mais alto da gestão, a intervenção envolveu 3 níveis de gerenciamento. Cada nível tem um elemento de conteúdo e um elemento de sistema. O objetivo era dar aos diretores um melhor conteúdo para compartilhar com seus professores e um sistema para acompanhar a qualidade do ensino.

Nível 1: Planejamento instrucional
A cada semana, os professores deveriam fazer planos de aula e os diretores deveriam dar devolutivas. Os diretores receberam formação em "como fornecer feedback de alta qualidade sobre os planos de aula dos professores e como liderar uma reunião de planejamento com os professores", bem como no processo de "planejamento de trás pra frente". Muitos professores se envolvem no "planejamento baseado em atividades", onde trazem uma atividade envolvendo o tópico de instrução (Fryer dá o exemplo de construir uma maquete de vulcão para uma aula sobre vulcões) e depois decidem o que avaliar com base na atividade. O "planejamento de trás pra frente" começa a partir do que os professores querem avaliar e trabalhar para depois projetar de trás pra frente as atividades que gerarão esse conhecimento.

Nível 2: Instrução baseada em dados
Os alunos foram avaliados a cada 6 ou 8 semanas sobre os conhecimentos de leitura, matemática, ciências naturais e ciências sociais. (Na prática, as escolas administraram mais de 90% das avaliações). Após cada avaliação, os dados foram carregados em uma plataforma de análise de dados e os professores analisariam os dados e redigiam planos de ação durante a semana da avaliação. Os diretores (ou outros líderes da escola) se reuniriam com professores para dar devolutivas sobre os planos. A conclusão dos planos de ação foi menos consistente: 75% das escolas que participaram da intervenção apresentaram pelo menos um plano de ação durante o ano. A escola também foi incentivada a realizar avaliações formativas semanais (testes curtos), mas essas não foram monitoradas. As escolas comparáveis que não participaram da intervenção também tiveram acesso às avaliações, mas não à formação sobre como incorporá-las em planos de ação.

Nível 3: Observação e feedback
"Esperava-se que os diretores garantissem que todos os professores seriam observados durante a instrução dentro de sala de aula pelo menos uma vez a cada duas semanas por 15 a 20 minutos por observação", seja pelo diretor ou por outro líder da escola. O observador e o professor se reuniam para discutir e "identificar pelo menos uma ação chave que o professor poderia implementar para melhorar a instrução". Os diretores e líderes escolares foram treinados em como observar, como realizar as reuniões de acompanhamento e como acompanhar as observações. As reuniões de acompanhamento seguiram um protocolo de 6 passos do livro Potencializar Liderança, de Paul Bambrick-Santoyo. Muitos simplesmente usaram uma planilha do Google para acompanhar as observações.

Resultados
Os diretores que fizeram parte da intervenção (tratamento) participaram de 58% das formações (versus 1% dos diretores comparáveis que não fizeram parte da intervenção - controle). Os professores em escolas de tratamento foram observados - em média - 0,6 vezes por mês, de acordo com dados administrativos, ou seja, pouco mais de uma vez a cada dois meses (versus 0,04 vezes por mês em escolas de controle, ou uma vez a cada 25 meses). A diferença é menor nos dados declarados pelos diretores: 2,3 observações por professor por mês para o tratamento versus 1,3 para o controle. No final do primeiro ano, 80% dos diretores em escolas de tratamento classificaram sua formação como mais eficaz do que no ano anterior (ou seja, formação tradicional como de costume), mais de 3 vezes o número nas escolas de controle.

E quanto ao aprendizado do aluno? Fryer examinou os impactos nos exames de baixa e alta rigorosidade no primeiro ano e, em seguida, em exames de alta rigorosidade para o segundo ano. O programa teve um impacto, especialmente no primeiro ano, com apenas a oferta da formação, que gerou cerca de 1 desvio padrão sobre a aprendizagem.

O programa funcionou melhor para alguns diretores do que para outros: funcionou melhor para os diretores com diplomas de pós-graduação, para diretores com maiores resultados em seus próprios exames (no SAT, uma prova de entrada na universidade dos EUA), e com medidas socioemocionais mais elevadas ( determinação e locus de controle interno).

Alguns dos maiores efeitos são observados em escolas onde o mesmo diretor permaneceu pelos dois anos do programa, com um ganho de desvio padrão de 0,13 no exame de alto rigor e um ganho de 0,32 no exame de baixo rigor. Da mesma forma, há uma mudança muito forte ao longo da implementação: os diretores que implementaram o programa com mais fidelidade obtiveram impactos maiores. Claro, a implementação é endógena, mas mesmo se você prever a implementação usando características pré-intervenção dos diretores, a mudança é claramente positivo. Fryer continua a implementar uma gama de verificações de robustez, incluindo múltiplas correções de hipóteses, que eu deixarei para a hora de dormir.

Rentabilidade
Fryer, em seguida, compara os tamanhos do efeito e dos custos da formação de gestores com uma série de outras intervenções educacionais nos Estados Unidos. Aqui está o que ele encontrou:

• "O efeito da redução do tamanho das turmas de 24 para 16 alunos por professor é de aproximadamente 0,24 desvio padrão por ano em relação a exames de matemática e leitura, com um custo marginal de US $ 5,084 por aluno e uma taxa interna de retorno (TIR) de 9,7% (Krueger, 1999)".
• "The Harlem Children’s Zone Promise Academy Middle School [A Escola Intermediária da Promessa da Zona de Crianças do Harlem] aumenta os resultados médios de matemática e leitura em 0.28 desvio padrão por ano, com um custo marginal de US $ 7.536 e uma TIR de 11,9% (Dobbie e Fryer 2011)".
• "Teach for America [Ensinar pela América] aumentou a pontuação de matemática e leitura em 0.18 desvio padrão por ano, com um custo marginal de US $ 3.707 e uma TIR de 11,7% (Glazerman et al., 2006)".
• "O custo marginal médio por aluno de nossa experiência é de US$ 9,26 por aluno, por ano... Isso implica uma TIR de 79% - a mais alta entre todas as calculadas usando dados experimentais. Além disso, se os distritos escolares podem direcionar a formação administrativa para os diretores que, a priori, provavelmente permanecerão em seus empregos durante a formação ou implementarão da formação com alta fidelidade, a TIR é de 94% ou 96%, respectivamente".

Nada mau.
Os diretores escolares podem se tornar melhores. Mas este exemplo é uma intervenção intensiva e multifacetada, e a qualidade da implementação fez uma grande diferença. Então, vamos melhorar nossos diretores, mas não esperamos que seja fácil.
 
Leitura de bônus

• O estudo de Branch e outros de 2013 em Educação Next (citado acima) baseia-se neste Documento de Trabalho NBER mais longo a partir de 2012.
• Fryer possui um apêndice que descreve o programa com grande detalhe.

Esta publicação foi produzida com contribuições de Leandro Costa, Adriane Landwehr e André Loureiro.