A experimentação em pequena escala de diferentes políticas públicas educativas é essencial, mas nem sempre a sua aplicação em larga escala resulta. Porquê? Há investigação recente que lança nova luz sobre o problema.
Em educação, a experimentação é um processo natural e necessário. Não faltam ideias sobre como melhorar a aprendizagem da leitura, introduzir novos métodos pedagógicos, combater o insucesso escolar ou gerir as escolas com maior eficácia. A experimentação em pequena escala de diferentes políticas públicas é essencial, desde que acompanhada de modo adequado e avaliada rigorosamente para medir os resultados alcançados.
Mas o que acontece quando essas experiências resultam? Devem ser logo implementadas em todo o sistema de ensino? E, se forem, é razoável esperar que os impactos observados num contexto de pequena escala sejam replicados em grande escala? A resposta será: nem sempre.
Um exemplo famoso é uma política de desenvolvimento cognitivo para a primeira infância desenvolvida há alguns anos na Jamaica. No projeto-piloto, onde chegou a 64 crianças, teve impactos extraordinários no desenvolvimento destes alunos nos anos seguintes. Alavancado nestes resultados encorajadores, um programa semelhante chegou anos depois ao Peru, alcançando mais de 67 mil crianças. Contudo, desta vez os resultados no desenvolvimento futuro destes jovens foram reduzidos ou nulos. Ou seja, quando aplicada em grande escala, a mesma ideia falhou.
A possibilidade de replicar projetos piloto em larga escala é, por isso, uma das questões mais relevantes na formulação de políticas educativas, em particular porque muitos dos desafios que os sistemas de ensino enfrentam exigem soluções eficazes e de grande escala. Exemplos disso são as políticas de integração de alunos imigrantes ou a formação de novos professores, especialmente em regiões onde se regista uma acelerada escassez de docentes. Em ambos os casos é necessário chegar a escolas e alunos muito diversos e com contextos próprios, e, como tal, qualquer política focada nestes temas enfrenta desafios de escalabilidade.
A possibilidade de replicar projetos piloto em larga escala é uma das questões mais relevantes na formulação de políticas educativas, porque muitos dos desafios que os sistemas de ensino enfrentam exigem soluções eficazes e de grande escala
Por isso, vários investigadores centram-se hoje em estudar como programas piloto podem melhor informar acerca da sua futura escalabilidade e sustentabilidade.
Ao expandir um programa local e limitado, implementando-o à escala nacional, é preciso considerar diversos fatores para garantir que se preservam os impactos observados na experiência inicial. Consideremos alguns pontos importantes para a escalabilidade de projetos educativos:
- Repetição e consistência
Os resultados de um projeto de pequena escala — sejam positivos, negativos ou nulos — têm grande valor, especialmente se a avaliação subjacente for bem desenhada. Contudo, é essencial replicar esse projeto em diferentes contextos para obter garantias mais sólidas sobre os seus reais impactos. Por isso, é fundamental uma maior articulação entre as diversas entidades que operam no sistema educativo, por forma a coordenar esforços na aplicação e avaliação de projetos educativos, e assim compreender melhor os fatores que contribuem para o sucesso ou o fracasso de um projeto.
- Representatividade
Ao desenhar um projeto em pequena escala é crucial avaliar se a população-alvo é representativa do universo que se pretende alcançar. Por exemplo, se um projeto-piloto foi aplicado maioritariamente em escolas com alunos de desempenho académico menor, não se pode garantir que a mesma intervenção traga resultados similares em alunos com outras características ou níveis de desempenho.
- Qualidade e capacidade de monitorização
Projetos em pequena escala contam frequentemente com uma monitorização mais próxima e equipas muito capacitadas. Contudo, ao ampliar esses programas, é improvável manter o nível de supervisão e qualidade na implementação. Por exemplo, para um programa de tutorias realizado em poucas escolas é mais fácil recrutar tutores altamente eficazes. Já numa escala nacional, a variabilidade na qualidade dos tutores será maior, impactando os resultados do programa.
Isso significa que replicar um programa em larga escala é impossível? Não, mas exige considerar algumas dimensões fundamentais:
- Medidas de implementação: Não basta reportar os impactos do programa. É cada vez mais necessário documentar sua implementação, nomeadamente: a quantos alunos o programa chegou de facto? Que alterações substanciais ocorreram ao longo da sua implementação? Com que periodicidade se aplicou o programa? Quem foram os responsáveis pela implementação e como foram selecionados? Estas informações são essenciais para estimar os custos de escalabilidade, identificar boas práticas e apontar que grupos de alunos podem beneficiar mais ou menos da intervenção.
- Relatório de custos pormenorizado: É indispensável registar ao pormenor os custos. Embora algumas despesas possam ser reduzidas em grande escala, outras podem aumentar exponencialmente, tornando os projetos inviáveis.
- Relação institucional: A articulação com os atores institucionais, sejam eles ministérios ou direções-gerais, é fundamental para garantir que quem implementa os projetos conhece bem os obstáculos e a realidade dos sistemas de ensino.
Num momento em que tantas instituições, ONG e entidades do setor social intervêm nas escolas com os seus projetos, é vital refletir sobre a sustentabilidade e o potencial de estes se tornarem políticas públicas nacionais. Apenas com planeamento estratégico, avaliação criteriosa e cooperação institucional será possível transformar projetos locais em iniciativas eficazes e abrangentes.
Referências bibliográficas
Angrist, N., Ainomugisha, M., Bathena, S. P., Bergman, P., Crossley, C., Cullen, C., Letsomo, T., Matsheng, M., Marlon Panti, R., Sabarwal, S., & Sullivan, T. (2023). Building Resilient Education Systems: Evidence from Large-Scale Randomized Trials in Five Countries. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.4440703
Angrist, N., & Meager, R. (2023). Implementation Matters: Generalizing Treatment Effects in Education. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.4487496
Al-Ubaydli, O., Lai, C.-Y., & List, J. A. (2023). A Simple Rational Expectations Model of the Voltage Effect. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.4328794
Al-Ubaydli, O., Lee, M. S., List, J. A., Mackevicius, C. L., & Suskind, D. (2021). How can experiments play a greater role in public policy? Twelve proposals from an economic model of scaling. Behavioural Public Policy, 5(1). https://doi.org/10.1017/bpp.2020.17
McKenzie, D., «Threats and opportunities in taking promising results to scale: why isn’t going from 64 kids in Jamaica to 67,000 kids in Peru like Amazon.com?», World Bank Blogs. https://blogs.worldbank.org/en/impactevaluations/threats-and-opportunities-taking-promising-results-scale-why-isnt-going-64-kids
AUTOR