pt en
Newsletter
glossario

saber mais

Uma prova igual para todos permite que estudantes, pais e escolas tenham uma melhor perceção do nível de conhecimentos de cada aluno e do estado da educação do país. Se há dados que mostram que as provas constituem um incentivo para que se atinjam as metas de aprendizagem, mantêm-se críticas sobre o seu efeito nas disciplinas não sujeitas a exames. O que concluem, afinal, os estudos científicos sobre a realização de exames?

Em Portugal, no final de cada ano letivo, os alunos são chamados à realização de exames nacionais. As vantagens e desvantagens deste método de avaliação externa tem sido um dos temas mais debatidos no sistema de ensino português, debate esse igualmente presente em muitos outros países.

De entre as vantagens da existência de provas externas e iguais para todos os alunos aponta-se: o acesso a informação acerca da evolução das escolas e do sistema de ensino; um maior incentivo para se atingir as metas de aprendizagem, nomeadamente em escolas com alunos com maiores dificuldades; ou ainda a ajuda na consolidação de conteúdos1.

Do lado das desvantagens, estas provas têm sido consideradas como redutoras, uma vez que se debruçam apenas sobre uma parte dos conhecimentos dos alunos, levando a que o ensino se foque em técnicas para a execução do teste, prejudicando as disciplinas não sujeitas a avaliação externa e causando uma maior ansiedade em alunos e professores.

Muitos destes argumentos foram acentuados depois da adoção nos Estados Unidos da América da famosa política No Child Left Behind, em 2002, que tinha como um dos principais pilares a generalização de testes centralizados com implicações para o percurso dos alunos, escolas e professores2

A propósito desta discussão, vale a pena referir dois estudos em economia da educação que, usando distintos tipos de dados, tentaram avaliar o impacto de diferentes métodos de avaliação, em particular qual a variação do aproveitamento dos alunos depois da introdução de provas externas e padronizadas.

Um dos mais relevantes estudos nesta área focou-se numa experiência que decorreu em Chicago a partir do ano letivo 1996/1997, quando foram adotadas provas externas para os alunos no final do 3.º, 6.º e 8.º anos. Os alunos que não obtivessem um determinado nível mínimo nestes testes teriam de frequentar uma escola de verão durante seis semanas, ao fim da qual repetiriam os testes, sendo que estes resultados definiam se transitavam ou não para o ano de ensino seguinte. Estes testes também tiveram consequências para as escolas, uma vez que aquelas que apresentavam pelo menos 15% dos alunos com resultados abaixo de um determinado nível entravam num processo de análise que poderia levar à sua reformulação.

Usando dados de quase 800 mil alunos entre 1993 e 2000, o estudo analisa o impacto da introdução destes testes, medindo como estes alteraram a tendência dos resultados dos alunos em Chicago ao longo do tempo e como é que esta tendência divergiu de outras zonas do país onde testes do mesmo tipo não haviam sido introduzidos. Os impactos produzidos por esta política sobre os resultados dos alunos foram positivos e significativos, sendo comparáveis, em magnitude, ao famoso programa STAR, que reduziu as turmas de 22 para 15 alunos3. É de frisar que estes impactos se mostram menores para os alunos mais novos, nos 3.º e 6.º anos, e mais positivos para os alunos no 8.º ano de escolaridade.

Este estudo tentou ainda escalpelizar as origens da melhoria dos resultados dos alunos, através da análise, em detalhe, dos diferentes itens de resposta nos testes. Em matemática, constatou-se que essa melhoria adveio sobretudo dos melhores resultados em cálculo; em leitura esta evolução foi guiada pelo maior esforço dos alunos na realização da prova, refletida num maior número de itens respondidos e pelo maior número de questões corretamente respondidas nas últimas seções da prova. O estudo detetou ainda que a introdução destes testes levou a reações estratégicas dos professores, tais como o aumento dos alunos em percursos de educação especial e o aumento da retenção preventiva de alunos – induzindo uma menor participação no exame de alunos com maiores dificuldades – ou ainda um menor tempo alocado a outras disciplinas não cobertas pelos exames. 

Os impactos mais fortes advêm de sistemas em que havia algum mecanismo de avaliação que permitia a comparação entre escolas e alunos, levando a um aumento dos resultados nos testes PISA entre 23 e 28 pontos.

E se não olharmos apenas para um único sistema de ensino, mas compararmos diferentes realidades? Tal é possível medindo de que forma diferentes tipos de avaliação impactam o aproveitamento em provas internacionais e comparáveis como o PISA. Para tal, um estudo muito recente usou dados do PISA entre 2000 e 2015, num total de mais de dois milhões de observações, em 35 países da OCDE e 24 outros não membros da instituição. Na sua análise, os autores consideram quatro tipos de avaliação aos 15 anos, idade em que é realizado o teste do PISA:

  1. testes uniformizados e centralizados, e cujos resultados são públicos e podem servir de comparação entre escolas e alunos – semelhantes, no caso português, aos exames nacionais;
  2. testes centralizados que são apenas usados para monitorar os resultados de alunos, professores e escolas, não sendo os seus resultados públicos – no caso português seriam próximos do formato das provas de aferição;
  3. testes internos de escola, correspondendo aos testes normalmente realizados pelos professores para aferir os conhecimentos dos seus alunos;
  4. testes usados para monitorização interna do trabalho dos professores – um tipo de avaliação que está, em geral, ausente da realidade portuguesa.

Uma vez que esta informação cobre um período relativamente alargado de tempo (15 anos), analisou-se o modo como as variações na política de avaliação dentro de cada país e ao longo do tempo afetaram os resultados nas provas internacionais de Leitura, Matemática e Ciências organizadas pela OCDE. Os resultados estimados mostram que os impactos mais fortes advêm de sistemas em que, no ano em análise, havia algum mecanismo de avaliação que permitia a comparação entre escolas e alunos, levando a um aumento dos resultados nos testes PISA entre 23 e 28 pontos4. Estes impactos mostraram ainda ser mais fortes em países cujos resultados no primeiro ano de realização dos testes PISA foram mais baixos, e como tal partiam de um ponto de partida menor, em termos comparativos com os outros países que participavam no teste. 

Existe assim evidência de que a realização e manutenção de provas externas têm impactos positivos sobre os resultados dos alunos, constituindo uma importante fonte de informação para famílias, escolas e professores.

O debate que este tema gera abre a porta para várias áreas de investigação, nomeadamente acerca da complementaridade entre a avaliação externa e interna, ou mais e melhores estudos empíricos sobre as reações que estas provas geram no método de ensino dos professores.

Apesar da relevância que as provas têm, estas são um instrumento de política educativa que deve ser enquadrado e complementado com outros que permitam uma melhoria dos resultados transversal a todas as áreas e a todos os tipos de alunos.

Notas

1 https://science.sciencemag.org/content/319/5865/966.full; https://journals.sagepub.com/doi/10.1111/j.1745-6916.2006.00012.x

2 https://www.gse.harvard.edu/news/ed/18/01/testing-charade; https://www.epi.org/publication/books_grading_education/

3 Estes impactos correspondem a um impacto positivo e estatisticamente significativo entre 20 e 30 pontos percentuais de um desvio padrão.

4 As notas do PISA têm por construção uma média de 500 pontos e um desvio padrão de 100.

Referências

Bergbauer, A. B. & Hanushek, E. A., & Woessmann, L., «Testing», NBER Working Papers 24836, National Bureau of Economic Research, 2018.

Jacob, B. A., «Accountability, incentives and behavior: The impact of high-stakes testing in the Chicago Public Schools», Journal of Public Economics, 89 (5–6), 2005, pp. 761–796.

Karpicke, J. D., & Roediger, H. L., «The critical importance of retrieval for learning», Science, 319 (5865), 2008, pp. 966–968.

Koretz, D., The Testing Charade. Pretending to Make Schools Better, University of Chicago Press, 2017.

Roediger, H. L., & Karpicke, J. D., «The Power of Testing Memory: Basic Research and Implications for Educational Practice», Perspectives on Psychological Science, 1 (3), 2006, pp. 181–210.

Ruffin, V. D., «Grading Education: Getting Accountability Right», Journal of Educational Administration, Vol. 47, n.º 5, 2009, pp. 678–680.

AUTORES

Hugo Reis é economista investigador no departamento de estudos económicos (área de estudos estruturais) no Banco de Portugal, professor auxiliar convidado na Universidade Católica Portuguesa, membro da unidade de investigação da CATÓLICA-LISBON e do IZA - Institute for the Study of Labor. 

Detém um Doutoramento em economia pela UCL - University College London, sob a supervisão de Pedro Carneiro e Orazio Attanasio, e foi consultor no Development Economics Research Group do Banco Mundial.

Os seus tópicos de investigação incluem economia de educação, avaliação de programas, mercado de trabalho, microeconometria e desenvolvimento económico, temas em que tem diversos trabalhos desenvolvidos e publicados em revistas científicas peer-reviewed internacionais, incluindo a International Economic Review.

Pedro Freitas é doutorando em Economia na Nova School of Business and Economics (Nova SBE), instituição onde é membro do Nova Center for the Economics of Education e onde obteve a sua licenciatura e MPhil em Economia. A sua investigação foca-se em tópicos de Economia da Educação e Capital Humano, tais como: medidas de valor acrescentado de professores, diferenciais entre notas internas e externas, externalidades de capital humano no mercado de trabalho ou as razões por detrás da progressão nos testes PISA. O seu trabalho usa bases de microdados compreensivas tanto do mercado de trabalho como do sistema de ensino português. Esteve igualmente envolvido na avaliação de impacto de diferentes projetos educacionais desenvolvidos em Portugal. Foi aluno visitante no departamento de economia da University College of London (UCL) e no departamento de estudos do Banco de Portugal. É assistente convidado na Nova SBE de diversas cadeiras de licenciatura e mestrado. 

Receba as nossas novidades e alertas

Acompanhe todas as novidades.
Subscrever