O que esperar do PISA 2022?

O que é o PISA?

O Programa Internacional de Avaliação de Estudantes, genericamente conhecido como Teste PISA, avalia em que medida os jovens de 15 anos, de todo o mundo, conseguem aplicar os seus conhecimentos e competências em Matemática, Ciências e Leitura para resolver problemas do quotidiano, necessários à cidadania ativa.

Este teste é realizado pela Organização para a Cooperação e Desenvolvimento Económico (OCDE) desde 2000 e a cada três anos — com exceção do último ciclo, adiado por um ano devido ao encerramento global das escolas durante o confinamento por covid-19. Desde a primeira edição, os testes PISA mantêm um conjunto de questões inalteradas (itens-âncora), permitindo comparar o desempenho dos alunos ao longo do tempo — ao contrário dos exames nacionais ou das provas de aferição, que, todos os anos, apresentam itens novos.

Apesar dos meritórios esforços dos autores dos exames e das provas de aferição, que procuram manter estruturas e níveis de dificuldade equivalentes, a verdade é que os itens dessas avaliações são ano após ano diferentes, impossibilitando comparações diretas entre resultados anuais.

Assim, a capacidade de comparar a evolução dos desempenhos ao longo do tempo é uma das mais-valias dos testes internacionais como o PISA ou o TIMSS (Trends in International Mathematics and Science Study), pois integram na sua composição itens-âncora.

Como tem evoluído Portugal no PISA?

Até recentemente, Portugal foi o único dos países da OCDE que realizam o PISA capaz de manter uma tendência positiva. Só mais sete países o conseguiram — e deles, apenas Portugal é membro da OCDE. A figura seguinte ilustra a tendência dos membros da OCDE nas últimas 7 edições do PISA em Matemática, Ciências e Leitura. Enquanto a matemática, os alunos portugueses mantiveram a pontuação entre 2015 e 2018, a leitura e ciências observou-se uma queda significativa entre estas duas edições. Será este resultado uma oscilação pontual ou, pelo contrário, indicia uma degradação dos conhecimentos e competências dos alunos portugueses, como avaliado pelo PISA?

O PISA não é um mero teste de conhecimentos e capacidades em Matemática, Leitura e Ciências. Inclui também questionários dirigidos a alunos, pais, professores e escolas para enquadrar os desempenhos dos alunos em variáveis do aluno (por exemplo, a expetativa da profissão futura, a motivação para a aprendizagem, o bem-estar), dos pais (as habilitações académicas, a profissão, as expetativas de formação dos seus educandos), dos professores (como a formação, as habilitações para o ensino e as práticas pedagógicas) e das escolas (recursos educacionais, percentagem de alunos carenciados, ênfase no sucesso académico, etc.).

A capacidade de comparar a evolução dos desempenhos ao longo do tempo é uma das mais-valias dos testes internacionais como o PISA ou o TIMSS.

Quando devidamente analisadas, estas variáveis permitem formular políticas educativas baseadas em dados. E as políticas são um dos fatores que podem explicar o êxito de Portugal no PISA; outros fatores serão a evolução socioeconómica das famílias, a melhoria da capacitação académica dos professores, a autonomia escolar e a universalização do ensino pré-escolar.

Como ilustra a figura seguinte, a introdução dos exames de 9.º ano em 2005 foi a medida de política educativa que apresentou maior sobreposição temporal com a evolução positiva dos resultados do PISA em Portugal. Outras medidas — por exemplo, o reforço das horas a Português e Matemática ou o Plano Nacional de Leitura — serão também responsáveis pelo percurso dos alunos portugueses no PISA.

De 2000 até 2015, os resultados globais do PISA tinham sempre estabilizado ou melhorado quando comparados com as edições anteriores. Contudo, em 2018, enquanto em Matemática os resultados se mantiveram iguais aos resultados de 2015 (492 pontos), em Ciências e em Leitura houve uma queda significativa do desempenho dos alunos portugueses (de 11 e 6 pontos, respetivamente).

Outros estudos internacionais, caso do TIMSS (que avalia a literacia em Matemática e Ciências), já tinham registado quedas de relevo nos alunos a frequentar o 4.º ano (15 pontos a Matemática, 4 pontos a Ciências) quando comparados com a edição anterior do estudo realizada em 2015. Esta tendência de pioria dos desempenhos parece ocorrer, de maneira consistente, nas provas internacionais realizadas após esse ano.

O que nos poderá dizer o PISA quanto ao efeito do encerramento das escolas na pandemia?

O PISA não é a única fonte de informação sobre os efeitos do confinamento. Em 2022, outro estudo internacional — o PIRLS 2021, que avalia a literacia de leitura em crianças do 4.º ano — observou uma quebra de desempenho em dois terços dos países participantes. Essa queda atribuiu-se em parte ao encerramento das escolas durante a pandemia.

Curiosamente, em Portugal, explicou-se oficialmente a quebra dos resultados com a «má elaboração das provas digitais» do PIRLS 2021. Contudo, como se argumentou neste artigo de opinião, essa não é razão plausível para os piores resultados observados entre 2016 e 2021.

De 2000 até 2015, os resultados globais do PISA tinham sempre estabilizado ou melhorado quando comparados com as edições anteriores. Em 2018, assistimos a uma queda significativa do desempenho dos alunos portugueses.

Em todo o mundo, tem sido profusamente reportado o efeito negativo do encerramento das escolas no desempenho dos alunos. Por exemplo, num artigo de 2022, Harry A. Patrinos e colegas do Banco Mundial e da Universidade de Harvard reviram 36 estudos realizados em 19 países e concluíram que a perda de aprendizagem devido ao encerramento das escolas na pandemia resultou num atraso médio de meio ano de escolaridade. As perdas estimadas variaram entre 0 anos (caso do Japão: 8 semanas de encerramento das escolas) até cerca de 1,5 anos (caso do México: 48 semanas de encerramento).

Curiosamente, Portugal não integrou o estudo do Banco Mundial. As estatísticas dos organismos oficiais portugueses indicam efeitos contraditórios do encerramento das escolas.

No relatório de 2023 da Direção-Geral de Estatísticas da Educação e Ciência (DGEEC), constata-se que as médias das classificações internas e dos exames subiram em todas as disciplinas nucleares analisadas, caso único e aparentemente «anómalo».

Só muito recentemente o «Estudo Diagnóstico das Aprendizagens 2023» elaborado pelo Instituto de Avaliação Educativa (IAVE) — comparando as competências em Matemática, Ciências e Leitura entre 2021 (durante a pandemia) e 2023 (depois da pandemia) com base nos mesmos itens e tarefas aplicados em 2021 — revela que, mesmo depois de implementado o Plano de Recuperação de Aprendizagens, o conhecimento das áreas disciplinares avaliadas no 3.º, 6.º e 9.º ano não melhorou consideravelmente, antes pelo contrário. Em Matemática e Leitura do 9.º ano (o mais próximo do ano modal do estudo PISA, que é o 10.º ano), a percentagem de alunos que acertou em pelo menos dois terços das tarefas propostas reduziu-se consideravelmente entre 2023 e 2021, sobretudo nos níveis de desempenho mais elementares.

Quanto às provas de aferição e exames, por serem públicas, não há itens-âncora, o que dificulta as comparações temporais. Apesar de, como observámos, os autores das provas se esforçarem por manter a estrutura idêntica, a verdade é que os critérios de correção mudam frequentemente, bem como a dificuldade dos itens e as fórmulas de cálculo das cotações finais.

Sem itens-âncora nem estabilidade temporal dos critérios de classificação, dificilmente se pode defender a validade das comparações temporais. Logo, as causas que se possam inferir quanto à evolução destes resultados são pouco mais que mera suposição estatística.

Resta então o PISA para avaliar o efeito do encerramento das escolas em Portugal?

Infelizmente, a resposta não é simples. Entre 2016 e 2022, a política educativa sofreu mudanças profundas: por exemplo, eliminaram-se os exames de 4.º e 6.º ano de Matemática e Português, flexibilizaram-se currículos existentes e introduziram-se novos currículos de «Aprendizagens Essenciais» alinhados com o novo «Perfil do aluno para o século XXI». Em vários países — incluindo Portugal —, tem-se identificado o efeito de curto prazo de algumas dessas políticas, caso da erradicação dos exames nacionais e a sua correlação com posterior pior desempenho dos alunos em estudos internacionais, nomeadamente no PISA.

Outras alterações de mais longo prazo, como mudanças dos conteúdos e metas curriculares, têm efeitos mais prolongados no tempo, pois demoram vários anos a alcançar os diferentes ciclos de ensino. Por exemplo, as «Aprendizagens Essenciais de Matemática» homologadas em 2018 com entrada em vigor no mesmo ano nos primeiros anos de cada ciclo, vão agora ser substituídas pelas «Novas Aprendizagens Essenciais a Matemática» a entrarem em vigor no 1.º, 3.º, 5.º e 7.º ano durante o ano letivo 2022/2023, no 2.º, 4.º, 6.º e 8.º ano durante 2023/2024, e por fim no 9.º ano em 2024/2025. 

Poderá não ser possível dizer de forma definitiva se a evolução dos alunos neste PISA 2022 (os quais, maioritariamente no 10.º ano, foram apanhados pelas "antigas" mas ainda não pelas "novas" aprendizagens essenciais) se deve às alterações de política educativa, nestes aspetos particulares, ou ao encerramento das escolas durante a pandemia. O prognóstico não é, porém, favorável. Dia 5 de dezembro saberemos.