A cada três anos, no início de dezembro, são publicados os resultados do PISA, o maior teste educacional do mundo que avalia, comparativamente, o desempenho dos sistemas educativos dos países que participam no teste. Conheça os resultados portugueses no teste de 2018.
O maior teste do mundo: 79 países e regiões, mais de 600 000 alunos…
A cada três anos, no início de dezembro, a comunidade educativa fervilha com a publicação dos resultados do PISA, o maior teste educacional do mundo que avalia, comparativamente, o desempenho dos sistemas educativos dos países que participam no teste. O Programme for International Student Assessment (PISA) foi iniciado em 2000 pela OCDE com o objetivo de diagnosticar os pontos fortes e fracos dos sistemas educativos na formação dos jovens que, no virar do século, se encontravam no final da escolaridade obrigatória na maioria dos países participantes. O PISA não segue uma matriz curricular definida, mas antes avalia se os jovens de 15 anos conseguem utilizar os seus conhecimentos de leitura, ciências e matemática na resolução de problemas do dia a dia por forma a exercer uma cidadania ativa1. Apesar de alguma controvérsia, os resultados do PISA têm lançado debates profundos sobre os sistemas educativos, sendo muitas vezes o estímulo para mudanças estruturais e de política educativa em diversos países (p.ex., Alemanha, Japão ou Portugal2). A relevância internacional do PISA na educação mundial é atestada pelo número crescente dos países e regiões participantes: dos 32 países (dos quais 28 eram membros da OCDE – Organização para o Desenvolvimento e Cooperação Económica) e pouco menos de 200 000 alunos que participaram no PISA 2000, o número de participantes tem aumentado continuamente registando 79 participantes, e mais de 600 000 alunos, na edição de 2018, cujos resultados agora se conhecem.
Os países do sudeste asiático mantêm a liderança na escala ordenada do PISA, seguidos pelos países do norte europeu. Dos últimos lugares da lista ordenada dos resultados do PISA entre os membros da OCDE na edição de 2000, Portugal subiu à 18.ª posição da escala ordenada da literacia de leitura, à 20.ª posição a ciências e à 22.ª a matemática na edição de 2018. Portugal está agora significativamente acima de outros congéneres europeus da bacia do Mediterrâneo (Itália, Grécia e Espanha) e ao nível de países europeus como a Alemanha, a Holanda, a Bélgica ou a França.
A nível mundial, aproximadamente um em cada quatro alunos (23%) não atingiu o nível básico de literacia de leitura (identificar as ideias principais de um texto de dimensão média, e ligar informação de diferentes fontes). Aproximadamente um em cada 10 alunos (8,7%) conseguiu alcançar nível elevado de literacia (ler textos complexos, e distinguir entre factos e opiniões num texto não familiar).
Em Portugal, a percentagem de alunos que não atingiu o nível básico de literacia de leitura foi de 20%. Sete por cento atingiu um nível elevado de proficiência e apenas 0,8% atingiu o nível máximo.
Portugal, é ainda a maior história de sucesso do PISA na Europa?
Portugal como membro fundador da OCDE participou em todas as edições do PISA. Da antepenúltima posição em literacia de ciências e literacia matemática, e 25.ª posição da lista ordenada dos membros da OCDE, em literacia de leitura, na edição de 2000, os alunos portugueses superaram a média da OCDE em 2015 em literacia de leitura e ciências, não diferindo significativamente da média da OCDE em matemática. Num comentário à evolução positiva de Portugal, em contraciclo com a evolução negativa da maioria dos membros da OCDE, Andreas Schleicher, o diretor do PISA, afirmou que «Portugal é a maior história de sucesso da Europa no PISA»3.
Em 2018, os alunos portugueses mantiveram-se em "terreno positivo", ficando 5 pontos acima da média da OCDE a leitura (492 vs. 487) e três pontos acima da média da OCDE a matemática e a ciências (492 vs. 489).
Contudo, quando considerada a variabilidade associada às estimativas de literacia (decorrente dos erros de amostragem e dos erros de medida), estas diferenças não são estatisticamente significativas, colocando o desempenho dos alunos portugueses na média dos seus congéneres da OCDE.
A evolução observada na história do PISA, entre 2000 e 2018, é de +1,5 pontos/ano para a literacia de leitura, +2,1 pontos/ano para literacia de ciências e +2,2 pontos/ano para literacia de matemática. Esta evolução positiva contrasta com a evolução negativa da média no conjunto dos membros da OCDE: -0,4, -0,5 e -0,6 pontos/ano, respetivamente para leitura, ciências e matemática.
Enquanto que a evolução média da OCDE revela um retrocesso da literacia dos alunos de 15 anos, em Portugal, os alunos que realizaram o PISA em 2018 apresentam um ano adicional de literacia comparativamente aos seus colegas que realizaram o PISA em 2000. Os valores de 2018 indicam, contudo, um retrocesso para o nível dos alunos da edição do PISA de 2012.
Ainda assim, dos 79 sistemas educativos que participaram no PISA, apenas sete (Albânia, Colômbia, Macau, República da Moldávia, Peru, Portugal e Qatar) revelaram uma melhoria significativa do desempenho dos seus alunos simultaneamente a leitura, matemática e ciências na história do PISA. Destes sete, apenas um é membro da OCDE: Portugal.
É, porém, de referir que os dados do PISA continuam a revelar um enorme fosso entre os alunos de estratos socioeconómicos mais favorecidos e mais desfavorecidos como avaliado pelo índice do Estatuto Socioeconómico e Cultural (ESCS) do PISA: a diferença na pontuação no PISA entre os alunos destes dois estratos (percentil 75 vs. percentil 25 do ESCS) é de 95 pontos a leitura, o equivalente a quase 4 anos de escolaridade! A percentagem de estudantes de baixo desempenho (low achievers) (isto é, estudantes que não alcançam o nível mínimo de proficiência) nos três domínios é de 12,6%, valor que não difere significativamente da média da OCDE (13,4%). Será também interessante contrastar, logo que os dados nacionais sejam públicos, as regiões com melhores e piores desempenhos no PISA. Em 2015, as diferenças entre o Alentejo Litoral (536 pontos a Ciências) e o Tâmega e Sousa (460 pontos) era equivalente a três anos de escolaridade (76 pontos). Os alunos do Alentejo Litoral estavam acima do nível dos alunos Finlandeses (521 pontos a ciências) enquanto que os do Tâmega e Sousa estavam ao nível da Eslováquia (460 pontos a ciências). A escola portuguesa não tem sido capaz de cumprir com a sua função de nivelador social4. Porém, os dados dos PISA indicam que a pobreza não é destino. Cerca de 10% dos alunos de estratos socioeconómicos mais desfavorecidos conseguiram atingir níveis de desempenho no quarto superior da distribuição do país. Ainda assim, um em cada quatro alunos de estratos socioeconómicos mais baixos, mas com resultados de topo, não espera concluir estudos de nível universitário.
O teste PISA de 2018
Em cada edição do PISA são avaliadas as literacias de leitura, matemática e de ciências de alunos de 15 anos. Opcionalmente, os países podem participar no domínio de literacia financeira e num quarto domínio inovador que varia de ciclo para ciclo (p. ex., «Resolução colaborativa de problemas» na edição de 2015, «Competências globais» na edição de 2018, «Pensamento Criativo» na edição de 2021).
Face à extensão dos domínios em avaliação e à necessidade de limitar o teste a duas horas, é, em cada ciclo, eleito um domínio principal que avalia todos os alunos participantes (uma hora de teste), e dois domínios secundários que avaliam diferentes proporções dos alunos amostrados (uma hora de teste). Na primeira edição do PISA (2000), o domínio principal foi a leitura, em 2003 o domínio principal foi a matemática e em 2006 o domínio principal foram as ciências. Estes domínios principais repetem-se a cada 3 ciclos. Adicionalmente, considerando as limitações logísticas (tempo – por exemplo, no PISA 2015 estimou-se que o tempo necessário para um aluno responder a todos os itens do teste era de 13,5 horas –, dinheiro e organização espacial), cada aluno é avaliado apenas numa fração dos itens de cada domínio. No PISA 2018 existiram 36 versões de teste com diferentes combinações de itens do domínio principal e dos domínios secundários, cada uma com uma duração prevista de duas horas. Numa mesma escola, é possível que todos os alunos que participaram no PISA 2018 tenham sido avaliados com versões de teste diferentes. Por este motivo o PISA não permite obter notas individuais válidas e fiáveis para cada aluno que faz o teste; apenas as estimativas populacionais são válidas.
O PISA estima a literacia usando modelos estatísticos complexos, da teoria de resposta ao item e imputação de valores omissos planeados, usando a informação limitada das respostas aos itens que cada aluno respondeu e a informação de contexto recolhida nos questionários para estimar os valores plausíveis para cada uma das literacias por aluno, que são depois agregadas para produzir as estimativas da literacia da população amostrada. A escala do PISA estabeleceu-se para cada domínio no primeiro ano em que esse domínio foi o principal, com um valor médio de 500 pontos, que correspondia à média dos países da OCDE nesse ano de referência, e um desvio-padrão de 100 pontos. Os itens do PISA não são públicos, e o teste mantém cerca de 40% de itens comuns a edições anteriores do estudo (itens trend) no domínio principal e 100% de itens trend nos domínios secundários. Estes itens permitem avaliar as tendências de literacia de ciclo para ciclo.
Estima-se que uma variação de aproximadamente ¼ de desvio-padrão na escala do PISA é equivalente a um ano de escolaridade5.
No PISA 2018, o domínio principal foi, pela terceira vez, a literacia de leitura. Os alunos responderam a perguntas sobre leitura durante uma hora, e a perguntas de matemática e ou ciências na outra hora (domínios secundários). Os alunos Portugueses participaram ainda no teste de literacia financeira, mas não realizaram o teste de “Competências globais”. Os resultados destas duas avaliações opcionais só serão conhecidos em 2020. As variáveis de contexto pessoal, familiar e de escola, são inquiridas num questionário de 35 minutos aplicado após o teste das literacias. Portugal foi um dos 70 participantes (no total de 79) que realizou o teste em computador. Em 2018, os itens do teste de leitura foram organizados em três blocos com diferentes graus de dificuldade. O desempenho dos alunos no primeiro bloco central, administrado pelo computador, determinou o grau de dificuldade dos dois blocos seguintes (Block Adaptive Testing) a que os alunos foram submetidos. O teste de 2018 foi constituído por um terço de itens de resposta construída (resposta aberta) e dois terços de itens de seleção (escolha múltipla). A avaliação da literacia de leitura enfatizou a capacidade de encontrar, comparar, contrastar e integrar informações em várias fontes de texto. Esta ênfase procura acompanhar a evolução da leitura, em particular de textos em formato digital. Até há bem pouco tempo, quando um aluno não sabia a resposta a uma questão, poderia consultar uma enciclopédia ou um livro de texto onde a informação estava devidamente validada. Atualmente, os motores de busca online disponibilizam centenas de respostas a uma qualquer questão, tendo o aluno de perceber quais as respostas corretas e quais as incorretas ou enganadoras. O quadro de referência da literacia de leitura do PISA 20186 reconhece a evolução da literacia de leitura observada nas duas últimas décadas, enfatizando a necessidade de lidar com múltiplas fontes de texto, factos vs. opiniões, ambiguidades múltiplas, sensacionalismo, bem como a análise critica de diferentes fontes para construir o conhecimento necessário ao exercício da cidadania plena. A OCDE disponibiliza exemplos de itens de leitura (para já, em inglês ou francês) utilizados no PISA 2018.
Quem são os alunos do PISA?
O PISA, contrariamente a outros estudos de avaliação educativa, como por exemplo o TIMSS ou o PIRLS, é um teste baseado na idade, e não no ano de escolaridade. A OCDE considera que o ano de escolaridade não é um bom indicador do nível de desenvolvimento cognitivo em que os alunos se encontram já que existe grande variabilidade entre países no que concerne à natureza e extensão do ensino pré-escolar, idade de entrada no primeiro ciclo, estrutura do sistema de ensino, prevalência de retenção, currículos, etc…Assim, para melhor comparar os desempenhos dos alunos internacionalmente, o PISA avalia os alunos numa idade específica: 15 anos. Desta forma, o PISA compara consistentemente os conhecimentos e capacidades de alunos com idades compreendidas entre os 15 anos e três meses e os 16 anos e dois meses, em qualquer via de ensino ou formação (regular, vocacional/profissional), em escolas públicas ou privadas, e a frequentar pelo menos o 7.º ano de escolaridade ou equivalente.
O PISA é um estudo por amostragem de larga escala, sendo os alunos selecionados de forma a representar devidamente a população escolar de 15 anos de cada país/região participante. Em Portugal, a partir das estatísticas oficiais, o país é divido em estratos (regiões administrativas NUTS III; escolas publicas vs. privadas) e dentro de cada estrato é selecionada aleatoriamente, com probabilidade proporcional à dimensão da escola e ao número total de alunos no estrato, um determinado número de escolas (em 2018 foram selecionadas pelo menos nove escolas por região NUTS III). Dentro de cada escola selecionada foi então extraída uma amostra aleatória de 40-50 alunos. Os alunos a quem os encarregados de educação autorizam a participação voluntária no PISA, e que não apresentem algum tipo de limitação física ou cognitiva que os impeçam de realizar o teste, são convidados a participar nas condições estandardizadas do PISA. Os resultados do teste PISA não têm qualquer influência nas classificações escolares dos alunos que realizam o teste, nem estes resultados, ou as médias das escolas, são tornados públicos.
No PISA 2018 participaram 276 escolas e 5932 alunos Portugueses. A taxa de participação ponderada foi de 76%, valor inferior ao limite técnico de 80% imposto pela OCDE. Contudo, a OCDE considera que apesar de os alunos dos 7.º, 8.º e 9.º ano serem os que mais faltaram ao teste PISA e que estes têm piores resultados escolares, as tendências e as comparações do desempenho dos alunos portugueses face aos seus congéneres dos outros países, pode não ser “particularmente afetada”7. A maioria dos alunos Portugueses que participaram no PISA 2018 encontram-se a frequentar o 10.º ano de escolaridade (57%), tendo iniciado o seu percurso escolar no ano letivo de 2008/2009. Estes alunos foram expostos ao Plano Nacional de Leitura (estabelecido em 2007) e aos novos currículos de Português e Matemática, bem como ao Plano da Matemática de 2008 a 2012. Tiveram acertos de programas entre 2010/2011 e 2012/2013, e os Novos Programas e Metas Curriculares a partir de 2014/2015 nas disciplinas dos três domínios do PISA. Neste período, ocorreram ainda reforços de tempos letivos, a partir de 2011/12 a Português e Matemática e de 2012/13 a Ciências Naturais e Físico-Química. Estes alunos realizaram provas finais de 6.º ano (2013/2014) e de 9.º ano (2016/2017). Um dado relevante que pode ajudar a contextualizar os resultados dos alunos que participaram no PISA 2018 é o facto de três em cada quatro ter referido que se esforçou menos nas respostas ao teste PISA do que se este contasse para as suas classificações escolares finais.

Referências:
1 OECD (2001). «Knowledge and Skills for Life. First Results from the OECD Programme for International Student Assessment (PISA) 2000». Paris: OECD.
2 Marôco, J. (2020). «International Large-Scale Assessments: Trends and Effects on the Portuguese Public Education System». In Harju-Luukkainen, H.; McElvany, N. & Stang, J. (Eds). Monitoring of Student Achievement in the 21st Century. European Policy Perspective and Assessment Strategies. Berlin: Springer: (In Press)
3 Tavares, P. S. (2017). Andreas Schleicher: «Portugal é a maior história de sucesso da Europa no PISA». Diário de Notícias.
4 Marôco, J. (2017). «Assimetrias Educacionais em Portugal: Através das Lentes do PISA». In Conselho Nacional de Educação (CNE) (Ed.), Estado da Educação 2016 (pp. 254–274). Lisboa: Conselho Nacional de Educação (CNE).
5 OECD (2009). «The Usefulness of PISA Data for Policy Makers, Researcher sand Experts on Methodology». In PISA Data Analysis Manual: SPSS® Second Edition. Paris: OECD.
6 OECD (2019), «PISA 2018 Reading Framework», In PISA 2018 Assessment and Analytical Framework, OECD Publishing, Paris.
7 OECD (2019), «PISA 2018 Results (Volume I): What Students Know and Can Do», PISA, OECD Publishing, Paris.
AUTOR