Uma avaliação mais eficaz da aprendizagem da Matemática no ensino primário e secundário

De um modo geral, reconhece-se que a avaliação formativa pode ter efeitos muito positivos na aprendizagem. A avaliação formativa transforma o espaço de aprendizagem na medida em que realça a responsabilidade dos professores em ensinar e transmitir eficazmente competências e conhecimentos. O melhor feedback que o professor pode receber é o facto de os alunos aprenderem ou não os conteúdos lecionados. Quando é possível determinar se a aprendizagem foi bem-sucedida — e uma aprendizagem bem-sucedida é determinada por um ensino eficaz —, o método de ensino pode ser aperfeiçoado. Como referiu Keller em 1968, pode afirmar-se que numa avaliação formativa os alunos nunca estão errados, uma vez que a sua resposta de aprendizagem constitui feedback para o professor.

Após várias décadas de investigação compreendemos hoje que o resultado mais previsível de um ensino altamente eficaz é, de facto, a aprendizagem bem-sucedida. No entanto, quando a aprendizagem falha, o sistema educativo tende a questionar-se sobre o que haverá de errado com o aluno, quando deveria questionar-se primeiro sobre o que haverá de errado com o ensino. A avaliação formativa pode ajudar-nos a fazer a pergunta certa e os ajustes necessários para melhorar efetivamente a aprendizagem. A noção de que os resultados de aprendizagem são o barómetro da qualidade do ensino serviu de base à avaliação de resultados com base no currículo (curriculum-based measurement, em inglês, conhecido pela sigla CBM) em áreas como o ensino de precisão e, posteriormente, na análise comportamental aplicada.

As experiências de análise comportamental aplicadas ao ensino introduziram o conceito de recolha de dados de desempenho dos alunos durante breves períodos de tempo, alterações às estratégias de ensino e análise do desempenho dos alunos com vista à identificação e implementação de estratégias de ensino que beneficiem a aprendizagem. A avaliação de resultados com base no currículo (CBM) derivou da análise comportamental aplicada e representou, em grande medida, um esforço no sentido de padronizar a recolha de unidades de observação com potencial para refletir, de forma sensível e precisa, os ganhos de aprendizagem. Ao passo que a análise comportamental aplicada à educação utilizava variáveis independentes, ou seja, as condições que geram melhorias na aprendizagem e que se podem comprovar através das experiências, a CBM utilizava variáveis dependentes, a padronização na medição dos resultados. Com a avaliação de resultados com base no currículo, a aferição da aprendizagem passou a depender menos da observação de comportamentos e a assentar em classificações, com todos os benefícios psicométricos associados.

A partir da década de 1990, métricas como fluência na leitura oral ou o número de palavras lido corretamente por minuto tornaram-se prática comum no estudo e avaliação do ensino da leitura. A avaliação de resultados com base no currículo, tal como proposto num artigo particularmente influente publicado em 1994 por Lynn Fuchs e Stan Deno, surgia como um sistema geral de aferição em que se podia ensinar uma série de competências individuais nas sessões de intervenção. Assim, seguir o modelo CBM como medida geral dos resultados iria refletir, de forma linear, os ganhos de aprendizagem ao longo do tempo para determinar se a aprendizagem estava a decorrer conforme esperado, como os mesmos autores já tinham proposto em 1991.

Em 1998, Noell e outros investigadores tipificaram este trabalho utilizando a métrica número de palavras lido corretamente por minuto para determinar a tática de ensino mais adequada para um aluno em particular. Após o período de recolha de dados de base (ponto de partida), os investigadores analisaram o efeito de recompensa (reforço positivo), seguindo-se um período de instrução orientada para o desenvolvimento de uma competência para encontrar a tática de ensino certa para este aluno (recompensa + modelação + prática). Os dados na figura seguinte indicam que o aluno em causa beneficiou mais de uma combinação das fases de recompensa + modelação + prática.

A capacidade de modelar este processo e de comparar a sua evolução com uma taxa de aprendizagem esperada permitiu generalizar a avaliação da aprendizagem e deu às escolas a possibilidade de começarem  a tomar decisões ancoradas em dados. Consequentemente, a CBM e as decisões informadas passaram a servir de base para o planeamento de intervenções e sistemas de apoio de diversos níveis. Os avanços na avaliação da capacidade de leitura e nas intervenções escolares dentro deste âmbito levaram a melhorias muito visíveis na literacia das crianças.

Contudo, no domínio da Matemática, as medidas gerais aplicadas aos resultados de aprendizagem têm sido imprecisas. Nesta área não existem métricas como o número de palavras lido corretamente por minuto, que abranjam um período académico suficientemente alargado. Em alternativa, os investigadores procuraram criar medições com base na amostragem curricular. Nesta abordagem da amostragem curricular, os especialistas e os investigadores procuraram identificar 3 a 5 competências matemáticas essenciais ao longo de um ano letivo e desenvolver tipos de problemas que abrangessem essas competências. A lógica da amostragem curricular baseia-se na possibilidade de observar linearmente os ganhos de aprendizagem à medida que o ensino progride (e a aprendizagem ocorre), ou seja, à medida que as crianças vão dominando as competências incluídas neste sistema de medição.

A investigação académica permitiu a criação de medições que abarcassem competências diversas, no sentido de maximizar a sua abrangência técnica, limitando, por exemplo, o número total de competências medidas e organizando os tipos de problemas de um modo estratificado em vez de aleatório, tal como apontou Methe  em 2015. Ainda assim, e tal como tinha sido defendido por Foegen e outros em 2007, as características técnicas destas medições foram sempre menos eficazes do que as avaliações de resultados com base no currículo (CBM) aplicadas à leitura.

No que diz respeito à avaliação de múltiplas competências enquanto sistema de avaliação geral de resultados de aprendizagem no domínio da Matemática, surgiram dois problemas, e são ambos problemas de sensibilidade. As CBM são utlizadas durante a fase de triagem para identificar alunos em risco de fraco aproveitamento e com necessidades de intervenções suplementares. Como as avaliações de múltiplas competências no domínio da Matemática estão limitadas a uma pequena variedade de tipos de problemas (não mais do que 4 ou 5) em cada avaliação, as medições são construídas com base em 4 ou 5 competências operacionais consideradas essenciais num dado ano letivo. Por esse motivo, e sobretudo na fase inicial da avaliação, as crianças são avaliadas com base em problemas que ainda não aprenderam a resolver, o que condiciona significativamente a sua aferição. Como os resultados estão condicionados, não são úteis para a tomada de decisões na fase de triagem — ou seja, precisamente na altura em que as intervenções suplementares poderiam ser mais úteis para prevenir ou corrigir eventuais lacunas de aprendizagem.

No exemplo de desempenho a seguir, todas as crianças, exceto duas, ficaram classificadas no nível de frustração. A distribuição da classificação ficou condicionada pelo facto de existirem tantas pontuações baixas. Em turmas como esta, é tecnicamente impossível identificar os alunos que se encontram verdadeiramente em risco, uma vez que há demasiadas crianças que aparentam estar em risco (ou, dito de outra maneira, uma vez que esta avaliação não é sensível ao risco neste caso).

No que diz respeito à monitorização do progresso de aprendizagem, e tendo em conta que esta medição visa refletir a evolução ao longo do ano letivo, torna-se tecnicamente muito difícil avaliar o sucesso de eventuais ajustes no ensino, uma vez que os ganhos de aprendizagem entre cada momento de avaliação serão mínimos. Em termos práticos, um aluno pode ter melhorado a sua capacidade de multiplicar números inteiros de um dígito ou de identificar fatores comuns durante uma intervenção, contudo, se se usar uma avaliação de múltiplas competências que inclua maioritariamente operações com frações, é improvável que se detetem estes progressos, pelo que a avaliação não será útil para ajustar as estratégias de ensino durante a intervenção nem para interpretar os seus efeitos. Este problema foi assinalado em estudos de investigação que recomendaram a recolha de dados ao longo de várias semanas antes de se determinar se uma intervenção, está, ou não, a funcionar para o aluno em causa. Tendo em conta que um ano letivo dura, em média, 36 semanas, não seria viável recolher dados ao longo de 10 semanas, ou mais, uma vez que isso apenas possibilitaria que a intervenção fosse ajustada uma a três vezes por ano letivo. Consequentemente, um aluno poderia passar 10 semanas numa intervenção não eficaz antes de o professor poder concluir, com segurança, que a intervenção não estava a funcionar. No exemplo abaixo, a linha azul indica o crescimento necessário para que o aluno alcance o nível de mestria; o progresso necessário para que o aluno tenha um desempenho pelo menos acima do nível de risco é indicado pela linha cor de laranja. Conforme se pode observar, a primeira intervenção não produziu o efeito necessário para que o aluno deixasse de estar em risco académico, ou seja, a intervenção não foi eficaz. A segunda intervenção já foi vantajosa. No entanto, quando se iniciou a segunda intervenção já tinham decorrido 10 semanas de ensino, e foram necessárias mais 6 semanas para concluir que esta estava a obter resultados.

Tendo em conta as limitações da CBM no âmbito da Matemática, em termos de sensibilidade, os investigadores começaram a questionar-se se seria possível medir com maior precisão competências mais específicas — ensinadas numa sequência pré-estabelecida — de forma a permitir decisões mais ajustadas relativamente ao progresso, mesmo que isso alterasse a forma como o progresso era avaliado.  Por outras palavras, se fosse possível medir as competências certas nos momentos de ensino certos, esses dados poderiam ser relevantes para informar tomadas de decisão relativas à avaliação formativa. Essas medições teriam de ser alteradas com maior frequência para se conseguir obter uma série de tendências de prazo mais curto. Métricas sumativas, como o nível de domínio da competência, poderiam funcionar como métricas-chave para as decisões. A avaliação do nível de mestria em competências matemáticas é encarada como uma medida «Caracóis Dourados» (ou seja, a medida certa no momento certo), estreitamente associada à aprendizagem das competências matemáticas previstas para cada ano letivo. Por outras palavras, a solução passa por avaliar uma única competência (no momento em que está a ser ensinada), utilizando uma medição tecnicamente equivalente e bem construída para moldar a aprendizagem desde a fase da aquisição até à fase de mestria.

O exemplo na figura seguinte ilustra um fluxo típico de aquisição de competências e respetivas táticas de ensino. Neste caso, um aluno entrou em processo de intervenção para melhorar a sua fluência em multiplicação de 0 a 12.  Depois de o aluno dominar esta competência, a intervenção foi ajustada para que o aluno adquirisse uma nova competência: multiplicação com frações. Depois de o aluno aprender a multiplicar com frações, a intervenção foi ajustada para que o aluno melhorasse a sua fluência nesta competência. Depois de dominar a multiplicação com frações, a intervenção foi ajustada novamente para que o aluno aprendesse a dividir com frações. Estes ajustes no ensino em função do progresso do aluno foram efetuados de forma muito mais rápida do que seria possível com avaliações menos sensíveis (por exemplo, avaliações de múltiplas competências, como as ilustradas na última figura do exemplo acima). A possibilidade de ajustar rapidamente a intervenção permitiu otimizar os benefícios da intervenção para o aluno em causa. As avaliações de múltiplas competências iriam também refletir os progressos na aprendizagem, embora com subidas menos acentuados.

Vários estudos recentes publicados por VanDerHeyden e outros, bem como por Solomon e a sua equipa — este último ainda em processo de submissão —, mostraram que esta abordagem corresponde aos padrões convencionais de adequação técnica, tanto em termos de fiabilidade como de precisão da classificação. Além disso, esta abordagem possibilita uma relação mais estreita com o progresso do ensino, dando aos professores um feedback mais exato sobre os efeitos das suas estratégias, permitindo ajustes mais rápidos e adequados com vista a otimizar a aprendizagem por parte dos alunos. Por exemplo, e tal como foi defendido por Burns, é possível utilizar a avaliação do nível de mestria em competências matemáticas para prever a capacidade de retenção de competências por parte dos alunos, bem como a sua capacidade de aprenderem, de forma mais célere, competências associadas mais complexas, fazendo a primeira replicação sistemática dos critérios de decisão propostos no modelo de Deno e Mirkin em 1977. Este estudo apresentou um método e um conjunto de regras de decisão para determinar o nível de mestria de uma competência no momento em que esta está a ser ensinada. Por outras palavras, os professores passaram a conseguir avaliar os alunos em sala de aula, aplicando à turma inteira uma avaliação de 2 minutos. Além disso, começaram a conseguir determinar se os alunos precisavam de apoio adicional para adquirir uma competência, de oportunidades para desenvolverem a sua fluência nessa competência ou de avançar para conteúdos mais desafiantes. Desde então, esta abordagem tem sido utilizada para determinar a dose ideal de instrução  — como referiram as equipas de Codding em 2016 e de Duhon em 2020 — e as taxas de melhoria têm sido analisadas empiricamente, em análises de grande escala, para caracterizar as dimensões de cada intervenção que afetam positivamente as taxas de melhoria na avaliação do nível de mestria (por exemplo, a dose ideal de instrução na intervenção; intervenção focada numa competência, etc.), tal como referiu Solomon e a sua equipa num estudo publicado recentemente. As avaliações do nível de mestria produzem, ainda, conjuntos de dados que são úteis para triagem, que permitem determinar o risco de cada aluno ou de uma turma inteira, bem como para avaliar programas de ensino de forma mais ampla.

A novidade mais significativa dos estudos de investigação emergentes neste campo é a utilização de medidas de avaliação sólidas — fiáveis e generalizáveis — de uma forma altamente eficaz, que possibilitam o ajuste de estratégias de ensino em sala de aula de um dia para o outro.  Ao contrário das avaliações normativas, que informam simplesmente os decisores sobre o desempenho de um aluno relativamente aos seus pares, os dados das avaliações do nível de mestria podem ser utilizados para determinar a probabilidade de um aluno prosperar se beneficiar de estratégias de ensino específicas. Saber que o desempenho de um aluno se situa abaixo do percentil 20 não nos diz nada acerca das estratégias de ensino que poderão ser benéficas para ele ou sobre a probabilidade de esse aluno responder bem a uma intervenção que siga estratégias de ensino ideais. No entanto, saber que o nível de desempenho de um aluno indica que ele é capaz de recordar aquilo que aprendeu, adaptar ou utilizar uma competência em diferentes contextos e aprender conteúdos associados mais complexos de forma mais sólida e eficaz é muitíssimo útil para os professores. Do ponto de vista de um professor, saber que o desempenho de um aluno é inferior ao dos seus pares não tem qualquer utilidade se a avaliação realizada não o ajudar a resolver o problema. A avaliação do nível de mestria em competências matemáticas permite que os professores determinem se as suas estratégias de ensino estão a funcionar e percebam qual o tipo de instrução de que os alunos precisam em cada momento da aprendizagem.