Christian Boyer
Steve Bissonnette
Em 2017, um artigo da investigadora Seyfullah Tingir e colegas parecia sugerir que os dispositivos digitais portáteis são bons instrumentos de ensino. Contudo, um estudo recente vem pôr em dúvida tais conclusões, alertando para os equívocos que podem nascer quando se analisam estudos que apresentam, logo à partida, problemas metodológicos sérios. Trata-se de uma saudável polémica científica que vale a pena acompanhar.
Nos estudos em educação, um dos métodos de revisão da literatura científica é a meta-análise: combinando vários estudos de investigação sobre o mesmo tópico num único estudo, procura-se identificar uma tendência central, muitas vezes expressa naquilo a que se chama o «tamanho do efeito» (effect size).
O rigor desta meta-análise depende, porém, da quantidade e da qualidade dos estudos em que se baseia. Infelizmente, os critérios de seleção de muitas meta-análises na área da educação são pouco rigorosos, o que leva a manter estudos fracos e com falhas metodológicas significativas. Logo, os resultados destas meta-análises podem produzir falsas certezas.
Num artigo recente, Steve Bissonnette e Christian Boyer analisaram os estudos incluídos na meta-análise levada a cabo, em 2017, por Seyfullah Tingir (com outros investigadores) sobre os efeitos alegadamente positivos dos dispositivos móveis no aproveitamento escolar dos alunos.
Esta meta-análise tinha partido de 14 estudos científicos: três na área da leitura, três na da matemática e oito na das ciências. O número reduzido de estudos selecionados, sobretudo na leitura e na matemática, era insuficiente e preocupante, pois não possibilitava uma análise rigorosa dos resultados com base nos níveis de ensino e noutras variáveis.
Estranhamente, Tingir incluía um estudo de 2010 encabeçado por Luis de-Marcos que media o desempenho de alunos do ensino pós-secundário — isto apesar de a meta-análise abranger apenas alunos entre o ensino primário e o ensino secundário.
Outra fragilidade dizia respeito aos conteúdos de aprendizagem. Alguns dos estudos selecionados centravam-se em tópicos que claramente não eram representativos dos conteúdos que se ensinam habitualmente em sala de aula, por exemplo: a interpretação de poemas tradicionais chineses ou visitas breves a museus e templos religiosos.
Noutros estudos, o tempo de experimentação era inferior a 240 minutos, claramente insuficiente e subrepresentativo da realidade escolar. Isso limitava bastante o potencial de generalização dos efeitos observados.
Dos 14 estudos analisados, só dois tinham amostras iguais ou superiores a 250 indivíduos, e metade tinha uma amostra inferior a 100. Uma vez mais, esta lacuna significativa restringe drasticamente a possibilidade de se generalizarem conclusões. Já em 2016, Alan C. K. Cheung e Robert E. Slavin recomendavam a seleção de estudos com amostras iguais ou superiores a 250 indivíduos, pois as amostras mais pequenas produzem, artificialmente, tamanhos de efeito duas vezes maiores.
Por fim, alguns dos estudos selecionados revelam outras falhas metodológicas graves, como a ausência de um grupo de controlo, o grupo experimental e o grupo de controlo não serem equivalentes ou a ambos não se terem ensinado os mesmos conteúdos. Por exemplo, num estudo que procurava determinar o efeito dos dispositivos vestíveis no aproveitamento dos alunos, ensinaram-se frações ao grupo experimental, mas não ao grupo de controlo, apesar de o pós-teste incluir exercícios com frações.
Em suma, dos 14 estudos de investigação em que a meta-análise de Seyfullah Tingir se baseia, 12 contêm falhas metodológicas tão graves que nem deveriam ter sido utilizados como referência. Os resultados apresentados nesta meta-análise levam os leitores a concluir, de maneira errada, que o uso de dispositivos digitais portáteis é um complemento de ensino eficaz. Contudo, a fraca qualidade dos estudos de investigação que estão na sua base não sustenta tal conclusão.
Bibliografia
Ahmed, S., & Parsons, D. (2013). Abductive science inquiry using mobile devices in the classroom. Computers and Education, 63, 62–72.
Billings, E. S., & Mathison, C. (2012). I get to use an iPod in school? Using technology-based advance organizers to support the academic success of English learners. Journal of Science Education and Technology, 21, 494–503.
Bissonnette, S., & Boyer, C. (2021). A review of the meta-analysis by Tingir and colleagues (2017) on the effects of mobile devices on learning. Journal of Computer Assisted Learning, 1-5
Carr, J. M. (2012). Does math achievement h'APP'en when iPads and game-based learning are incorporated into fifth grade mathematics instruction? Journal of Information Technology Education, 11, 269–286.
Cheung, A. C., & Slavin, R. E. (2016). How methodological features affect effect sizes in education. Educational Researcher, 45(5), 283–292.
de-Marcos, L., Hilera, J. R., Barchino, R., Jiménez, L., Martínez, J. J., Gutiérrez, J. A., Gutiérrez, J. M., & Oton, S. (2010). An experiment for improving students' performance in secondary and tertiary education by means of m-learning auto-assessment. Computers and Education, 55, 1069–1079.
Huang, Y.-M., Lin, Y.-T., & Cheng, S.-C. (2010). Effectiveness of a mobile plant learning system in a science curriculum in Taiwanese elementary education. Computers and Education, 54, 47–58.
Hwang, G. J., Wu, P. W., Zhuang, Y. Y., & Huang, Y. M. (2013). Effects of the inquiry-based mobile learning model on the cognitive load and learning achievement of students. Interactive Learning Environments, 21(4), 338–354.
Nedungadi, P., & Raman, R. (2012). A new approach to personalization: Integrating e-learning and m-learning. Educational Technology Research and Development, 60, 659–678.
Riconscente, M. M. (2013). Results from a controlled study of the iPad fractions game motion math. Games and Culture, 8, 186–214
Slavin, R. E. (1986). Best-Evidence Synthesis: An Alternative to Meta-Analytic and Traditional Reviews. Educational Researcher, 15(9), 5–11.
Tingir, S., Cavlazoglu, B., Caliskan, O., Koklu, O., & Intepe-Tingir, S. (2017). Effects of mobile devices on K-12 students' achievement: A metaanalysis. Journal of Computer Assisted Learning, 33(4), 355–369.
Varma, K. (2014). Supporting scientific experimentation and reasoning in young elementary school students. Journal of Science Education and Technology, 23, 381–397.
Yang, C. C., Hwang, G. J., Hung, C. M., & Tseng, S. S. (2013). An evaluation of the learning effectiveness of concept map-based science book reading via mobile devices. Journal of Educational Technology and Society, 16, 167–178.
Yang, C. C., Tseng, S. S., Liao, A. Y. H., & Liang, T. (2013). Situated poetry learning using multimedia resource sharing approach. Educational Technology & Society, 16(2), 282–295.
AUTORES
Christian Boyer, M.A. in pedagogy, is a consultant in pedagogy and orthopedagogy. His areas of intervention and investigation concern reasoning in reading and writing, learning to read and write, and the effectiveness of interventions with at-risk students. He has worked as an external consultant for almost 30 years in Quebec and Ontario. He has also been an elementary school teacher, a remedial teacher, an educational consultant and an assistant principal of an elementary school in Estrie.
Steve Bissonnette, é professor do Departamento de Educação da Universidade TÉLUQ, no Québec, Canadá. A sua área de especialização é a intervenção escolar. Trabalha há mais de 25 anos com estudantes excecionais e interessa-se pelas áreas de ensino, eficácia escolar e gestão eficaz do comportamento.