文章基本信息

标题：COMMENT FAIRE DE LA PSEUDOSCIENCE AVEC DES DONNÉES RÉELLES : UNE CRITIQUE DES ARGUMENTS STATISTIQUES DE JOHN HATTIE DANS VISIBLE LEARNING PAR UN STATISTICIEN
本地全文：下载
作者：Pierre-Jérôme Bergeron
期刊名称：McGill Journal of Education / Revue des sciences de l'éducation de McGill
印刷版ISSN：1916-0666
出版年度：2016
卷号：51
期号：2
语种：French
出版社：Array
摘要：Cet article offre une critique du point de vue d’un statisticien de la méthodologie utilisée par Hattie, et explique pourquoi il faut absolument qualifier cette méthodologie de pseudoscience. On parle tout d’abord des intentions de Hattie. Puis, on décrit les erreurs majeures de Visible Learning avant d’expliquer l’ensemble des questions qu’un chercheur devrait se poser en examinant des études et enquêtes basées sur des analyses de données, incluant les méta-analyses. Ensuite, on donne des exemples concrets démontrant que le d de Cohen (la mesure de base derrière les effets d’ampleur, effect sizes , de Hattie) ne peut tout simplement pas être utilisé comme une mesure universelle d’impact. Enfin, on donne des pistes de solution pour mieux comprendre et exécuter des études et méta-analyses en éducation. HOW TO ENGAGE IN PSEUDOSCIENCE WITH REAL DATA: A CRITICISM OF JOHN HATTIE’S ARGUMENTS IN VISIBLE LEARNING FROM THE PERSPECTIVE OF A STATISTICIAN This paper presents a critical analysis, from the point of view of a statistician, of the methodology used by Hattie in Visible Learning , and explains why it must absolutely be called pseudoscience. We first discuss what appears to be the intentions of Hattie’s approach. Then we describe the major mistakes in Visible Learning before reviewing the set of questions a researcher should ask when investigating studies and surveys based on data analyses, including meta-analyses. We give concrete examples explaining why Cohen’s d (the measure of effect size used in Visible Learning ) simply cannot be used as some sort of universal measure of impact. Finally, we propose solutions to better understand and implement studies and meta-analyses in education.
关键词：real data;statistics;meta-analyses;data science;pseudoscience;critical thinking;données probantes;statistique;méta-analyses;science des données;pseudoscience;pensée critique