Modeling Educational Effectiveness in Classrooms: The Use of Multi-Level Structural Equations to Model Students’ Progress

Abstract

Long-standing and enduring problems in quantitative studies of educational effectiveness relate to fitting models that adequately reflect the complex inter-relationships among multivariate, multilevel factors affecting students’ educational progress, particularly among those that operate within classrooms. This article illustrates one approach to solving such difficulties by combining the analytic approaches of multilevel analysis and structural equation modeling in a two-stage process. The data used are drawn from a longitudinal study of teacher and school effectiveness for three Grade-level cohorts of 4,558 students clustered within 334 class/teacher groups in 52 elementary schools. The article provides estimates of inter-relationships among achievement and social background factors including ‘critical events’ on students’ progress in mathematics, together with their affective schooling experiences and inattentive behaviors in the classroom. Findings are presented indicating the extent to which progress can be accounted for by the grouping effects of students within classes and schools, highlighting the importance of accounting for the interdependent effects among variables. Both the substantive and methodological implications of the findings are discussed. Résumé De longue date et de manière persistante, les problèmes posés dans les études quantitatives sur l’efficacité de l’enseignement tiennent à la capacité d’élaborer des modèles qui reflètent de manière adéquate la complexité des interrelations parmi les multiples variables, avec leurs multiples niveaux, qui interviennent dans la progression des étudiants, particulièrement en ce qui concerne celles qui opèrent à l’intérieur même des classes dans les écoles. Cet article présente une approche cherchant à résoudre de telles difficultés en combinant les techniques de l’analyse multivariée avec un modèle d'équation structurale impliquant un processus à deux niveaux. Les données utilisées sont tirées d’une étude longitudinale sur l’efficience des écoles et des enseignants portant sur des cohortes de trois degrés scolaires touchant 4558 élèves provenant de 334 groupes classe/enseignant dans 52 écoles élémentaires. L’article fournit des estimations concernant les interrelations entre la réussite scolaire et des facteurs relevant de l’environnement social incluant des “événements critiques” dans la progression des élèves en mathématiques, mis en rapport avec leur expérience scolaire affective et des comportements inattentifs en classe. Les conclusions présentées indiquent la mesure dans laquelle le progrès peut être expliqué par des effets de groupes d’élèves à l’intérieur des classes et des écoles. Elles éclairent l’importance de la prise en compte de l’interdépendance des éléments parmi les variables. La justification et les implications méthodologiques des conclusions sont discutées. (Traduction: Raymond Hutin, Dr ès sciences de l’éducation, Dardagny / Suisse)