Comparison of Test Administration Procedures for Placement Decisions in a Mathematics Course

Abstract

In this study, three different test administration procedures for making placement decisions in adult education were compared: a paper-based test (PBT), a computer-based test (CBT), and a computerized adaptive test (CAT). All tests were prepared from an item response theory calibrated item bank. The subjects were 90 volunteer students from three adult education schools. They were randomly assigned to one of six experimental groups to take two tests which differed in mode of administration. The results indicate that test performance was not differentially affected by the mode of administration and that the CAT always yielded more precise ability estimates than the two other test administration procedures. The CAT was also found to be capable of making placement decisions with a test that was on average 24% shorter. Résumé Cette étude compare trois façons différentes d’administrer un test servant à l’orientation dans le domaine de l’éducation des adultes: une forme papier-crayon (PBT), une forme informatisée (CBT) et une forme informatisée adaptative (CAT). Tous ces tests ont été élaborés à partir d’une banque d’items construits selon la théorie relative aux manières de répondre (IRT). Les tests ont été passés par 90 étudiants volontaires provenant de trois instituts de formation des adultes. Ces personnes ont été distribuées aléatoirement dans six groupes expérimentaux, chacun d’entre eux passant deux formes d’administration différentes du test. Les résultats montrent que les résultats au test n’ont pas été influencés par le mode d’administration et que la forme adaptative (CAT) a toujours fourni des évaluations plus précises de la capacité mesurée que les deux autres formes d’administration. Le CAT s’est également révélé efficace dans sa fonction d’orientation tout en étant plus court (en moyenne de 24%) que les autres.