Embedded formative e‐assessment: who benefits, who falters

Abstract

This research examined the impact of formative quizzes on e‐learning designed to teach volunteers how to tutor struggling readers. Three research questions were addressed: (1) Do embedded quizzes facilitate learning of e‐content? (2) Does the announcement of upcoming quizzes affect learning? (3) Does prior knowledge interact with quizzing and learning? Participants (n=178) were randomly assigned to condition: (1) no warning, no quiz (control), (2) no warning, quiz, and (3) warning, quiz. Users demonstrated significant learning gains. A predicted main effect for quiz warning was not supported. However, the effect of quizzes on learning was significantly moderated by the amount of prior experience. Low experience tutors learned significantly more when quizzes were embedded compared with expert tutors – a classic expertise reversal effect. A new neurocognitive interpretation for this effect is presented, as well as a call for more “stealthy” assessments that take into account novelty and the learner’s zone of proximal development. Eingefügte e‐Bewertungen: Wem nutzen sie, wem nicht Mit dieser Arbeit wurde der Einfluss formativer Ratespiele in Lernsoftware für freiwillige Helfer zur Unterstützung schwacher Leser untersucht. Drei Forschungsfragen wurden gestellt: (1) Erleichtern eingebaute Ratespiele das Lernen des zu vermittelnden Inhalts? (2) Beeinflusst die Vorankündigung von geplanten Ratespielen das Lernen? (3) Wirkt sich Vorwissen zwischen Rätselraten und Lernen aus? Die Teilnehmer (n=178) wurden per Zufallsauswahl nach den folgenden Bedingungen eingeteilt: (1) Keine Vorankündigung, kein Quiz (Kontrollgruppe); (2) Keine Vorankündigung, Quiz; und (3) Vorankündigung, Quiz. Die Anwender zeigten erhebliche Lernzuwächse. Ein vohergesagter Haupteffekt der Quizvorankündigung wurde nicht beobachtet. Der Einfluss von Rätseln auf das Lernen war jedoch deutlich feststellbar abhängig vom Umfang der Vorerfahrung. Wenig erfahrene Tutoren lernten deutlich mehr, verglichen mit erfahrenen Tutoren, wenn die Rätsel eingebaut waren – ein klassischer Umkehreffekt. Eine neue neurokognitive Auslegung dieses Effekts wird vorgestellt, wie auch die Forderung nach mehr "verstohlenen” Bewertungen, die Neuigkeiten und den Bereich der möglichen Entwicklung des Lerners berücksichtigen. L’évaluation formative en ligne intégrée. Qui en bénéficie? Qui flanche? La présente recherche a étudié l’impact des questionnaires formateurs sur les programmes de e‐learning conçus pour apprendre à des bénévoles comment encadrer les personnes ayant des difficultés de lecture. La problématique de la recherche a porté sur trois points: (1) est‐ce que les questionnaires intégrés facilitent l’apprentissage du contenu en ligne? (2) Est ce que l’annonce des questionnaires à venir affecte l’apprentissage? et (3) Est‐ce que les connaissances antérieures interagissent avec le questionnement et l’apprentissage? Les participants (n=178) ont été distribués de manière aléatoire en trois groupes: (1) pas d’avertissement et pas de questionnaire(contrôle); (2) pas d’avertissement mais un questionnaire; et (3)avertissement et questionnaire. Chez les utilisateurs on a trouvé des gains d’apprentissage significatifs. Pas de confirmation par contre pour l’effet principal attendu de l’avertissement « Attention !Test ! » Il faut signaler toutefois que l’effet des questionnaires sur l’apprentissage a été modifié de façon significative par le volume d’expériences antérieures. Les tuteurs peu expérimentés ont appris nettement plus lorsque les questionnaires étaient intégrés par comparaison avec les tuteurs experts.‐effet d’inversion de l’expertise bien connu. On présente une nouvelle interprétation neurocognitive de cet effet ainsi qu’une invitation à produire des modes d’évaluation plus furtifs qui prendraient en compte la nouveauté et la zone de développement proche de l’apprenant. La evaluación formativa en línea integrada. Quien saca provecho? Quien falla? La presente investigación estudia el impacto de los cuestionarios formativos sobre los programas de e‐learning diseñados para enseñar a los voluntarios como ser tutores de las personas que tienen dificultades de lectura. La problemática de la investigación incluye tres preguntas: (1) Son los cuestionarios integrados capaces de facilitar el aprendizaje de contenidos en línea? Hay algun efecto del anuncio de los próximos cuestionarios sobre el aprendizaje? Existe alguna interracción entre los conocimientos previos, los cuestionarios y el aprendizaje? Los participantes (n=178) fueron distribuidos de manera aleatoria en tres categorías: (1) Ningun anuncio, ningun cuestionario (control); (2) ningun anuncio pero un quiz; y (3) anuncio y cuestionario. Entre los participantes se notó ganancias de aprendizaje significativas. No se notó el impacto principal previsto para el anuncio de los cuestionarios. En cambio el impacto de los cuestionarios sobre el aprendizaje fue matizado de manera significativa por la cantidad de experiencia previa. Los tutores con poca experiencia aprendían mucho más cuando los cuestionarios eran integrados en comparación con los tutores expertos‐ un efecto clásico de inversión de la pericia. Presentamos una nueva interpretación neurocognitiva para este efecto además de una llamada para modos de evaluación más furtivos que tomen en cuenta la novedad y la zona de desarrollo próximo del alumno.