Abstract
Lens models have been used extensively for the examination of human judgments. Applications of lens model have occurred in a variety of contexts including judgments of reading achievement, clinical diagnosis, and personality characteristics. Rater-mediated writing assessments involve human judgments toward student essays. The judgmental process determines the quality of ratings, and this directly affects validity and fairness of ratings. Lens models provide a theoretical framework to evaluate rater judgment in rater-mediated assessments. Rasch measurement theory offers an alternative methodological approach for studying human judgments, and we propose combining Rasch measurement theory with a multifocal lens model. In order to illustrate our approach, the ratings of three expert raters and 20 operational raters from a state writing assessment program in the United States are examined in this study. There are only 35% of the students with comparable writing proficiency measures based on a comparison of ratings from operational raters and expert raters. The combination of a multifocal lens model with Rasch measurement theory offers a new pathway for understanding the quality of ratings for rater-mediated assessments.
Highlights
Una característica que define a los modelos de lente es que incluyen una comparación entre dos sistemas: un sistema ecológico y un sistema de juicios (Cooksey, 1996; Hammond, Hursch, & Todd, 1964; Hursch, Hammond, & Hursch, 1964; Tucker, 1964)
Cooksey (1986) usó el modelo de lente como método para comparar juicios de profesores respecto al rendimiento en lectura de estudiantes, en contraste a las calificaciones obtenidas por el rendimiento en la lectura en un test estandarizado, a través de una serie de indicadores
Si un nivel apropiado de ajuste de modelo de datos es obtenido, pueden ser obtenidas propiedades invariables de la medición de Rasch, como por ejemplo las mediciones invariables de datos, e invariables de calibración de calificadores
Summary
Las distancias de umbrales para el Dominio IDOC en los dos modelos se encuentran en este rango; por lo tanto, se puede decir que los umbrales son distintivos, y que cada categoría contiene una información única con respecto a la competencia en escritura. Comparamos mediciones de competencia en escritura realizada por calificadores operacionales y expertos mediante el mismo set de datos (i.e medición de dominio y categoría de uso) en dos modelos de lente. El modelo de lente multifocal como marco teórico para juicios de calificadores puede ser usado para comparar calidad de las calificaciones entre evaluadores expertos y operacionales.
Sign-in/Register to view highlights & summary Talk to us
Join us for a 30 min session where you can share your feedback and ask us any queries you have
Schedule a callMore From: Pensamiento Educativo: Revista de Investigación Educacional Latinoamericana
Disclaimer: All third-party content on this website/platform is and will remain the property of their respective owners and is provided on "as is" basis without any warranties, express or implied. Use of third-party content does not indicate any affiliation, sponsorship with or endorsement by them. Any references to third-party content is to identify the corresponding services and shall be considered fair use under The CopyrightLaw.
