Coding quality in manual content analysis: An exploration of coder characteristics and category types for crowdworkers and student coders

Abstract

Obwohl die Inhaltsanalyse eine der wichtigsten Methoden der empiri- schen Sozialforschung ist, findet der Codier-Prozess bislang nur wenig Beachtung. Dies ist besonders gravierend angesichts aktueller Entwicklungen, wie dem vermehrten Einsatz von Crowdworker*innen als Codierer*innen. Die vorliegende Studie zielt daher darauf ab, den Codierprozess genauer zu beleuchten. Konkret wird untersucht, wie a) die Codierqualität hinsichtlich Reliabilität und Validität zwischen studentischen Codierer*innen, die häufig zum Codieren genutzt werden, und neuerdings sehr beliebten Crowdworker*innen vari- iert, b) Merkmale der Codierer*innen, konkret Persönlichkeitsmerkmale und Soziodemo- grafika, die Codierqualität beeinflussen und c) manifeste und latente Kategorietypen, die für Codierer*innen unterschiedlich schwer zu codieren sind, die Qualität der Codierung beeinflussen. Zur Überprüfung der Forschungsfragen wurden von Studierenden und Crowdworker*innen Tweets zum Thema Abtreibung codiert. Ein deskriptiver Vergleich offenbart, dass die Validität in beiden Codierer*innengruppen für manifeste, also einfache, Kategorietypen ausreichend, für latente, also schwierige, Kategorietypen jedoch unzurei- chend ist. In Bezug auf die Reliabilität schneiden die studentischen Codierer*innen etwas besser ab als die Crowdworker*innen, insbesondere wenn strengere Kriterien wie Krippen- dorffs Alpha angelegt werden. Die Ergebnisse zeigen darüber hinaus, dass die Eigenschaf- ten der Codierer*innen nur einen geringen Einfluss auf die Codierqualität haben, während die Kategorietypen einen signifikanten Einfluss haben.