Measurement Equivalence of Paper‐and‐Pencil and Internet Organisational Surveys: A Large Scale Examination in 16 Countries

Abstract

In multinational surveys, mixed‐mode administration modes (e.g. combining Internet and paper‐and‐pencil administration) are increasingly used. To date, no studies have investigated whether measurement equivalence exists between Internet data collection and data collection using the conventional paper‐and‐pencil method in organisational surveys which include a large number of countries. This paper examined the measurement equivalence of a truly global organisational survey across Internet and paper‐and‐pencil survey administrations. Data from an organisational survey in 16 countries (N = 52,461) across the globe were used to assess the measurement equivalence of an organisational climate measure within each country in which the survey was administered. The empirical data provided strong indications which support the measurement equivalence of the multi‐item survey instrument across Internet and paper‐and‐pencil surveys in virtually all countries in which the survey was conducted. These findings suggest that merging data obtained through Internet and paper‐and‐pencil data administration in a particular country is legitimate as no evidence was found for differential effects across both modes of data collection.Dans les enquêtes internationales, les modalités d’administration mixtes, c’est‐à‐dire combinant les solution Internet et papier‐crayon, sont de plus en plus utilisées. Jusqu’à présent, on ignore si le recueil de données par Internet est méthodologiquement équivalent au recueil traditionnel sur papier dans les enquêtes organisationnelles qui couvrent un grand nombre de pays. Dans cet article, on analyse l’analogie des mesures d’une enquête organisationnelle véritablement universelle utilisant à la fois une administration Internet et papier‐crayon. Des données provenant de seize pays (N = 52,461) répartis sur l’ensemble de la planète ont été exploitées pour évaluer l’équivalence méthodologique d’une mesure du climat organisationnel dans chacun de ces pays. Les résultats empiriques sont en faveur de l’équivalence méthodologique de l’ensemble des items pour les recueils Internet et papier‐crayon dans pratiquement tous les pays retenus pour l’enquête. Ces résultats montrent qu’il est légitime de traiter ensemble les données obtenues par Internet et par papier‐crayon dans un même pays puisque rien ne nous permet d’affirmer l’existence d’un effet différentiel dû aux deux modes d’administration.