Abstract
The purpose of the present study was to examine the fakability of the situational judgment test. Specifically, the study was focused on the following questions; (1) whether participants are able to fake their answers on the situational judgment test in the real situation of selection, (2) whether faking influences the criterion-related validity of the situational judgment test and its incremental validity over cognitive and personality tests, and (3) whether the combination of different scoring key(SME consensus, average in response, and empirical keying) and different scoring algorithm(scenario, Best-Worst, and Pick most) has influence on the degree of fakability as well as both criterion-related validity and incremental validity of the situational judgment test. 110 students who applied to the leadership program were considered the faking group, while 129 students of B department at A university were considered the honest group. The members of both groups completed a cognitive test, a personality questionnaire and a situational judgment test. Only for the situational judgment tests, each group was asked to respond as instructed. Another group of 78 students of A university participated in the survey to develop two scoring key(empirical, average in response keying). SME consensus key was developed by 9 SMEs(5 undergraduate students with leadership and good GPA, 4 graduate students). And then 9 situational judgment scores were produced independently. Results indicated that the all scores of students in the faking group were significantly higher than those of students in the honest group. Furthermore, criterion-related validity of the situational judgement test in the honest group was higher than that of the faking group for both task performance and contextual performance. While faking had negative effects on the criterion-related validity for both criteria of performance, incremental validity of the situational judgement test in the honest group was higher than that of the faking group only for the contextual criteria. Finally, the limitation and future direction of the present study were discussed.
Highlights
본 연구에서는 상황판단검사(SJT)에서 피험자가 의도적으로 자신의 점수를 높일 수 있는지 즉, 긍정적 응답 왜곡(faking 이 good) 가능한지를 확인하고, 만약 응답왜곡이 가능하다면 검사의 준거관련 타당도와 증분 타당 도에 어떠한 영향을 미치는지 알아보고자 하였다. 이와 더불어 상이한 채점용 답 결정방식(전문가 합의, 응 답자 평균, 경험적 방법)과 채점방식(Pick most 방식, 시나리오 채점방식, Best-Worst 채점방식)을 조합하여 사 용하였을 경우, 응답왜곡의 정도와 검사의 준거관련 타당도 및 증분 타당도에 미치는 영향이 달라 질 수 있 는지를 탐색적으로 살펴보고자 하였다. 이를 위해 국내 A대학의 리더선발 프로그램에 지원한 2학년 학생 110명과 B학과의 재학생 129명을 대상으로 적성검사, 성격검사, 상황판단 검사를 순차적으로 실시하였다. 적 성검사와 성격검사는 두 집단 모두 동일한 절차와 방법으로 시행하였으나, 상황판단검사의 경우 제한된 수 의 리더를 선발하기 위한 리더선발 프로그램에 지원한 학생들은 자연적으로 긍정적 응답왜곡이 발생하는 왜곡집단으로 간주하였다
B학과의 재학생 중 성적 우수자
Modeling faking good on personality items
Summary
분 다 더 많이 포함되어 있는 것으로 나타났으며, 석 결과, 채점용 답 결정방식과 채점방식의 하위 25%에서는 왜곡 응답자 보다 솔직 응답 조합에 따른 9개의 상황판단검사 모두에서 상 자가 더 많이 포함되어 있었다(표 3). 는 피험자들이 의도적으로 자신의 검사점수를 높이기 위해 긍정적으로 왜곡하여 응답할 수 있으며, 이러한 응답왜곡은 선발결정에 있어 영향을 미친다는 것을 알 수 있다. 응답왜곡이 준거관련 타당도에 미치는 영향 응답왜곡이 검사의 준거관련 타당도에 미치 는 영향을 알아보기 위하여 세 가지 채점용 답 결정방식과 세 가지 채점방식에 따라 총 9가지 의 상황판단검사와 준거 측정치와의 상관분석 을 실시하였고, 이는 표 4에 제시되어 있다. 먼저, 과업수행 준거인 평균 학점과 응답자 평균 방식을 사용하여 채점용 답을 설정한 상 황판단검사의 준거관련 타당도를 살펴보면, 솔직집단에서 시나리오, B-W, Pick most 채점 방식 각각 .31, .29, 로 .25 유의미한 상관을 보 이는 것으로 나타났으며, 왜곡집단의 경우도 각각 .22, .22, 로 .21 유의미한 상관을 보이는
Sign-in/Register to view highlights & summary Sign-in/Register to access full text options 
Talk to us
Join us for a 30 min session where you can share your feedback and ask us any queries you have
Schedule a call
