문항반응이론을 적용한 직원몰입척도 타당도 검증 : Rasch 측정모형을 중심으로

• Published in: 대한경영학회지 Vol. 33; no. 4; pp. 577 - 598
• Main Authors: 홍아정(Ahjeong Hong), 조윤성(Yunseong Jo), 이승연(Seungyeon Lee)
• Format: Journal Article
• Language: Korean
• Published: 대한경영학회 01.04.2020
• Subjects: 경영학; Rasch 모형; Engagement; Validity; EES(Employee Engagement Scale); IRT; Rasch Measurement Model; 직원몰입; 타당화; Employee Engagement Scale(EES); Item Response Theory
• ISSN: 1226-2234; 2465-8839

기업 구성원의 몰입이 높은 성과와 생산성, 낮은 이직률과 결근율 등 조직과 팀, 개인차원에서 다양한 긍정적성과를 창출하는 핵심요소로 밝혀지면서 경영학 분야에서 많은 관심을 받아오고 있다. 그러나 현재까지 경영학분야에서 이루어진 몰입의 측정 양상은 일에 대한 긍정적 심리상태만을 한정적으로 측정하고 있었다. 뿐만아니라 별도의 타당성 검토 없이 국외 몰입 척도를 단순히 번역하여 사용하는데 그치고 있다. 이에 본 연구는최근 개발되어 직원몰입의 특성을 포괄적으로 반영할 뿐만 아니라 심리측정학적으로 적절한 근거를 보이고있는 Employee Engagement Scale의 국내 기업 조직 적용에 관한 타당성을 검토하고, 이를 토대로 직원몰입측정에 관한 경영학 관점의 시사점을 제안하는 데 목적을 두었다. 특히 이 연구에서는 문항반응이론 기반Rasch 측정모형을 적용하여 개별적인 문항의 타당성뿐만 아니라 피험자의 능력을 동시에 고려한 더욱 심도있는 심리측정학적 근거를 검토하고자 하였다. 이를 위해 Wolfe and Smith(2007)의 타당성 검토 준거 틀에따라 타당성 차원별 근거를 확인하였다. 연구목적을 달성하기 위해 국내 민간조직 종업원을 대상으로 최종486부의 설문 응답 자료를 수집하였다. 타당성 차원별 분석 결과는 다음과 같다.먼저 내용에 기초한 타당도를 확인하기 위하여 문항 적합도를 분석한 결과, 정서적 몰입 3, 4번 문항이비교적 부적합한 문항으로 도출되었다. 따라서 해당 문항을 사용할 때는 추가적인 내용 검토가 필요한 것으로나타났다. 실제적 타당도를 확인하기 위한 문항-피험자 지도에서는 EES의 문항이 직원몰입 수준이 평균이거나 평균 이하인 종업원에게는 적합하나, 직원몰입 수준이 높은 종업원에게는 비교적 적절성이 떨어지는 것으로나타났다. 내적구조 타당도를 확인하기 위한 Rasch 요인분석에서는 EES 척도가 세 개의 다차원으로 나타나,인지적, 정서적, 행동적 몰입 특성을 고려하여 총 세 가지 다차원으로 구성한 원 척도 요인구조가 그대로반영되었다. 이러한 결과를 토대로 EES 척도가 상이한 문화권 측정맥락에서도 여전히 요인구조의 불변성을보이며, 구성원들의 다양한 몰입 특성을 적절히 반영하는 것으로 나타났다. 마지막으로 일반화 타당도 증거를확보하기 위해 직급별 차별기능문항을 확인한 결과, 총 12개 문항 중 3개 문항에서 직급 간 차별기능을 나타내는것으로 확인되었다. Engagement is considered as a core factor that affects various outcomes at the organizationaland individual level, including absenteeism, turnover rate, performance, and productivity. Therefore,the concept of employee engagement has received a lot of attention from the field of study in businessmanagement. What is fundamentally needed to manage and develop employee engagement strategicallyis to measure and diagnose the status and level of employee engagement accurately. To date, however,the measurement of employee engagement in the field of business management is limited to measuringthe positive state of mind for work. Also, it has been translated and used the original scale withoutvalidity verification. Therefore, the purpose of this study is to review the level of validity for theEES (Employee Engagement Scale) and, based on it, we suggested implication for the managementperspective on measuring employee engagement in the Korea context. EES is a representativeengagement scale developed recently to reflect the comprehensive scope of employee engagementbeing discussed in academia and field.The present study aimed to apply the Item Response Theory-based Rasch measurementmodel method to examine the validity of individual items as well as to assess the person’s abilityto assess the concept of employee engagement in Korea’s organizational context. Therefore, morein-depth evidence on the psychometric properties of the EES was sought in the present study. Itis applied the Rasch model to examine the validity dimensions proposed by Messick(1995) to providesystematic and psychometric evidence regarding the validity of the EES. In this study, online and offline survey was conducted to employees working in Korean companies. Of the collectedquestionnaire responses, the final 486 questionnaires were used for analysis.The analysis results were as follows. The analysis of item fitness to test the content validityof the scale indicated that two of the items require reconsideration. Further, the person-item mapto test its substantive validity indicated that the EES did not reflect the level of employee engagementadequately in the Korean sample. The person-item map to test its substantive validity indicated thatthe EES reflected the low level of employee engagement adequately, but not appropriate for measuringwork engagement in employees with an above-average level of employee engagement in Koreansample. The Rasch factor analysis conducted to test the structural validity of the tool indicated thatthe EES showed three-dimensional factor structure. Based on these results, it has been found thatthe EES shows measurement invariance and reflects the various engagement characteristics of theKorea employees appropriately. Finally, the differential item function of each position to examinethe generalizability aspect of the validity of the scale. Findings revealed that three out of the twelveitems expressed the differentiation item function for the position. KCI Citation Count: 1