딥러닝 기반 수어 교육 온라인 플랫폼 구현

• Published in: 디지털콘텐츠학회논문지 Vol. 23; no. 11; pp. 2147 - 2157
• Main Authors: 김미서(Mi-Seo Kim), 유문희(Moon-Hee Yoo), 장지현(Ji-Hyeon Jang), 최정윤(Jeong-Yun Choi), 나고은(Go-Eun Na), 김미숙(Mi-Suk Kim), 나정조(Jung-Jo Na)
• Format: Journal Article
• Language: Korean
• Published: 한국디지털콘텐츠학회 01.11.2022
• Subjects: 컴퓨터학; 청각 장애인; 교육; 수어; Education; People with hearing impairment; 딥러닝; Motion Recognition; Deep Learning; Sign Language; 동작 인식
• ISSN: 1598-2009; 2287-738X
• DOI: 10.9728/dcs.2022.23.11.2147

청각 장애인들은 수어를 주된 언어로 사용하지만, 국내 수어 교육 관련 콘텐츠와 수어 습득 환경은 접근성이 낮고 열악하다. 2022년 수어 교육 관련 서비스 플랫폼은 총 15개로, 수어 학습 형태는 주로 강의를 보고 동작을 따라하도록 유도하고 있다. 하지만 학습자에게 동작에 대한 실시간 피드백은 제공하지 못하고 있다. 따라서 본 논문에서는 딥러닝을 이용한 수어 동작 판별 모델을 통해 학습자가 올바른 동작을 취하고 이에 대한 결과를 피드백으로 제공하는 실시간 플랫폼을 제안한다. 수어 동작 판별 모델은 CNN과 LSTM을 결합한 모델로, OpenPose와 MediaPipe를 사용하였으며 팔과 손, 손가락을 추적한 데이터로 학습시켜 구현하였다. 본 수어 교육 플랫폼은 딥러닝을 통해 학습자가 스스로 올바른 수형인지를 판단할 수 있으며, 양방향 학습이 가능하여 수어를 익히는 데에 도움이 될 수 있다. Sign language is the main communication method for people with hearing impairments. However, the educational system and learning content for sign language acquisition have been characterized by a lack of accessibility and low quality in Korea. In 2022, 15 educational platforms regarding sign language acquisition exist. The formats mainly consist of watching videos and following pre-recorded hand movements, but real-time feedback is not provided about learned content. Thus, this study proposes a platform to teach sign language that provides real-time feedback on the proper hand movements of sign language. Based on CNN and LSTM, this model of distinguishing sign language movements uses a data-tracking system that tracks learners' arms, hands, and fingers using OpenPose and MediaPipe. Through deep learning, the platform can help learners identify accurate hand movements and learn sign language interactively. KCI Citation Count: 2