머신러닝을 이용한 뇌체조 인식

• Published in: 디지털콘텐츠학회논문지 Vol. 24; no. 6; pp. 1295 - 1304
• Main Authors: 임소미(Somi Lim), 김예은(Yeeun Kim), 김영찬(Youngchan Kim), 최승호(Seoung-Ho Choi)
• Format: Journal Article
• Language: Korean
• Published: 한국디지털콘텐츠학회 01.06.2023
• Subjects: 컴퓨터학; 머신러닝; Object Detection; Skeleton Extraction; 물체검출; 스켈레톤 추출; 딥러닝; Dementia Prevention Exercise; 치매 예방 운동; Machine Learning; Deep Learning
• ISSN: 1598-2009; 2287-738X
• DOI: 10.9728/dcs.2023.24.6.1295

치매를 예방하기 위한 다양한 솔루션이 보급되고 있지만 장소나 이용 등에 관한 불편한 점들이 있다. 또한 운동하는데 있어 올바르게 하는지를 스스로 체크하기가 힘들다. 이를 개선하고자 다양한 환경에서도 치매예방을 할 수 있는 뇌체조 인식 프로그램을 제안한다. 제안한 방법은 뇌체조 손동작을 녹화한 동영상에서 이미지 프레임을 추출한다. Object detection을 통해 뇌체조 손동작을 학습시킨 모델에 의해 사용자 손의 좌표를 검출했다. 그리고 Mediapipe 라이브러리를 이용하여 skeleton extraction을 실행했다. 직접 수집한 데이터를 바탕으로 각 동작에 따른 데이터 세트를 구축하고 레이블링했다. 6가지 머신러닝 분류기를 통해 2가지 뇌체조 동작을 Precision, Recall, 그리고 AUC score 등의 성능 지표를 통해 분석했다. 이를 통해서 제안 방법이 뇌체조 동작을 인식할 수 있음을 확인했다. Various solutions are being distributed for the prevention of dementia, but there are some inconveniences regarding the location and use. Additionally, it is difficult to check whether the exercise is being correctly done. To address this issue, we propose a brain gymnastic awareness program that can prevent dementia in various environments. The proposed method extracts image frames from video recordings of brain gymnastic hand movements. The coordinates of the user's hand are detected by a model that learned brain gymnastic hand movements through object detection. Then, skeleton extraction was performed using the Mediapipe library. Collecting data directly, we built and labeled a dataset for each behavior. Two brain gymnastic movements were analyzed using six machine learning classifiers. Through performance indicators such as precision, recall, and AUC score, it was confirmed that the proposed method can recognize brain gymnastic movements. KCI Citation Count: 0