PPG 웨어러블 장치와 머신러닝 기법을 활용한 부정적 감정 인식

• Published in: 정보과학회 컴퓨팅의 실제 논문지 Vol. 30; no. 6; pp. 253 - 263
• Main Authors: 송채원(Chaewon Song), 윤재석(Jaeseok Yun)
• Format: Journal Article
• Language: Korean
• Published: Korean Institute of Information Scientists and Engineers 01.06.2024; 한국정보과학회
• Subjects: 컴퓨터학; 머신러닝; wearable; negative emotion; 감정인식; 부정적 감정; PPG; 웨어러블; machine learning; 심박변이도; HRV; emotion recognition
• ISSN: 2383-6318; 2383-6326
• DOI: 10.5626/KTCP.2024.30.6.253

최근 사람의 생체신호를 이용해 감정 상태를 파악하는 감정 인식 연구가 활발하게 이루어지고 있다. 감정을 인식하기 위해서는 외부 자극에 따라 변화하는 생체신호 패턴을 시간 대역과 주파수 대역에서 분석해야 하는데 이를 통계 처리 기법이라고 한다. 본 논문에서는 영상 시청 실험 환경에서 장갑형 웨어러블 장치로 손가락 PPG (광전용적맥파) 신호를 수집한다. 통계 처리 기법으로 7개의 심박변이도 파라미터를 도출하고, 이 중 RMSSD (연속한 R-R 간격 차이 값의 평균제곱근) 값으로 규칙 기반 이진 감정 (긍정과 부정) 분류를 진행하였고, 82% 정확도를 도출하였다. 또한 멀티-클래스 감정 (평온, 슬픔, 분노)을 분류하기 위해서 7개의 모든 파라미터를 특성으로 활용해 극단적 랜덤 트리 등 네 가지 머신러닝 알고리즘 별로 모델을 생성하였다. 그 결과, 개인화 모델 평가의 경우 80% 정확도를, LOOCV (Leave-One-Out 교차검증) 방식 평가의 경우 60% 정확도를 도출하였다. 이를 통해 손가락 PPG 신호로 도출한 심박변이도 파라미터로 부정적 감정 인식이 가능함을 검증하였다. Recently, emotion recognition, to understand emotional states, by utilizing human physiological signals has been widely studied. To recognize human emotions, patterns in physiological signals that vary with external stimuli can be analyzed in the time and frequency domains, which is called statistical processing technique. In this paper, in our experimental setting, photoplethysmography (PPG) signals were collected with a glove-type wearable device when five subjects were watching a movie. Seven heart rate variability (HRV) parameters were derived using statistical processing techniques and root mean square of successive differences (RMSSD) was chosen. A rule-based binary emotion classification (positive and negative) using RMSSD showed an accuracy of 82%. In addition, four machine learning models such as extreme random tree were developed using the full seven HRV parameters for multi-class emotions classification (neutral, sad, fear). Our personalized model showed 80% accuracy and Leave-One-Out CV (LOOCV) method showed 60% accuracy in multi-class emotions recognition. Accordingly, based on these results it is expected that negative emotions can be recognized using HRV parameters obtained from fingertip PPG signals. KCI Citation Count: 1