로봇활용 공동 주의 훈련자극에 대한 사용자 반응상태를 추정하는 프로세스

• Published in: 한국정보통신학회논문지 Vol. 25; no. 10; pp. 1427 - 1434
• Main Authors: 김다영(Da-Young Kim), 윤상석(Sang-Seok Yun)
• Format: Journal Article
• Language: Korean
• Published: 한국정보통신학회 2021
• Subjects: 전자/정보통신공학; Autism; 사회적 보조 로봇; 인간로봇상호작용; Human-robot interaction; Eye contact; Socially assistive robots; Joint attention; 공동 주의; 자폐증; 눈맞춤
• ISSN: 2234-4772; 2288-4165
• DOI: 10.6109/jkiice.2021.25.10.1435

In this paper, we propose a psychological state estimation process that computes children's attention and tension in response to training stimuli. Joint attention was adopted as the training stimulus required for behavioral intervention, and the Discrete trial training (DTT) technique was applied as the training protocol. Three types of training stimulation contents are composed to check the user's attention and tension level and provided mounted on a character-shaped tabletop robot. Then, the gaze response to the user's training stimulus is estimated with the vision-based head pose recognition and geometrical calculation model, and the nervous system response is analyzed using the PPG and GSR bio-signals using heart rate variability(HRV) and histogram techniques. Through experiments using robots, it was confirmed that the psychological response of users to training contents on joint attention could be quantified. 본 연구는 사회성 상호작용 훈련자극에 반응하는 아동의 행동 및 정서적 긴장상태를 연산하는 심리반응 상태 추정 프로세스를 제안한다. 행동 중재에 필요한 훈련자극으로는 공동 주의(Joint attention) 사회성 훈련을 채택하고, 훈련프로토콜은 불연속 개별시도 훈련(DTT: Discrete trial training)기법이 적용된다. 공동 주의 훈련에서 사용자의 집중과 긴장 정도를 확인하기 위해 3가지 훈련자극용 콘텐츠를 구성한 후, 캐릭터 형태의 탁상 로봇을 이용하여 사용자에게 훈련자극을 수행하게 된다. 그런 다음, 비전 기반 헤드 포즈 인식기와 기하학 연산모델로 사용자 응시반응을 추정하고, PPG와 GSR의 생체신호를 심박변이도와 히스토그램 기법으로 신경계 반응을 분석한다. 로봇을 활용한 실험에서 공동 주의에 대한 각 콘텐츠 별 훈련에 사용자의 심리반응을 정량화 할 수 있음을 확인하였다.