랜드마크 기반 앙상블 네트워크를 이용한 얼굴 표정 분류

• Published in: 디지털콘텐츠학회논문지 Vol. 23; no. 1; pp. 117 - 122
• Main Authors: 안영은(Young-Eun An), 이지민(Ji-Min Lee), 김민구(Min-Gu Kim), 반성범(Sung-Bum Pan)
• Format: Journal Article
• Language: Korean
• Published: 한국디지털콘텐츠학회 2022
• Subjects: 컴퓨터학; Deep learning; 랜드마크; 얼굴 표정 분류; 얼굴 부분 특징; Landmark; 딥러닝; Classification of facial expressions; Ensemble network; Face feature; 앙상블 네트워크
• ISSN: 1598-2009; 2287-738X
• DOI: 10.9728/dcs.2022.23.1.117

얼굴 표정 분류 연구는 얼굴의 구성 요소, 특징 추출 등과 관련되서 꾸준히 연구되어 왔다. 본 연구에서도 이러한 변화를 이용하여 효과적인 얼굴 표정 분류를 하기 위해 랜드마크 기반 앙상블 네트워크를 이용하여 얼굴 표정을 분류하는 알고리즘을 제안한다. 먼저 전처리 과정으로 얼굴 전체 영상에서 얼굴 부분만 추출한 후, 얼굴 이미지만 이용하여 특징 정보를 구성한다. 그리고 얼굴 이미지에서 랜드마크 정보를 이용하여 새로운 랜드마크 기반 특징 정보를 추출한다. 얼굴 전체 이미지 특징 정보와 랜드마크 기반 특징 정보를 각각의 CNN 네트워크에 학습한 후, 앙상블 학습을 통해서 얼굴 표정을 분류한다. 실험 결과, 제안한 알고리즘은 기존 얼굴 이미지만 이용하여 표정 분류를 한 기술보다는 1.14%, 랜드마크 특징 정보만 이용하여 표정 분류를 한 기술보다는 0.57% 더 좋은 분류 성능을 나타내는 것을 확인할 수 있다. Research on facial expression classification has been steadily studied in relation to facial components and characteristics extraction. In this study, an algorithm for classifying facial expressions using a landmark-based ensemble network is also proposed to effectively classify facial expressions using these changes. First, only the face part is extracted from the entire face image through the preprocessing process, and then feature information is constructed using only the face image. And new landmark-based feature information is extracted using landmark information from the face image. After learning face-wide image feature information and landmark-based feature information on each CNN network, facial expressions are classified through ensemble learning. As a result of the experiment, it can be seen that the proposed algorithm shows 1.14% better classification performance than the technology that classified facial expressions using only existing facial images and 0.57% better classification performance than the technology that classified facial expressions using only landmark feature information. KCI Citation Count: 3