효율적인 모델 평가를 위한 피처 맵 거리 기반 테스트 데이터 선정 방법

• Published in: 정보과학회 컴퓨팅의 실제 논문지 Vol. 30; no. 5; pp. 241 - 246
• Main Authors: 심건우(GeonWoo Shim), 이선열(Seonyeol Lee), 채흥석(Heungseok Chae)
• Format: Journal Article
• Language: Korean
• Published: Korean Institute of Information Scientists and Engineers 01.05.2024; 한국정보과학회
• Subjects: 컴퓨터학; 테스트 데이터; feature map; neuron activation value; 뉴런 활성화 값; 심층 신경망; testing data; 피처 맵; deep neural network
• ISSN: 2383-6318; 2383-6326
• DOI: 10.5626/KTCP.2024.30.5.241

심층 신경망 모델은 다양한 분야에서 중요한 역할을 하고 있으며 심층 신경망의 결함을 찾아내기 위한 테스트가 요구되고 있다. 심층 신경망의 결함을 찾기 위한 기존 연구는 테스트 데이터의 양을 늘리거나 변형을 가하는 등의 방법을 제시하였으나 이는 컴퓨팅 자원과 시간을 포함한 테스트 비용을 늘릴 수 있으며 심층 신경망의 결함을 찾는 데에 비효율적일 수 있다. 따라서 본 연구는 피처 맵 거리를 사용하여 테스트 데이터 선정 방법을 제안한다. 피처 맵 거리가 큰 테스트 데이터는 모델이 잘못 분류하는 경향이 있음을 확인했다. 이에 오분류 테스트 데이터의 피처 맵 거리를 이용한 피처 맵 거리 기준치를 제시하여 피처 맵 거리 기준치보다 큰 테스트 데이터를 선정했을 때, 전체 테스트 데이터셋 대비 평균적으로 44.7% 높은 테스트 효율성을 확인했다. In classification of problems, a model classifies test data based on training data, which means that the accuracy of deep neural networks depends on the training data. This suggests that the accuracy may be related to similarity between neuron activation values of training data and test data. This study measured feature map distance between training data and correctly/incorrectly classified test data in latter activation layers known to be highly related to model accuracy. It was found that the feature map distance for correctly classified test data was smaller than that for incorrectly classified test data. Based on this finding, a threshold for feature map distance was proposed. When test data exceeding this threshold were selected, the test efficiency was found to be 44.7% higher on average than that when the entire test dataset was used. KCI Citation Count: 0