인공신경망의 효율적 노드 사후 가지치기

• Published in: 정보과학회 컴퓨팅의 실제 논문지 Vol. 28; no. 3; pp. 184 - 189
• Main Authors: 윤승한(Seunghan Yoon), 이재영(Jaeyoung Lee), 이웅희(Woonghee Lee), 김영훈(Younghoon Kim)
• Format: Journal Article
• Language: Korean
• Published: Korean Institute of Information Scientists and Engineers 01.03.2022; 한국정보과학회
• Subjects: 컴퓨터학; 완전연결계층; fully connected layer; image classification; 신경망 가지치기; neural network pruning; 심층신경망; 이미지 분류; deep neural network
• ISSN: 2383-6318; 2383-6326
• DOI: 10.5626/KTCP.2022.28.3.184

심층신경망은 이미지 분류 문제에서 높은 정확도를 보이며 주목을 받았다. 하지만 분류해야 하는 학습데이터와 클래스가 많아지고 복잡해지면 많은 매개변수를 필요로 하기 때문에 네트워크의 크기가 커지고 연산량도 많아진다. 그래서 분류 성능은 유지하면서 네트워크의 크기를 줄이는 연구가 많이 진행되고 있다. 본 연구는 이미지 분류를 수행하는 심층신경망의 완전연결계층에서 가지치기를 수행하는 방법을 제안한다. 분류에 많은 영향을 미치는 노드집합을 검출하여 그 노드들만을 추론 작업에 활용한다. 추출된 특징이 모이는 출력계층의 직전계층들에서 가지치기를 수행하고 기존 연구와 분류 정확도를 비교하였다. Deep neural networks have attracted attention with high accuracy in image classification problems. However, as the number of training data and classes to be classified increases and becomes more complex, the size of the network and the amount of computation increase because many parameters are required. Thus, many studies are being conducted to reduce the size of the network while maintaining the classification performance. This study proposes a method to perform pruning at the fully connected layer of deep neural networks that perform image classification. A set of nodes that have considerable influence on classification are detected, and only those nodes are used for inference. Pruning was performed in the layers immediately preceding the output layer where the extracted features were gathered, and the classification accuracy was compared with the previous studies. KCI Citation Count: 0