문장 레벨 그래프 회선 신경망을 통한 텍스트 분류

• Published in: 정보과학회 컴퓨팅의 실제 논문지 Vol. 25; no. 8; pp. 397 - 401
• Main Authors: 이민우(Minwoo Lee), 김양훈(Yanghoon Kim), 정교민(Kyomin Jung)
• Format: Journal Article
• Language: Korean
• Published: Korean Institute of Information Scientists and Engineers 01.08.2019; 한국정보과학회
• Subjects: 컴퓨터학; 텍스트그래프; 자연어 처리; 텍스트 분류; natural language processing; textgraph; graph classification; neural networks; 그래프 회선 신경망; text classification; graph convolutional networks; 인공 신경망; 그래프 분류
• ISSN: 2383-6318; 2383-6326
• DOI: 10.5626/KTCP.2019.25.8.397

텍스트 분류는 자연어처리 분야의 전통적인 문제이다. 기존의 RNN 및 CNN 기반 텍스트 분류 모델들은 순차적인 단어 구조에 의존하기 때문에 인접하지 않지만 관련성이 높은 단어 간의 관계를 유추하기 어렵다는 문제점이 있다. 반면 GCN(Graph Convolutional Network)은 그래프의 형태로 데이터를 입력받기 때문에 문장의 순차적 구조에 대한 의존도를 줄일 수 있다. 본 논문에서는 문서의 비순차적인 관계를 그래프로 담아내어 더욱 효과적으로 파악하고 분류하는 인공신경망 모델을 제안한다. 문서를 그래프로 표현하기 위해 각 단어를 그래프의 노드로 변환하고, 단어 간의 관계를 계산해 엣지로 정의한다. 최근에 제시된 GCN 구조를 통해 단어 간의 관계가 반영된 단어 벡터를 계산한 뒤, 어텐션 기반 요약 함수를 통해 문단을 주어진 클래스로 분류하는 방법을 제시한다. 실험 결과, 새롭게 제시된 모델이 RNN 및 CNN 기반 텍스트 분류 모델보다 좋은 성능을 보였다. Text classification is an important task in natural language processing, and most of the recent approaches employ neural networks to learn and classify the texts. RNN and CNN based models, which are widely used for solving the task, involve reading and processing the text in a sequential manner. This creates inefficiency in learning dependencies between far-apart words. On the contrary, Graph Convolutional Network (GCN) architecture is capable of processing more complex graph-structured data, thus having potential to recognize and learn from complex linguistic structures. In the present work, we transform text sequences into graphs by assigning each word in the text as a node and representing the relationship between words as edges. We then propose a method for solving text classification that uses recent GCN architectures to take the transformed text-graph as input, learn hidden representations, and output a single hidden representation for classification. In our experiments, our proposed model outperformed RNN and CNN based models with regards to various text classification tasks. KCI Citation Count: 0