텍스트 트랜스포머 모델에서 어텐션 맵을 이용한 경사도 기반 화이트 박스 적대적 예제 생성 방안

• Published in: 디지털콘텐츠학회논문지 Vol. 22; no. 12; pp. 2019 - 2026
• Main Authors: 신초별(Cho-Byeol Shin), 문종섭(Jong-Sub Moon)
• Format: Journal Article
• Language: Korean
• Published: 한국디지털콘텐츠학회 01.12.2021
• Subjects: 컴퓨터학; Adversarial example; Deep learning; Transformer; 적대적 예제; Text data; 트랜스포머; 딥러닝; 텍스트 데이터; 화이트박스; Whitebox
• ISSN: 1598-2009; 2287-738X
• DOI: 10.9728/dcs.2021.22.12.2019

트랜스포머 모델의 텍스트 데이터에 대한 적대적 예제 생성 방법은 텍스트 데이터의 이산적인 특징 때문에 블랙박스 공격 방법이 대부분이었다. 최근 트랜스포머 모델의 텍스트 데이터를 대상으로 한 경사도 기반 화이트박스 공격 방법이 발표되었는데 이는 하나의 예제 생성 마다 하나의 분포를 학습시키기 때문에 시간이 오래 걸려 효율적이지 못하다는 단점이 있다. 본 논문은 트랜스포머 모델의 어텐션 구조를 이용한 어텐션 제약조건을 제안하여 기존 화이트 박스 공격방법의 효율성을 높인다. 실험을 통해 기존의 연구결과보다 생성 시간을 6.5% 가량 단축시킬 수 있으며 생성되는 적대적 예제의 생성률을 2.4% 높일 수 있음을 입증하였다. Abstract should be placed here. These instructions give you guidelines for preparing papers for JDCS.The method of generating Adversarial examples for text data of the transformer model was mostly a black box attack method because of the discrete characteristics of text data. Recently, a gradient-based white box attack method targeting text data of a transformer model has been announced, which has the disadvantage that it takes a long time and is not efficient because it learns one distribution for each generation of an example. This paper improves the efficiency of the existing white box attack method by proposing an attention constraint using the attention structure of the transformer model. Through experiments, it has been proven that the generation time can be shortened by about 6.5% and the diversity of generated adversarial examples can be increased by 2.4% compared to the previous research results. KCI Citation Count: 0