FairMOT와 인페인팅을 이용한 자동 마스킹과 다중 객체 제거

• Published in: 디지털콘텐츠학회논문지 Vol. 25; no. 11; pp. 3301 - 3308
• Main Authors: 이효진(Hyo-Jin Lee), 변혜원(Hae-Won Byun)
• Format: Journal Article
• Language: Korean
• Published: 한국디지털콘텐츠학회 01.11.2024
• Subjects: 컴퓨터학; Image Inpainting; 다중 객체 탐지; Generative AI; 이미지 인페인팅; 생성형 AI; Object Removal; Object Tracking; 객체 제거; Multi Object Detection; 객체 추적
• ISSN: 1598-2009; 2287-738X
• DOI: 10.9728/dcs.2024.25.11.3301

영상 배경에 존재하는 콘텐츠와 무관한 객체는 시청자가 중심 객체에 집중하지 못하게 만들고 개인정보 유출 등의 문제를 일으킬 수 있어 제거될 필요성이 있다. 이 논문에서는 영상에서 다중 객체를 자동으로 제거하는 시스템을 제안한다. 기존 연구들은 주로 단일 객체에 대한 제거 기법에 초점을 맞추었으나, 본 연구에서는 다중 객체를 동시에 제거하는 방법론을 제안한다. 제안하는 시스템은 Yolov7과 FairMOT 모델을을 활용하여 영상 내 여러 객체를 자동으로 마스킹하고, 인페인팅 기술을 통해 제거된 다중 객체의 영역을 복원한다. 본 연구의 핵심은 여러 객체를 동시에 처리하는데 중점을 두었으며, 사용자가 별도의 세그멘테이션 작업을 할 필요없이 객체를 자동으로 식별하고 제거할 수 있다는 점, 그리고 인페인팅 손실 함수를 적절하게 설계하여 성능을 향상시킨 점이다. 이 연구는 신속한 처리 및 개인 정보 보호에 큰 기여를 할 수 있을 것으로 기대된다. Irrelevant objects in the background of a video can distract viewers from the main subject, expose sensitive information, or capture individuals without consent, raising privacy concerns and necessitating their removal. This paper presents a system for the automatic removal of multiple objects from an image. While previous studies have focused mainly on single-object removal, this study introduces a method for simultaneously removing multiple objects. The proposed system integrates the Yolov7 and FairMOT models to automatically detect and mask multiple objects in an image, using inpainting techniques to restore the regions where objects have been removed. The key contribution of this study is its ability to process multiple objects simultaneously, enabling automatic identification and removal without requiring user-defined segmentation. Additionally, performance is enhanced through the design of an inpainting loss function. This approach advances both processing speed and privacy protection. KCI Citation Count: 0