OFP-VTON:基于感受野模块的原有特征保持虚拟试衣网络

• Published in: 东华大学学报（英文版） Vol. 41; no. 1; pp. 28 - 36
• Main Authors: 王昭阳, 陶然, 卢海伦
• Format: Journal Article
• Language: Chinese
• Published: 东华大学 计算机科学与技术学院,上海 201620 2024
• Subjects: receptive field block(RFB); deep learning; original feature preserving; 原有特征保留; virtual try-on(VITON); 深度学习; 虚拟试衣(VITON); 感受野模块(RFB)
• ISSN: 1672-5220
• DOI: 10.19884/j.1672-5220.202211004

TP391; 基于计算机视觉的虚拟试衣(virtual try-on,VITON)技术是指将试穿服装按照模特图像特征进行扭曲并合成到模特图像中,以替换原有服装部分.当前的虚拟试衣技术主要存在两个问题:保留模特图像头部、下装和背景等原有特征不足;扭曲后的试穿服装与模特图像匹配度不高.针对这两个问题,提出一种原有特征保持虚拟试衣网络(original feature preserving virtual try-on network,OFP-VTON),由语义分割图生成、试穿服装扭曲和试穿图像合成三部分组成.在试穿服装扭曲阶段通过使网络学习模特图像中所穿服装的扭曲映射,以更好地约束试穿服装扭曲;在试穿图像合成阶段提取并保留模特图像原有特征,并引入感受野模块(receptive field block,RFB)以尽可能保留试穿服装特征.在公开的VITON数据集上的定性与定量实验表明,OFP-VTON能更好地保留原有特征,扭曲后的试穿服装与模特图像匹配度高.