基于域适应的煤矿环境监控图像语义分割

• Published in: 煤炭学报 Vol. 46; no. 10; pp. 3386 - 3396
• Main Authors: 杨潇, 陈伟, 任鹏, 杨文嘉, 毕方明
• Format: Journal Article
• Language: Chinese
• Published: 中国科学院上海微系统与信息技术研究所无线传感网与通信重点实验室,上海 200050 01.10.2021; 中国矿业大学计算机科学与技术学院,江苏徐州221116; 中国矿业大学矿山数字化教育部工程研究中心,江苏徐州221116; 中国矿业大学矿山数字化教育部工程研究中心,江苏徐州221116%中国矿业大学计算机科学与技术学院,江苏徐州221116
• Subjects: 煤矿图像语义分割;无监督域适应;像素级对齐;特征级对齐;注意力机制
• ISSN: 0253-9993
• DOI: 10.13225/j.cnki.jccs.2020.1771

TP391.3; 煤矿复杂场景监控图像的解析是煤矿安全高效生产的重要保障.语义分割是图像智能分析的关键技术,为图像中的每个像素分配类别标签.全卷积神经网络、DeepLab系列、DFN等较高性能的语义分割模型需要依赖大量的像素级标签.针对煤矿监控图像缺少标注信息及容易混淆外观相似的不同类别目标的问题,提出双对齐网络模型.该模型从特征级和像素级两方面减少域间差异,将在合成数据集上训练的语义分割模型迁移到煤矿真实场景中,实现煤矿监控图像语义分割.在特征空间中,使用特征级域适应网络学习域不变特征,减少2个领域之间特征表示的分布差异,实现特征级对齐;在像素空间中,使用像素级域适应网络将源域图像风格转换为目标域图像的风格,减少因纹理、光照等因素造成的域偏移,实现像素级对齐.分割网络使用具有煤矿环境风格的源域图像进行训练,学习煤矿监控图像光照、纹理等特征,增强煤矿监控图像中不同类别目标的区分度.判别器中添加空间注意力模块和通道注意力模块,用来提高双对齐网络模型中判别器的判别能力.通道注意力模块为每个通道的特征分配不同的权重,空间注意力模块使用非局部操作获得不同位置间的关系信息.实验选取GTA5-to-Cityscapes和SYNTHIA-to-Cityscapes两个典型的域适应任务验证双对齐网络的有效性,将该算法与AdaptSegNet,DCAN,CLAN等算法进行对比实验.实验结果表明,双对齐网络的平均交并比提高到43.7％和45.80％.对于煤矿复杂环境,选取SYNTHIA-to-Coal Mine域适应任务进行实验.双对齐网络模型的平均交并比为38.26％,比AdaptSegNet,DC AN,CLAN等算法分别提高7.19％,8.34％和5.56％.针对煤矿监控图像缺少标注信息的问题,双对齐网络减少合成图像与煤矿监控图像的域间差异,较好地分割不同类别的目标.