视觉情境感知驱动的虚拟机器人交互系统

TP391; 虚拟机器人是能与人交互的智能软件,通常具有实时性、交互性等特点.文中以视觉情境感知驱动的虚拟机器人为主题,从轻量级目标检测模型及压缩、实时关键帧提取、系统优化和交互策略4个方面展开探究,在边缘的资源受限平台上构建强实时性、高交互性、高度可扩展的虚拟机器人系统.具体而言,在轻量级目标检测模型及压缩方面,首先探究不同主干网络下SSD模型的性能与精度,随后对基于VGG16网络的SSD模型进行int8量化与剪枝,在精度损失不超过0.1％的前提下,帧率比原模型提高187％.在实时关键帧提取方面,使用边缘特征强度和HOG特征进行视频流预筛选,降低系统压力,等效减少90％的推理时延.在系统优化...

Full description

Saved in:
Bibliographic Details
Published in计算机科学 Vol. 50; no. 9; pp. 260 - 268
Main Authors 刘宇博, 郭斌, 马可, 邱晨, 刘思聪
Format Journal Article
LanguageChinese
Published 西北工业大学计算机学院 西安710129 2023
Subjects
Lightweight model
资源受限
目标检测
Object detection
模型压缩
情境驱动
轻量级模型
Resource-constrained
Model compression
Context-driven
Online AccessGet full text
ISSN1002-137X
DOI10.11896/jsjkx.230200167

Cover

More Information
Summary:TP391; 虚拟机器人是能与人交互的智能软件,通常具有实时性、交互性等特点.文中以视觉情境感知驱动的虚拟机器人为主题,从轻量级目标检测模型及压缩、实时关键帧提取、系统优化和交互策略4个方面展开探究,在边缘的资源受限平台上构建强实时性、高交互性、高度可扩展的虚拟机器人系统.具体而言,在轻量级目标检测模型及压缩方面,首先探究不同主干网络下SSD模型的性能与精度,随后对基于VGG16网络的SSD模型进行int8量化与剪枝,在精度损失不超过0.1％的前提下,帧率比原模型提高187％.在实时关键帧提取方面,使用边缘特征强度和HOG特征进行视频流预筛选,降低系统压力,等效减少90％的推理时延.在系统优化方面,采用微服务化降低冷启动时延约98％.在交互策略方面,使用含计时器的状态机对情境进行建模以实现情境驱动,并采用语音形式完成人机交互的输出.
ISSN:1002-137X
DOI:10.11896/jsjkx.230200167