基于大模型的具身智能系统综述

得益于近期具有世界知识的大规模预训练模型的迅速发展,基于大模型的具身智能在各类任务中取得了良好的效果,展现出强大的泛化能力与在各领域内广阔的应用前景.鉴于此,对基于大模型的具身智能的工作进行了综述,首先,介绍大模型在具身智能系统中起到的感知与理解作用;其次,对大模型在具身智能中参与的需求级、任务级、规划级和动作级的控制进行了较为全面的总结;然后,对不同具身智能系统架构进行介绍,并总结了目前具身智能模型的数据来源,包括模拟器、模仿学习以及视频学习;最后,对基于大语言模型(Large language model,LLM)的具身智能系统面临的挑战与发展方向进行讨论与总结....

Full description

Saved in:
Bibliographic Details
Published in自动化学报 Vol. 51; no. 1; pp. 1 - 19
Main Authors 王文晟, 谭宁, 黄凯, 张雨浓, 郑伟诗, 孙富春
Format Journal Article
LanguageChinese
Published 中山大学计算机学院 广州 510006%清华大学计算机科学与技术系 北京 100084 2025
Subjects
robot
大型视觉模型
机器人
large visual model
foundation model
embodied intelligence
大语言模型
具身智能
基础模型
Large language model (LLM)
Online AccessGet full text
ISSN0254-4156
DOI10.16383/j.aas.c240542

Cover

More Information
Summary:得益于近期具有世界知识的大规模预训练模型的迅速发展,基于大模型的具身智能在各类任务中取得了良好的效果,展现出强大的泛化能力与在各领域内广阔的应用前景.鉴于此,对基于大模型的具身智能的工作进行了综述,首先,介绍大模型在具身智能系统中起到的感知与理解作用;其次,对大模型在具身智能中参与的需求级、任务级、规划级和动作级的控制进行了较为全面的总结;然后,对不同具身智能系统架构进行介绍,并总结了目前具身智能模型的数据来源,包括模拟器、模仿学习以及视频学习;最后,对基于大语言模型(Large language model,LLM)的具身智能系统面临的挑战与发展方向进行讨论与总结.
ISSN:0254-4156
DOI:10.16383/j.aas.c240542