基于多模态大语言模型的数字厨师与智能烹饪系统

TP391.4; 面向高质量和精准烹饪的需求,提出一种基于多模态大语言模型的数字厨师与智能烹饪方法.离线阶段利用视觉、声音、温度等多源传感器记录专业厨师的连续操作,将图像与多轮问答文本融合,建立烹饪专家知识库,并采用低秩适配方法对预训练多模态大语言模型进行微调,以构建能够理解烹饪意图的多模态大语言模型.在线阶段将实时感知的数据转换为图文输入微调后的大语言模型,经模型分析后生成烹饪指令,引导用户完成相应的烹饪动作.以煎牛排任务为例,搭建了智能烹饪软硬件系统并进行实验验证.实验结果表明,经过微调后的智能烹饪系统能有效控制牛排的熟度与品质,相较于微调前的模型,显著提升了烹饪指令的合理性和针对性....

Full description

Saved in:
Bibliographic Details
Published in智能科学与技术学报 Vol. 6; no. 4; pp. 429 - 444
Main Authors 李鑫源, 李柏, 孙跃硕, 张坦探, 田永林, 殷烛炎, 王飞跃
Format Journal Article
LanguageChinese
Published 湖南大学整车先进设计制造技术全国重点实验室,湖南 长沙 410082%中国科学院自动化研究所多模态人工智能系统全国重点实验室,北京 100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京 100190 01.12.2024
澳门科技大学创新工程学院工程科学系,澳门 999078
湖南大学机械与运载工程学院,湖南 长沙 410082%湖南大学机械与运载工程学院,湖南 长沙 410082
中国科学院大学人工智能学院,北京 100049
Subjects
intelligent cooking
expert system
专家系统
智能烹饪
烹饪机器人
多模态大语言模型
multimodal large language model
artificial in-telligence
人工智能
数字厨师
cooking robot
digital chef
Online AccessGet full text
ISSN2096-6652
DOI10.11959/j.issn.2096-6652.202448

Cover

Abstract TP391.4; 面向高质量和精准烹饪的需求,提出一种基于多模态大语言模型的数字厨师与智能烹饪方法.离线阶段利用视觉、声音、温度等多源传感器记录专业厨师的连续操作,将图像与多轮问答文本融合,建立烹饪专家知识库,并采用低秩适配方法对预训练多模态大语言模型进行微调,以构建能够理解烹饪意图的多模态大语言模型.在线阶段将实时感知的数据转换为图文输入微调后的大语言模型,经模型分析后生成烹饪指令,引导用户完成相应的烹饪动作.以煎牛排任务为例,搭建了智能烹饪软硬件系统并进行实验验证.实验结果表明,经过微调后的智能烹饪系统能有效控制牛排的熟度与品质,相较于微调前的模型,显著提升了烹饪指令的合理性和针对性.
AbstractList TP391.4; 面向高质量和精准烹饪的需求,提出一种基于多模态大语言模型的数字厨师与智能烹饪方法.离线阶段利用视觉、声音、温度等多源传感器记录专业厨师的连续操作,将图像与多轮问答文本融合,建立烹饪专家知识库,并采用低秩适配方法对预训练多模态大语言模型进行微调,以构建能够理解烹饪意图的多模态大语言模型.在线阶段将实时感知的数据转换为图文输入微调后的大语言模型,经模型分析后生成烹饪指令,引导用户完成相应的烹饪动作.以煎牛排任务为例,搭建了智能烹饪软硬件系统并进行实验验证.实验结果表明,经过微调后的智能烹饪系统能有效控制牛排的熟度与品质,相较于微调前的模型,显著提升了烹饪指令的合理性和针对性.
Abstract_FL A digital chef and an intelligent cooking method were proposed to achieve high-quality,precise cooking results.In the offline phase,visual,auditory and thermal sensors record professional chefs'continuous cooking operations.The collected frame-by-frame images and multi-round Q&A texts form a culinary expert knowledge base.A low-rank adapta-tion method was applied to fine-tune a pretrained multimodal large language model,enabling it to understand cooking in-tentions.In the online phase,real-time sensory data were converted into image-text inputs for the fine-tuned model,which then generated cooking instructions to guide users through the cooking steps.A hardware-software cooking system was implemented and tested with a pan-frying steak task.Experimental results show that the fine-tuned system effectively con-trols the steak's doneness and quality,and significantly improves the accuracy and rationality of cooking instructions com-pared to the model before fine-tuning.
Author 孙跃硕
王飞跃
李鑫源
殷烛炎
田永林
张坦探
李柏
AuthorAffiliation 湖南大学机械与运载工程学院,湖南 长沙 410082%湖南大学机械与运载工程学院,湖南 长沙 410082;湖南大学整车先进设计制造技术全国重点实验室,湖南 长沙 410082%中国科学院自动化研究所多模态人工智能系统全国重点实验室,北京 100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京 100190;中国科学院大学人工智能学院,北京 100049;澳门科技大学创新工程学院工程科学系,澳门 999078
AuthorAffiliation_xml – name: 湖南大学机械与运载工程学院,湖南 长沙 410082%湖南大学机械与运载工程学院,湖南 长沙 410082;湖南大学整车先进设计制造技术全国重点实验室,湖南 长沙 410082%中国科学院自动化研究所多模态人工智能系统全国重点实验室,北京 100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京 100190;中国科学院大学人工智能学院,北京 100049;澳门科技大学创新工程学院工程科学系,澳门 999078
Author_FL YIN Zhuyan
LI Bai
WANG Fei-Yue
ZHANG Tantan
SUN Yueshuo
LI Xinyuan
TIAN Yonglin
Author_FL_xml – sequence: 1
  fullname: LI Xinyuan
– sequence: 2
  fullname: LI Bai
– sequence: 3
  fullname: SUN Yueshuo
– sequence: 4
  fullname: ZHANG Tantan
– sequence: 5
  fullname: TIAN Yonglin
– sequence: 6
  fullname: YIN Zhuyan
– sequence: 7
  fullname: WANG Fei-Yue
Author_xml – sequence: 1
  fullname: 李鑫源
– sequence: 2
  fullname: 李柏
– sequence: 3
  fullname: 孙跃硕
– sequence: 4
  fullname: 张坦探
– sequence: 5
  fullname: 田永林
– sequence: 6
  fullname: 殷烛炎
– sequence: 7
  fullname: 王飞跃
BookMark eNo9jztLA0EAhLeIYIz5D9bCnfu-21KDLwjYaB3utZJTNuAiRqtILAQhnYgpDELEQwgKNvGC_yZ7d_4LTxSrmfmKGWYJVFRHRQCsIGgjJJhYi-221srGUHCLc4ZLhyl1K6D6jxZBXeu2D5nrMAExr4INM0rn6cCMh1nymPUuzfi5eJ0USa-M5uEmH15lt29mcmcGiZlez6eD7D4t-p95_-Pr6SV_n-Wz0TJYkN6xjup_WgMHW5v7jR2rube921hvWhpBh1gh4hSjgJAAMe4FQjDucw4pRUEkXOlJHIYhYxwx6HiSS8IDByPKfAlJ5EtJamD1t_fMU9JTh624c3qiysXWhTrqnse66_88hhRCQr4BZhBo3g
ClassificationCodes TP391.4
ContentType Journal Article
Copyright Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
Copyright_xml – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
DBID 2B.
4A8
92I
93N
PSX
TCJ
DOI 10.11959/j.issn.2096-6652.202448
DatabaseName Wanfang Data Journals - Hong Kong
WANFANG Data Centre
Wanfang Data Journals
万方数据期刊 - 香港版
China Online Journals (COJ)
China Online Journals (COJ)
DatabaseTitleList
DeliveryMethod fulltext_linktorsrc
DocumentTitle_FL Digital chefs and intelligent cooking systems based on multimodal large language model
EndPage 444
ExternalDocumentID znkxyjsxb202404003
GroupedDBID -SI
-S~
2B.
2RA
4A8
92I
93N
AAXDM
ALMA_UNASSIGNED_HOLDINGS
APATB
CAJEI
CQIGP
GROUPED_DOAJ
PB1
PB9
PSX
Q--
TCJ
ID FETCH-LOGICAL-s1073-d16421c33c156ac9956b660441ce98faf2ddd5561507af6f36c72145bf03ebff3
ISSN 2096-6652
IngestDate Thu May 29 04:06:04 EDT 2025
IsPeerReviewed true
IsScholarly true
Issue 4
Keywords intelligent cooking
expert system
专家系统
智能烹饪
烹饪机器人
多模态大语言模型
multimodal large language model
artificial in-telligence
人工智能
数字厨师
cooking robot
digital chef
Language Chinese
LinkModel OpenURL
MergedId FETCHMERGED-LOGICAL-s1073-d16421c33c156ac9956b660441ce98faf2ddd5561507af6f36c72145bf03ebff3
PageCount 16
ParticipantIDs wanfang_journals_znkxyjsxb202404003
PublicationCentury 2000
PublicationDate 2024-12-01
PublicationDateYYYYMMDD 2024-12-01
PublicationDate_xml – month: 12
  year: 2024
  text: 2024-12-01
  day: 01
PublicationDecade 2020
PublicationTitle 智能科学与技术学报
PublicationTitle_FL Chinese Journal of Intelligent Science and Technology
PublicationYear 2024
Publisher 湖南大学整车先进设计制造技术全国重点实验室,湖南 长沙 410082%中国科学院自动化研究所多模态人工智能系统全国重点实验室,北京 100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京 100190
澳门科技大学创新工程学院工程科学系,澳门 999078
湖南大学机械与运载工程学院,湖南 长沙 410082%湖南大学机械与运载工程学院,湖南 长沙 410082
中国科学院大学人工智能学院,北京 100049
Publisher_xml – name: 湖南大学整车先进设计制造技术全国重点实验室,湖南 长沙 410082%中国科学院自动化研究所多模态人工智能系统全国重点实验室,北京 100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京 100190
– name: 中国科学院大学人工智能学院,北京 100049
– name: 湖南大学机械与运载工程学院,湖南 长沙 410082%湖南大学机械与运载工程学院,湖南 长沙 410082
– name: 澳门科技大学创新工程学院工程科学系,澳门 999078
SSID ssib058759026
ssib041261367
ssj0002891595
ssib046786274
ssib051372948
Score 2.4119556
Snippet TP391.4; 面向高质量和精准烹饪的需求,提出一种基于多模态大语言模型的数字厨师与智能烹饪方法.离线阶段利用视觉、声音、温度等多源传感器记录专业厨师的连续操作,将图像与...
SourceID wanfang
SourceType Aggregation Database
StartPage 429
Title 基于多模态大语言模型的数字厨师与智能烹饪系统
URI https://d.wanfangdata.com.cn/periodical/znkxyjsxb202404003
Volume 6
hasFullText 1
inHoldings 1
isFullTextHit
isPrint
journalDatabaseRights – providerCode: PRVAON
  databaseName: DOAJ Directory of Open Access Journals
  issn: 2096-6652
  databaseCode: DOA
  dateStart: 20190101
  customDbUrl:
  isFulltext: true
  dateEnd: 99991231
  titleUrlDefault: https://www.doaj.org/
  omitProxy: true
  ssIdentifier: ssj0002891595
  providerName: Directory of Open Access Journals
– providerCode: PRVHPJ
  databaseName: ROAD: Directory of Open Access Scholarly Resources
  issn: 2096-6652
  databaseCode: M~E
  dateStart: 20190101
  customDbUrl:
  isFulltext: true
  dateEnd: 99991231
  titleUrlDefault: https://road.issn.org
  omitProxy: true
  ssIdentifier: ssib058759026
  providerName: ISSN International Centre
link http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwvV3Na9RAFA-1evAiioqfpaBzKqnJJDOZOU52sxShnlrorSTZjaKwgq1Qe5BKPQhCbyL2YBEqFqEoeKkt_jfd3fpf-N5LNrvbrlKleAmTN2_f-72PbN4MkxnLuu1DkZy5TmbHST2w_VQ7tlZuw9ZBA4oNmXI_xqmB6Xtyata_OyfmRs6E_V-XLCaT6fLQ70r-JapAg7jiV7J_EdlSKBCgDfGFK0QYrseKMYsE0zUWGhb5eFURUozPNFAkM4oZFxvKgYKx6DIBi4BeY6ZKDYW9PWYQGDEVsihAIcrHLi1Y6NDPq0wH2ABFwA-NEH6uSLsi7cCsCQ_ceiysohxsaBZpZkCCQUoIFFIBVz2wsHC4BMCs3QKAkQPqlCnw6woa1eOhLiO6CUUsVfqRRmEmRAro0c4QFoluVbVeT267RlQhWYSoXKZFP0sIEMhPuoQAfuL9EyvcP7RIhVAAIklu7fq3iFOfMRgDn9TnFGAW5Hqg1JgOKZYRC6OikccSGEKJFoOPjDPcXyAnjyUIQXcDc4BIMHKcIidQoCbPQfxUpaAASF45in-CPCwQFvZxcNuEj5s7ccZFETvMvVLh0fhqdLXhlAMB5YygaBJM0I_aAjRI-9TQZCUYR4b-6RGgxyQkgRBHSMih-TaYnyfhpBx2UAAwlQnclEw7_9UjCDfPcD7MyKCbNqAanHXoMYuKhCwyqoRKRhY5dhIe6RUm3NHSllIMVFGy72Xh91VEfjGhmRfXfr7Z69G6TQtNhRsqmCwVTOJzme_Ee2hX_OXmo6VnDxeWEuTAQsQ7ZZ3mUNnh8T3Tz6NuTeG7XOKulOU9FOd43Fj3Xri4bqE3JSRUgBtayXKenisNIz5cCV-i6i4IBcx3foOYPgFtZnHzft9oZea8da6YZhg3-TvjgjWy_OCiFbY2dvd311qb6-2tD-2VF63NTwdftg-2VuC29f51Z_1l-83X1vbb1tpWa-fV_s5a-93uweqPzur3nx8_d77tdfY2LlmztWimMmUXZ-jYCy5Ub3bdxZ0MUs9LXSHjFPcxSKR0YBCcNrTK4ozX63U8Ilk4QZzJzJNpgIdXJJnjNZIs8y5bo83HzcYVazyhjdW8zJF1BYNwqR0njoN6nLoxT4XWV61bhc3zxTtyYf5omK4di-u6dbb3l3zDGl188rRxE0Z_i8kYzZqOUZB_AbzpKVg
linkProvider ISSN International Centre
openUrl ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8E%E5%A4%9A%E6%A8%A1%E6%80%81%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%95%B0%E5%AD%97%E5%8E%A8%E5%B8%88%E4%B8%8E%E6%99%BA%E8%83%BD%E7%83%B9%E9%A5%AA%E7%B3%BB%E7%BB%9F&rft.jtitle=%E6%99%BA%E8%83%BD%E7%A7%91%E5%AD%A6%E4%B8%8E%E6%8A%80%E6%9C%AF%E5%AD%A6%E6%8A%A5&rft.au=%E6%9D%8E%E9%91%AB%E6%BA%90&rft.au=%E6%9D%8E%E6%9F%8F&rft.au=%E5%AD%99%E8%B7%83%E7%A1%95&rft.au=%E5%BC%A0%E5%9D%A6%E6%8E%A2&rft.date=2024-12-01&rft.pub=%E6%B9%96%E5%8D%97%E5%A4%A7%E5%AD%A6%E6%95%B4%E8%BD%A6%E5%85%88%E8%BF%9B%E8%AE%BE%E8%AE%A1%E5%88%B6%E9%80%A0%E6%8A%80%E6%9C%AF%E5%85%A8%E5%9B%BD%E9%87%8D%E7%82%B9%E5%AE%9E%E9%AA%8C%E5%AE%A4%2C%E6%B9%96%E5%8D%97+%E9%95%BF%E6%B2%99+410082%25%E4%B8%AD%E5%9B%BD%E7%A7%91%E5%AD%A6%E9%99%A2%E8%87%AA%E5%8A%A8%E5%8C%96%E7%A0%94%E7%A9%B6%E6%89%80%E5%A4%9A%E6%A8%A1%E6%80%81%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E7%B3%BB%E7%BB%9F%E5%85%A8%E5%9B%BD%E9%87%8D%E7%82%B9%E5%AE%9E%E9%AA%8C%E5%AE%A4%2C%E5%8C%97%E4%BA%AC+100190%25%E4%B8%AD%E5%9B%BD%E7%A7%91%E5%AD%A6%E9%99%A2%E8%87%AA%E5%8A%A8%E5%8C%96%E7%A0%94%E7%A9%B6%E6%89%80%E5%A4%8D%E6%9D%82%E7%B3%BB%E7%BB%9F%E7%AE%A1%E7%90%86%E4%B8%8E%E6%8E%A7%E5%88%B6%E5%9B%BD%E5%AE%B6%E9%87%8D%E7%82%B9%E5%AE%9E%E9%AA%8C%E5%AE%A4%2C%E5%8C%97%E4%BA%AC+100190&rft.issn=2096-6652&rft.volume=6&rft.issue=4&rft.spage=429&rft.epage=444&rft_id=info:doi/10.11959%2Fj.issn.2096-6652.202448&rft.externalDocID=znkxyjsxb202404003
thumbnail_s http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fznkxyjsxb%2Fznkxyjsxb.jpg