融合自注意力机制的跨模态食谱检索方法

TP391.3; 饮食记录是饮食管理的关键环节.为了简化记录过程,研究者提出了基于食物图片的食谱检索技术,通过拍摄的图片检索到对应食谱,并据此生成营养信息,从而提高了记录的便捷性.食谱检索是典型的跨模态检索问题,但与一般问题相比,其主要难点是食谱描述了从原材料到成品的一系列变化过程,而非直接可见的特征,因此模型需要深入理解原材料的处理过程.而当前食谱检索研究工作采用线性方式处理文本,导致其捕捉食谱处理过程中的远距离依赖现象的能力较差.针对这个问题,设计了一种基于自注意力机制的跨模态食谱检索模型.该模型借助Transformer模型中的自注意力机制,捕捉食谱中远距离的依赖关系,同时改进了传统方法...

Full description

Saved in:
Bibliographic Details
Published in计算机科学与探索 Vol. 14; no. 9; pp. 1471 - 1481
Main Authors 林阳, 初旭, 王亚沙, 毛维嘉, 赵俊峰
Format Journal Article
LanguageChinese
Published 北京大学 计算机科学技术系,北京 100871%高可信软件技术教育部重点实验室,北京 100871 01.09.2020
高可信软件技术教育部重点实验室,北京 100871
北京大学 软件工程国家工程研究中心,北京 100871
Subjects
自注意力机制
跨模态
饮食记录
食谱检索
深度神经网络
Online AccessGet full text
ISSN1673-9418
DOI10.3778/j.issn.1673-9418.1912016

Cover

Abstract TP391.3; 饮食记录是饮食管理的关键环节.为了简化记录过程,研究者提出了基于食物图片的食谱检索技术,通过拍摄的图片检索到对应食谱,并据此生成营养信息,从而提高了记录的便捷性.食谱检索是典型的跨模态检索问题,但与一般问题相比,其主要难点是食谱描述了从原材料到成品的一系列变化过程,而非直接可见的特征,因此模型需要深入理解原材料的处理过程.而当前食谱检索研究工作采用线性方式处理文本,导致其捕捉食谱处理过程中的远距离依赖现象的能力较差.针对这个问题,设计了一种基于自注意力机制的跨模态食谱检索模型.该模型借助Transformer模型中的自注意力机制,捕捉食谱中远距离的依赖关系,同时改进了传统方法中的注意力机制,可以更好地挖掘食谱中的语义.实验结果表明,该模型在食谱检索任务的召回率上比基线方法提高了22％.
AbstractList TP391.3; 饮食记录是饮食管理的关键环节.为了简化记录过程,研究者提出了基于食物图片的食谱检索技术,通过拍摄的图片检索到对应食谱,并据此生成营养信息,从而提高了记录的便捷性.食谱检索是典型的跨模态检索问题,但与一般问题相比,其主要难点是食谱描述了从原材料到成品的一系列变化过程,而非直接可见的特征,因此模型需要深入理解原材料的处理过程.而当前食谱检索研究工作采用线性方式处理文本,导致其捕捉食谱处理过程中的远距离依赖现象的能力较差.针对这个问题,设计了一种基于自注意力机制的跨模态食谱检索模型.该模型借助Transformer模型中的自注意力机制,捕捉食谱中远距离的依赖关系,同时改进了传统方法中的注意力机制,可以更好地挖掘食谱中的语义.实验结果表明,该模型在食谱检索任务的召回率上比基线方法提高了22％.
Author 林阳
王亚沙
初旭
毛维嘉
赵俊峰
AuthorAffiliation 高可信软件技术教育部重点实验室,北京 100871;北京大学 计算机科学技术系,北京 100871%高可信软件技术教育部重点实验室,北京 100871;北京大学 软件工程国家工程研究中心,北京 100871
AuthorAffiliation_xml – name: 高可信软件技术教育部重点实验室,北京 100871;北京大学 计算机科学技术系,北京 100871%高可信软件技术教育部重点实验室,北京 100871;北京大学 软件工程国家工程研究中心,北京 100871
Author_FL ZHAO Junfeng
WANG Yasha
MAO Weijia
LIN Yang
CHU Xu
Author_FL_xml – sequence: 1
  fullname: LIN Yang
– sequence: 2
  fullname: CHU Xu
– sequence: 3
  fullname: WANG Yasha
– sequence: 4
  fullname: MAO Weijia
– sequence: 5
  fullname: ZHAO Junfeng
Author_xml – sequence: 1
  fullname: 林阳
– sequence: 2
  fullname: 初旭
– sequence: 3
  fullname: 王亚沙
– sequence: 4
  fullname: 毛维嘉
– sequence: 5
  fullname: 赵俊峰
BookMark eNo9jbtKA0EYhaeIYIx5B1uLXf-57FxKCd4gYKN1mL1JVpmAo6hdhIBBkNhooaJomsVKiSj6PjtZ38IFxeocPjjfmUM10zMJQgsYfCqEXMr8rrXGx1xQTzEsfawwAcxrqP7PZlHT2m4IAWMECy7riJf3F8XlsDx7dpPcDUbF-a27-yqG79ObQfmRu_zR9U-_xw_ly6sb96dvT-76002u5tFMqvds0vzLBtpeXdlqrXvtzbWN1nLbsxgY83hKdEhSHXIupEo0i-IgFkxFnINQMgpxUBUmacQDqoVMFVYAShJMIgYx0AZa_PUeaZNqs9PJeof7pnrsZDbbPT45sARItQBg9AfBQ15X
ClassificationCodes TP391.3
ContentType Journal Article
Copyright Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
Copyright_xml – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved.
DBID 2B.
4A8
92I
93N
PSX
TCJ
DOI 10.3778/j.issn.1673-9418.1912016
DatabaseName Wanfang Data Journals - Hong Kong
WANFANG Data Centre
Wanfang Data Journals
万方数据期刊 - 香港版
China Online Journals (COJ)
China Online Journals (COJ)
DatabaseTitleList
DeliveryMethod fulltext_linktorsrc
DocumentTitle_FL Cross-Modal Recipe Retrieval with Self-Attention Mechanism
EndPage 1481
ExternalDocumentID jsjkxyts202009004
GrantInformation_xml – fundername: The National Natural Science Foundation of China under Grant No. 61772045 ; the National Key Research and Development Program of China under Grant No. 2016YFB1001200
  funderid: (国家自然科学基金); (国家重点研发计划)
GroupedDBID 2B.
4A8
92I
93N
ALMA_UNASSIGNED_HOLDINGS
M~E
PSX
TCJ
ID FETCH-LOGICAL-s1044-6f2ab2fab66789ea4cd5d749c660798cb15607483c653a78f9190098212c40d03
ISSN 1673-9418
IngestDate Thu May 29 04:00:17 EDT 2025
IsPeerReviewed true
IsScholarly true
Issue 9
Keywords 自注意力机制
跨模态
饮食记录
食谱检索
深度神经网络
Language Chinese
LinkModel OpenURL
MergedId FETCHMERGED-LOGICAL-s1044-6f2ab2fab66789ea4cd5d749c660798cb15607483c653a78f9190098212c40d03
PageCount 11
ParticipantIDs wanfang_journals_jsjkxyts202009004
PublicationCentury 2000
PublicationDate 2020-09-01
PublicationDateYYYYMMDD 2020-09-01
PublicationDate_xml – month: 09
  year: 2020
  text: 2020-09-01
  day: 01
PublicationDecade 2020
PublicationTitle 计算机科学与探索
PublicationTitle_FL Journal of Frontiers of Computer Science & Technology
PublicationYear 2020
Publisher 北京大学 计算机科学技术系,北京 100871%高可信软件技术教育部重点实验室,北京 100871
高可信软件技术教育部重点实验室,北京 100871
北京大学 软件工程国家工程研究中心,北京 100871
Publisher_xml – name: 高可信软件技术教育部重点实验室,北京 100871
– name: 北京大学 计算机科学技术系,北京 100871%高可信软件技术教育部重点实验室,北京 100871
– name: 北京大学 软件工程国家工程研究中心,北京 100871
SSID ssib054421768
ssib002040941
ssib002423894
ssib051375751
ssib023646573
ssib036438069
ssib002040926
Score 2.2480958
Snippet TP391.3; 饮食记录是饮食管理的关键环节.为了简化记录过程,研究者提出了基于食物图片的食谱检索技术,通过拍摄的图片检索到对应食谱,并据此生成营养信息,从而提高了记录的...
SourceID wanfang
SourceType Aggregation Database
StartPage 1471
Title 融合自注意力机制的跨模态食谱检索方法
URI https://d.wanfangdata.com.cn/periodical/jsjkxyts202009004
Volume 14
hasFullText 1
inHoldings 1
isFullTextHit
isPrint
journalDatabaseRights – providerCode: PRVEBS
  databaseName: Inspec with Full Text
  issn: 1673-9418
  databaseCode: ADMLS
  dateStart: 20200501
  customDbUrl:
  isFulltext: true
  dateEnd: 99991231
  titleUrlDefault: https://www.ebsco.com/products/research-databases/inspec-full-text
  omitProxy: false
  ssIdentifier: ssib002423894
  providerName: EBSCOhost
– providerCode: PRVHPJ
  databaseName: ROAD: Directory of Open Access Scholarly Resources (selected full-text only)
  issn: 1673-9418
  databaseCode: M~E
  dateStart: 20070101
  customDbUrl:
  isFulltext: true
  dateEnd: 99991231
  titleUrlDefault: https://road.issn.org
  omitProxy: true
  ssIdentifier: ssib054421768
  providerName: ISSN International Centre
link http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnV1LaxRBEB5CvHgRRcU3QexTmDiPnu6uY8_uLEGIpwRyC_NUIqzgbkBzkAgBgyB60YOKorkET0pE0f-TyfovrOqZ3R2zKomXoae6uuqrrk5X9Wa627Ku5X6g0kLlduEn3OZJquxYFIXtqhzjR-o6BafdyAs3xfwSv7EcLE9N242vltb6yVy6_sd9Jf_jVaShX2mX7BE8OxKKBCyjf_GJHsbnoXzMIsUgYqrNooCBw5QiCi7vtWaRYKHPtKKCwoSxQzxKMwiJAi0WakNRLBQskgw0sWHzUNat8Kld0xwlYwGY9hl0DI_DQlOFFKzF5iFn2jOSUS_U2quLLYe5LzXUkZEpqQCygQQpiMElSLrNNELiLERbIgMgMsJrLcMxYlpXYoABgvLHNcYwaBsWFN0e10iSpkIjX5PVBNVjAE2xumP6CRWGpJN6F7FA8ycSXA8PvwGrBrVR2jJwjGjdMsZwMmxo1ewR-0CQx6iDDQ-iIkg-ofJak_pm6QgliaEpMM4KCTQxdUxLZOoYxdhT7SElNN6fVIMFtBnMcPKof1CgqoYT0ACjISdNFRi4EXmClGrCVFHQ9H-gbERDIX0beB0gh-GSN6YFaMQ-l9dt8_q1uovnYIz2pVQmRpOKuZGKORdcTEYPHItuEq3V3uqd-w_6PXKtA-b032OeFIIuLFl4GI2zTQxI0Fwt0zv_bds2puej8ENXJ4hgnL3jq68cMcruA9eX9F_J0TvnuH6vNtcOUVffBpJJ1_9mkNkN2C3i7q1G4rp40jpRrzhndDV9nLKm1m-ftsTg7dO951uDxx_L3Z1y89nek9flmx97W1_3X20Ovu2UO-_LjUc_t98NPn0utzf2v3woX34vd1-csZY60WJr3q6vULF7rsO5LQovTrwiTgQmpZDHPM2CTHJIhXAkqDShgxQkV34qAj-WqgBcIDigMKFNuZM5_llrunu3m5-zZnAedyDLMif2Ux7ncQy4Lk-c3MsxMYiL7Lx1tbZzpZ4ieysTnrtwGKaL1vHxX_Ela7p_by2_jKl_P7liHP4Lt1i4iQ
linkProvider ISSN International Centre
openUrl ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E8%9E%8D%E5%90%88%E8%87%AA%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E7%9A%84%E8%B7%A8%E6%A8%A1%E6%80%81%E9%A3%9F%E8%B0%B1%E6%A3%80%E7%B4%A2%E6%96%B9%E6%B3%95&rft.jtitle=%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A7%91%E5%AD%A6%E4%B8%8E%E6%8E%A2%E7%B4%A2&rft.au=%E6%9E%97%E9%98%B3&rft.au=%E5%88%9D%E6%97%AD&rft.au=%E7%8E%8B%E4%BA%9A%E6%B2%99&rft.au=%E6%AF%9B%E7%BB%B4%E5%98%89&rft.date=2020-09-01&rft.pub=%E5%8C%97%E4%BA%AC%E5%A4%A7%E5%AD%A6+%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A7%91%E5%AD%A6%E6%8A%80%E6%9C%AF%E7%B3%BB%2C%E5%8C%97%E4%BA%AC+100871%25%E9%AB%98%E5%8F%AF%E4%BF%A1%E8%BD%AF%E4%BB%B6%E6%8A%80%E6%9C%AF%E6%95%99%E8%82%B2%E9%83%A8%E9%87%8D%E7%82%B9%E5%AE%9E%E9%AA%8C%E5%AE%A4%2C%E5%8C%97%E4%BA%AC+100871&rft.issn=1673-9418&rft.volume=14&rft.issue=9&rft.spage=1471&rft.epage=1481&rft_id=info:doi/10.3778%2Fj.issn.1673-9418.1912016&rft.externalDocID=jsjkxyts202009004
thumbnail_s http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fjsjkxyts%2Fjsjkxyts.jpg