面向点击率预测的自注意力深度域嵌入因子分解机

• Published in: 工程科学与技术 Vol. 56; no. 5; pp. 287 - 296
• Main Authors: 李广丽, 叶艺源, 许广鑫, 张红斌, 吴光庭, 吕敬钦
• Format: Journal Article
• Language: Chinese
• Published: 华东交通大学信息与软件工程学院,江西南昌 330013 01.09.2024
• Subjects: field-embedded factorization machine; click-through rate prediction; multi-head self-attention; 深度神经网络; feature interaction; 点击率预测; 多头自注意力; deep neural network; 特征交互; 域嵌入因子分解机
• ISSN: 2096-3246
• DOI: 10.12454/j.jsuese.202201373

TP391; 点击率(CTR)预测通过预测用户对广告或商品的点击概率,实现数字广告精准推荐.针对现有CTR模型存在原始嵌入向量未精化、特征交互方式偏简单的问题,本文提出自注意力深度域嵌入因子分解机(self-atten-tion deep field-embedded factorization machine,Self-AtDFEFM)模型.首先,通过多头自注意力对原始嵌入向量加权,精化出关键低层特征;其次,构建深度域嵌入因子分解机(FEFM)模块,设计域对对称矩阵以提升不同特征域之间的交互强度,为高阶特征交互优选出低阶特征组合;再次,基于低阶特征组合构建深度神经网络(DNN),完成隐式高阶特征交互;然后,围绕精化后的嵌入向量,联合多头自注意力与残差机制堆叠多个显式高阶特征交互层,通过自注意力捕获同一特征在不同子空间上的互补信息,完成显示高阶特征交互;最后,联合显式与隐式高阶特征交互实现点击率预测.在Criteo和Avazu两大公开数据集上,将Self-AtDFEFM模型与主流基线模型在AUC和Lo-gLoss指标上进行对比实验;为Self-AtDFEFM模型调制显式高阶特征交互层层数、注意力头数量、嵌入层维度及隐式高阶特征交互层层数等参数;对Self-AtDFEFM模型进行消融实验.实验结果表明:在两大数据集上,Self-AtDFEFM 模型的AUC、LogLoss均优于主流基线模型;Self-AtDFEFM模型的全部参数已调为最佳;各模块形成合力以促使Self-AtDFEFM模型性能达到最优,其中显示高阶特征交互层的作用最大.Self-AtDFEFM模型各模块即插即用,易于构建和部署,且在性能与复杂度之间取得平衡,具备较高实用性.