基于BERT-BiLSTM模型的短文本自动评分系统

• Published in: 深圳大学学报（理工版） Vol. 39; no. 3; pp. 349 - 354
• Main Authors: 夏林中, 叶剑锋, 罗德安, 管明祥, 刘俊, 曹雪梅
• Format: Journal Article
• Language: Chinese
• Published: 深圳信息职业技术学院人工智能技术应用工程实验室,广东深圳518172 30.05.2022
• Subjects: 短文本自动评分; 自然语言处理; 长短时记忆网络; BERT语言模型; 信号与信息处理; 二次加权kappa系数
• ISSN: 1000-2618
• DOI: 10.3724/SP.J.1249.2022.03349

TP18%H08; 针对短文本自动评分中存在的特征稀疏、一词多义及上下文关联信息少等问题,提出一种基于BERT-BiLSTM(bidirectional encoder representations from transformers-bidirectional long short-term memory)的短文本自动评分模型.使用BERT(bidirectional encoder representations from transformers)语言模型预训练大规模语料库习得通用语言的语义特征,通过预训练好的BERT语言模型预微调下游具体任务的短文本数据集习得短文本的语义特征和关键词特定含义,再通过BiLSTM(bidirectional long short-term memory)捕获深层次上下文关联信息,最后将获得的特征向量输入Softmax回归模型进行自动评分.实验结果表明,对比CNN(convolutional neural networks)、CharCNN(character-level CNN)、LSTM(long short-term memory)和BERT等基准模型,基于BERT-BiLSTM的短文本自动评分模型所获的二次加权kappa系数平均值最优.