构建了基于BERT的双向连接模式BERT-based Bi-directional Association Model(BBAM)以实现在意图识别和槽位填充之间建立双向关系的目标,来实现意图识别与槽位填充的双向关联,融合两个任务的上下文信息,对意图识别与槽位填充两个任务之...构建了基于BERT的双向连接模式BERT-based Bi-directional Association Model(BBAM)以实现在意图识别和槽位填充之间建立双向关系的目标,来实现意图识别与槽位填充的双向关联,融合两个任务的上下文信息,对意图识别与槽位填充两个任务之间的联系进行深度挖掘,从而优化问句理解的整体性能.为了验证模型在旅游领域中的实用性和有效性,通过远程监督和人工校验构建了旅游领域问句数据集TFQD(Tourism Field Question Dataset),BBAM模型在此数据集上的槽填充任务F 1值得分为95.21%,意图分类准确率(A)为96.71%,整体识别准确率(A_(sentence))高达89.62%,显著优于多种基准模型.所提出的模型在ATIS和Snips两个公开数据集上与主流联合模型进行对比实验后,结果表明其具备一定的泛化能力.展开更多
在工业运维人机对话任务中,为解决运维数据中包含复杂嵌套实体以及存在少量缺字、错字的问题,提出一种改进的BERT联合任务算法GP-GraphBERT,利用意图和语义槽识别任务的关联性提升对话性能。首先,由BERT得到隐藏层状态后,通过构建邻接...在工业运维人机对话任务中,为解决运维数据中包含复杂嵌套实体以及存在少量缺字、错字的问题,提出一种改进的BERT联合任务算法GP-GraphBERT,利用意图和语义槽识别任务的关联性提升对话性能。首先,由BERT得到隐藏层状态后,通过构建邻接矩阵将其转换为图结构,嵌入加权残差图注意力网络(WRGAT)增强模型的邻居感知能力。其次,改进融合旋转式位置编码(rotary position embedding,RoPE)的全局指针机制(GlobalPointer),使模型能够无差别地识别常规实体和嵌套实体。最后,设计意图识别和语义槽识别任务的联合损失函数,利用两者的关联性提高预测精度,在模型训练过程中引入动态掩码处理,增强模型的鲁棒性和泛化能力。实验结果表明,GP-GraphBERT算法在工业运维人机对话数据集上意图识别和语义槽识别的F 1分数达到87.5%和86.4%,相较于原网络JointBERT分别提升9.2和3.0百分点,同时能够满足运维数据嵌套实体识别需求。实验充分验证了算法在联合识别任务中的性能。展开更多
意图识别与语义槽填充联合建模正成为口语理解(Spoken Language Understanding,SLU)的新趋势。但是,现有的联合模型只是简单地将两个任务进行关联,建立了两任务间的单向联系,未充分利用两任务之间的关联关系。考虑到意图识别与语义槽填...意图识别与语义槽填充联合建模正成为口语理解(Spoken Language Understanding,SLU)的新趋势。但是,现有的联合模型只是简单地将两个任务进行关联,建立了两任务间的单向联系,未充分利用两任务之间的关联关系。考虑到意图识别与语义槽填充的双向关联关系可以使两任务相互促进,提出了一种基于门控机制的双向关联模型(BiAss-Gate),将两个任务的上下文信息进行融合,深度挖掘意图识别与语义槽填充之间的联系,从而优化口语理解的整体性能。实验表明,所提模型BiAss-Gate在ATIS和Snips数据集上,语义槽填充F1值最高达95.8%,意图识别准确率最高达98.29%,对比其他模型性能得到了显著提升。展开更多
目前基于深度学习的端到端对话系统因具有泛化能力强、训练参数少、性能好等优势,在学术界和工业界成为了研究热点。意图识别和语义槽填充的结果对于对话系统的性能至关重要。介绍了端到端任务型对话系统意图和语义槽联合识别的主流方法...目前基于深度学习的端到端对话系统因具有泛化能力强、训练参数少、性能好等优势,在学术界和工业界成为了研究热点。意图识别和语义槽填充的结果对于对话系统的性能至关重要。介绍了端到端任务型对话系统意图和语义槽联合识别的主流方法,对注意力机制、Transformer模型在捕获长期依赖关系方面的效果同循环神经网络、长短时记忆网络进行对比,并分析了因其并行处理导致无法对文本词序位置信息完整捕获的局限;阐述了胶囊网络相较于卷积神经网络在捕获小概率语义信息保证特征完整性方面的优势;重点介绍了基于BERT(Bidirectional Encoder Representations from Transformers)模型的联合识别方法,不仅能够并行处理而且可以解决一词多义的问题,是目前性能最好的方法。最后对未来研究的发展方向进行讨论和分析。展开更多
文摘构建了基于BERT的双向连接模式BERT-based Bi-directional Association Model(BBAM)以实现在意图识别和槽位填充之间建立双向关系的目标,来实现意图识别与槽位填充的双向关联,融合两个任务的上下文信息,对意图识别与槽位填充两个任务之间的联系进行深度挖掘,从而优化问句理解的整体性能.为了验证模型在旅游领域中的实用性和有效性,通过远程监督和人工校验构建了旅游领域问句数据集TFQD(Tourism Field Question Dataset),BBAM模型在此数据集上的槽填充任务F 1值得分为95.21%,意图分类准确率(A)为96.71%,整体识别准确率(A_(sentence))高达89.62%,显著优于多种基准模型.所提出的模型在ATIS和Snips两个公开数据集上与主流联合模型进行对比实验后,结果表明其具备一定的泛化能力.
文摘在工业运维人机对话任务中,为解决运维数据中包含复杂嵌套实体以及存在少量缺字、错字的问题,提出一种改进的BERT联合任务算法GP-GraphBERT,利用意图和语义槽识别任务的关联性提升对话性能。首先,由BERT得到隐藏层状态后,通过构建邻接矩阵将其转换为图结构,嵌入加权残差图注意力网络(WRGAT)增强模型的邻居感知能力。其次,改进融合旋转式位置编码(rotary position embedding,RoPE)的全局指针机制(GlobalPointer),使模型能够无差别地识别常规实体和嵌套实体。最后,设计意图识别和语义槽识别任务的联合损失函数,利用两者的关联性提高预测精度,在模型训练过程中引入动态掩码处理,增强模型的鲁棒性和泛化能力。实验结果表明,GP-GraphBERT算法在工业运维人机对话数据集上意图识别和语义槽识别的F 1分数达到87.5%和86.4%,相较于原网络JointBERT分别提升9.2和3.0百分点,同时能够满足运维数据嵌套实体识别需求。实验充分验证了算法在联合识别任务中的性能。
文摘意图识别与语义槽填充联合建模正成为口语理解(Spoken Language Understanding,SLU)的新趋势。但是,现有的联合模型只是简单地将两个任务进行关联,建立了两任务间的单向联系,未充分利用两任务之间的关联关系。考虑到意图识别与语义槽填充的双向关联关系可以使两任务相互促进,提出了一种基于门控机制的双向关联模型(BiAss-Gate),将两个任务的上下文信息进行融合,深度挖掘意图识别与语义槽填充之间的联系,从而优化口语理解的整体性能。实验表明,所提模型BiAss-Gate在ATIS和Snips数据集上,语义槽填充F1值最高达95.8%,意图识别准确率最高达98.29%,对比其他模型性能得到了显著提升。
文摘目前基于深度学习的端到端对话系统因具有泛化能力强、训练参数少、性能好等优势,在学术界和工业界成为了研究热点。意图识别和语义槽填充的结果对于对话系统的性能至关重要。介绍了端到端任务型对话系统意图和语义槽联合识别的主流方法,对注意力机制、Transformer模型在捕获长期依赖关系方面的效果同循环神经网络、长短时记忆网络进行对比,并分析了因其并行处理导致无法对文本词序位置信息完整捕获的局限;阐述了胶囊网络相较于卷积神经网络在捕获小概率语义信息保证特征完整性方面的优势;重点介绍了基于BERT(Bidirectional Encoder Representations from Transformers)模型的联合识别方法,不仅能够并行处理而且可以解决一词多义的问题,是目前性能最好的方法。最后对未来研究的发展方向进行讨论和分析。
