近年来,以ChatGPT为代表的能够适应复杂场景、并能满足人类的各种应用需求为目标的文本生成算法模型成为学术界与产业界共同关注的焦点.然而,ChatGPT等大规模语言模型(Large Language Model,LLM)高度忠实于用户意图的优势隐含了部分的...近年来,以ChatGPT为代表的能够适应复杂场景、并能满足人类的各种应用需求为目标的文本生成算法模型成为学术界与产业界共同关注的焦点.然而,ChatGPT等大规模语言模型(Large Language Model,LLM)高度忠实于用户意图的优势隐含了部分的事实性错误,而且也需要依靠提示内容来控制细致的生成质量和领域适应性,因此,研究以内在质量约束为核心的文本生成方法仍具有重要意义.本文在近年来关键的内容生成模型和技术对比研究的基础上,定义了基于内在质量约束的文本生成的基本形式,以及基于“信、达、雅”的6种质量特征;针对这6种质量特征,分析并总结了生成器模型的设计和相关算法;同时,围绕不同的内在质量特征总结了多种自动评价和人工评价指标与方法.最后,本文对文本内在质量约束技术的未来研究方向进行了展望.展开更多
核电装备质量文本描述了核电装备在设计、采购、施工和调试阶段出现的质量缺陷等问题。由于不同阶段质量事件的发生频率不同,且同一装备对应不同阶段的质量文本中存在相同的关键词和相似的表述形式,针对类型数量不均衡和语义描述耦合的...核电装备质量文本描述了核电装备在设计、采购、施工和调试阶段出现的质量缺陷等问题。由于不同阶段质量事件的发生频率不同,且同一装备对应不同阶段的质量文本中存在相同的关键词和相似的表述形式,针对类型数量不均衡和语义描述耦合的质量文本分类问题,提出一种融合正则反馈焦点损失函数的改进循环池化网络分类模型。首先,采用BERT(Bidirectional Encoder Representation from Transformers)将核电装备质量文本转化为词向量;然后,提出一个改进的3层循环池化网络的分类模型结构,通过增加中间层并选择合适权重,扩大参数训练的提取空间,提升表征质量缺陷语义特征的能力;接着,提出正则反馈焦点损失函数来训练提出分类模型的参数,通过正则项使损失函数的梯度变化更稳定,根据反馈项对损失函数进行基于真实值和预测值之间误差的迭代调整,解决了不均衡样本在训练过程中梯度偏向不均衡的问题;最后,通过归一化指数函数计算出核电装备质量事件对应的阶段。在某核电公司真实数据集和公共数据集上,与Fast_Text网络相比,所提模型的F1值分别提高了2个百分点和1个百分点,实验结果表明该模型在文本分类任务中具有较高的准确性。展开更多
文摘近年来,以ChatGPT为代表的能够适应复杂场景、并能满足人类的各种应用需求为目标的文本生成算法模型成为学术界与产业界共同关注的焦点.然而,ChatGPT等大规模语言模型(Large Language Model,LLM)高度忠实于用户意图的优势隐含了部分的事实性错误,而且也需要依靠提示内容来控制细致的生成质量和领域适应性,因此,研究以内在质量约束为核心的文本生成方法仍具有重要意义.本文在近年来关键的内容生成模型和技术对比研究的基础上,定义了基于内在质量约束的文本生成的基本形式,以及基于“信、达、雅”的6种质量特征;针对这6种质量特征,分析并总结了生成器模型的设计和相关算法;同时,围绕不同的内在质量特征总结了多种自动评价和人工评价指标与方法.最后,本文对文本内在质量约束技术的未来研究方向进行了展望.
文摘核电装备质量文本描述了核电装备在设计、采购、施工和调试阶段出现的质量缺陷等问题。由于不同阶段质量事件的发生频率不同,且同一装备对应不同阶段的质量文本中存在相同的关键词和相似的表述形式,针对类型数量不均衡和语义描述耦合的质量文本分类问题,提出一种融合正则反馈焦点损失函数的改进循环池化网络分类模型。首先,采用BERT(Bidirectional Encoder Representation from Transformers)将核电装备质量文本转化为词向量;然后,提出一个改进的3层循环池化网络的分类模型结构,通过增加中间层并选择合适权重,扩大参数训练的提取空间,提升表征质量缺陷语义特征的能力;接着,提出正则反馈焦点损失函数来训练提出分类模型的参数,通过正则项使损失函数的梯度变化更稳定,根据反馈项对损失函数进行基于真实值和预测值之间误差的迭代调整,解决了不均衡样本在训练过程中梯度偏向不均衡的问题;最后,通过归一化指数函数计算出核电装备质量事件对应的阶段。在某核电公司真实数据集和公共数据集上,与Fast_Text网络相比,所提模型的F1值分别提高了2个百分点和1个百分点,实验结果表明该模型在文本分类任务中具有较高的准确性。
