摘要
预训练技术当前在自然语言处理领域占有举足轻重的位置。尤其近两年提出的ELMo、GTP、BERT、XLNet、T5、GTP-3等预训练模型的成功,进一步将预训练技术推向了研究高潮。该文从语言模型、特征抽取器、上下文表征、词表征四个方面对现存的主要预训练技术进行了分析和分类,并分析了当前自然语言处理中的预训练技术面临的主要问题和发展趋势。
Pre-training technology has stepped into the center stage of natural language processing, especially with the emergence of ELMo, GTP, BERT, XLNet, T5, and GTP-3 in the last two years. In this paper, we analyze and classify the existing pre-training technologies from four aspects: language model, feature extractor, contextual representation, and word representation. We discuss the main issues and development trends of pre-training technologies in current natural language processing.
作者
岳增营
叶霞
刘睿珩
YUE Zengying;YE Xia;LIU Ruiheng(Academy of Combat Support,Rocket Force University of Engineering,Xi’an,Shaanxi 710025,China)
出处
《中文信息学报》
CSCD
北大核心
2021年第9期15-29,共15页
Journal of Chinese Information Processing
基金
国家自然科学基金青年基金(62006240)。
关键词
自然语言处理
预训练
语言模型
natural language processing
pre-training
language model
