BERT预训练模‌‌‍‍‍‌‍‌‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‍‍‌‍‌‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‌‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‌‌型及其应用案例

预训练模型最开始是在图像领域提出的,获‌‌‍‍‍‌‍‌‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‍‍‌‍‌‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‌‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‌‌得了良好的效果,近几年才被广泛应用到自然语言处理各项任务中。

  • (1)2003年Bengio提出神经‌‌‍‍‍‌‍‌‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‍‍‌‍‌‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‌‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‌‌网络语言模型NNLM,从此统一了NLP的特征形式——Embedding;

  • (2)2013年Mikolov提出词向量Wo‌‌‍‍‍‌‍‌‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‍‍‌‍‌‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‌‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‌‌‍‌‌rd2vec,延续NNLM又引入了大规模预训练(Pretrain)的思路;

  • (3)2017年Vaswani提出Transforme‌‌‍‍‍‌‍‌‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‍‍‌‍‌‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‌‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‌‌r模型,实现用一个模型处理多种NLP任务。

  • (4) 基于Transformer架构‌‌‍‍‍‌‍‌‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‍‍‌‍‌‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‌‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‌‌,2018年底开始出现一大批预训练语言模型(3个预训练代表性模型BERT[2018]、XLNet[2019]和MPNet[2020]),刷新众多NLP任务,形成新的里程碑事件。

NL‌‌‍‍‍‌‍‌‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‍‍‌‍‌‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‌‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‌‌P
阅读‌‌‍‍‍‌‍‌‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‍‍‌‍‌‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‌‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‌‌全文

‌‌‍‍‍‌‍‌‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‍‍‌‍‌‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‌‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‍‍‌‌‍‌‌自然语言处理研究报告[存档备用]

存档备‌‌‍‍‍‌‍‌‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‍‍‌‍‌‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‌‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‌‌用

NL‌‌‍‍‍‌‍‌‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‍‍‌‍‌‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‌‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‌‌P
阅‌‌‍‍‍‌‍‌‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‍‍‌‍‌‍‍‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‌‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‌‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‍‍‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‍‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‌‍‍‍‍‍‍‍‌‌‍‍‍‍‍‍‌‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‌‍‌‍‍‍‍‌‍‍‍‍‍‍‍‍‌‍‌‍‌‌‍‍‍‍‍‍‌‍‌‍‍‍‌‌‍‌‌读全文