ERNIE,不仅仅是更懂中文的预训练模型

前言

百度搜索相比Google的宣传语是:更懂中文的搜索引擎;而在预训练模型领域,百度最开始推出的ERNIE相比Google提出的BERT,就可以认为是更懂中文的预训练模型了。
而ERNIE也在不断的推陈出新,已经形成了一个系列,包括ERNIE1.0,ERNIE2.0,ERNIE-GEN,在NLP和NLG全面取得了SOTA的效果,所以已经不仅仅是面向中文的预训练模型了~

ERNIE 1.0

ERNIE: Enhanced Representation through Knowledge Integration

  1. 引入知识,通过MASK的策略

通过整体MASK,引入实体级别和短语的信息

  1. 更丰富的训练语料

在中文维基百科的基础上,引入了百度百科,百度新闻和百度贴吧的数据

  1. 引入DLM (Dialogue Language Model) task

对话数据很重要,因为如果两个问题的回答相同,那么这个问题的语义应该是一致的。

DLM的特色是:(1) 引入了dialogue embedding,从而可以对多轮对话进行建模,即QRQ,QRR,QQR(2)在多轮的场景中随机替换一轮为假的数据,让模型判断整个多轮场景是否是真的存在的


本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!