论文写道：“我们提出的方法使得模型的规模比原来的BERT要好得多。我们还使用了一种自我监督的缺失，这种缺失侧重于对句子间连贯进行建模，并表明其始终有助于下游任务的多句输入。”

ALBERT使用参数降低技术来减少内存消耗并提高BERT的训练速度。

在GLUE中，ALBERT拿到了89.4的分数，在SQUAD中拿到了92.2、在RACE中拿到89.4。

据外媒报道，在当地时间周三在OpenReview.net上发表的一篇论文中，谷歌AI和芝加哥丰田科技机构(Toyota technology Institute of Chicago)宣布，他们的新AI ALBERT在几项自然语言阅读理解测试中都获得了第一名，其在SQuAD 2.0、GLUE、RACE成绩方面都拿到了第一的位置。

SQUAD 2.0人类平均表现分则为89.452。

据悉，SQuAD2.0结合了SQuAD1.1的10万个问题和5万多个新的、无法回答的问题。为了在SQuAD2.0做到更好，最新烈焰sf，系统不仅必须在可能的情况下回答问题，而且还必须确定段落中什么时候不支持回答并避免回答。