Text-to-Text Transfer Transformer, 2020年谷歌提出 作用 所有NLP任务转变成生成类任务 组成 encoder decoder 步骤 训练 完型填空，完成句子语义理解 精调 在各任务上泛化 输入Prefix+句子, 输出结果 prompt工程，找到合适前缀 论文 三种模式 Encoder Decoder模式，自编码 BERT、T5 Decoder能看前边Encoder, Decoder能看前边Decoder，不能看后边Decoder Language model，自回归模型 GPT 每个词只能看前边 最后一个词做softmax分类 Prefix LM 后边的层，一部分看全部信息，一部看前边信息 训练 Mask字 难度小 Replace spans去一段 ERNIE 实验最好 去15%，连续3个 Drop,直接丢掉字 比Mask好一点