2019，1年6月，Recurrent.ai聯合創始人楊和Google Brain開發了具有國際意義的“TransformerXL模型”。與傳統RNN和標準變壓器相比，其有效建模長度分別增加了80%和450%，變壓器模型在測試階段的速度提高了1800倍以上。
2019年6月，Recurrent.ai聯合創始人楊、和Google的合作者提出了壹種新的預訓練語言模型XLNet。該模型超越了曾經在20個任務中保持最佳性能記錄的BERT模型的性能，在18個任務中達到了目前的最先進水平。
這是壹個不斷刷新自己世界紀錄的過程...