万字解读预训练模型最新综述 2022年3月15日 Datawhale学术 作者:太子长琴,Datawhale意向成员 如何在有限数据下训练出高效的深度学习模型?本文深入研究了 预训练的前世今生,并带领读者一起回顾 PTM取得的最新突破,与未来的研究方向(文末附90分钟解读视频)。 利用深度学习自动学习特征已经逐步取代了人工构建特征和统计方…… 阅读全文
达摩院李雅亮大规模预训练模型的压缩和蒸馏 2022年3月14日 分享嘉宾:李雅亮博士 阿里巴巴 编辑整理:陈东 东南大学 出品平台:DataFunTalk 导读: 本次分享的主题为大规模预训练模型的压缩和蒸馏,主要是从自动机器学习的角度,介绍大规模预训练模型的压缩和蒸馏。将介绍阿里巴巴达摩院关于模型压缩的三个连续承接性的工作: 工作1:AdaBERT:Ta…… 阅读全文