万字解读预训练模型最新综述 2022年3月15日 Datawhale学术 作者:太子长琴,Datawhale意向成员 如何在有限数据下训练出高效的深度学习模型?本文深入研究了 预训练的前世今生,并带领读者一起回顾 PTM取得的最新突破,与未来的研究方向(文末附90分钟解读视频)。 利用深度学习自动学习特征已经逐步取代了人工构建特征和统计方…… 阅读全文
高频面试题参数更新训练扩充样本等 2022年3月15日 请介绍几种常用的参数更新方法。 梯度下降:在一个方向上更新和调整模型的参数,来最小化损失函数。 随机梯度下降(Stochastic gradient descent,SGD)对每个训练样本进行参数更新,每次执行都进行一次更新,且执行速度更快。 为了避免SGD和标准梯度下降中存在的问题,一个改进方法为小批…… 阅读全文
年月底字节跳动岗位抖音面试题分享 2022年3月15日 问题1:Bert模型中,根号dk的作用 QK进行点击之后,值之间的方差会较大,也就是大小差距会较大;如果直接通过Softmax操作,会导致大的更大,小的更小;进行缩放,会使参数更平滑,训练效果更好。 问题2:Bert模型中多头的作用 多次attention综合的结果至少能够起到增强模型…… 阅读全文
一图胜千言解读阿里的 2022年3月15日 文章作者:石塔西 内容来源:小石的数据科学之旅@知乎专栏 出品社区:DataFun 注:欢迎投稿「行知」专栏,让您的行业知识,为行业者知。 本文是对阿里的论文《Image Matters: Visually modeling user behaviors using Advanced Model Server》 https://arxiv.org/abs/1711.06505 的解读。 初读此文的标题和摘要,又有image,又有CTR,我以为是一种新型的CNN+M…… 阅读全文
深度学习在同城首页推荐排序上的实践 2022年3月15日 分享嘉宾: 王连臣,58同城TEG搜索推荐部高级算法工程师 整理出品: 张劲, AICUG人工智能社区 系列分享: 深度语义模型 BERT 在 58 同城搜索的实践 深度学习在 58 同城租房搜索排序中的实践 导读: 行为序列化已然成为用户兴趣建模的主流方式,本次议题主要介绍序列化建模在首页推荐场景的实践,提出了适配业…… 阅读全文
搜索与推荐中的深度学习匹配之搜索篇 2022年3月15日 作者: 黄冠 讲真,很久没看过能让我这么兴奋的资料了,这个tutorial https://www.comp.nus.edu.sg/~xiangnan/sigir18-deep.pdf 简直就像一个博士论文,能让我对这个方向有足够深入的了解。而我最近又恰好从事这个方向,恰好也是落地到搜索引擎和推荐系统中,刚看到这个tutorial的时候,简直开心得不要不要的。 本篇blog的纲要: part-1 搜索和推荐…… 阅读全文
机器学习中的隐私保护 2022年3月15日 分享嘉宾:郭夏玮 第四范式 资深研究员 编辑整理:蒋瑞尧 内容来源:第四范式 | 先荐 出品平台:DataFun 导读: 近年来,随着 GDPR 通用数据保护条例出台以及一些互联网公司数据隐私泄漏等事件的发生,数据隐私的保护问题在行业应用中备受关注。与数据密切相关的机器学习算法的安全性成为一个巨大挑战。本文…… 阅读全文
萨摩耶云深度迁移学习技术在金融风控中的应用 2022年3月15日 分享嘉宾:朱晓海 萨摩耶云 编辑整理:Hoh Xil 内容来源:作者授权发布 出品平台:DataFunTalk 导读: 迁移学习利用数据、模型之间的相似性,在不同领域之间进行知识迁移。深度学习技术与迁移学习思想的融合,又极大扩展了传统迁移学习技术的能力边界,给包括金融风控在内的各个场景带来了更多的…… 阅读全文
中文用什么中文自然语言处理的完整机器处理流程 2022年3月15日 虽然同为人类自然语言,但是由于英文和中文其语言自身的特点,导致中文和英文分词是有差别的。 很多读者在后台留言,提到了结巴分词,并要求我们出一些关于中文自然语言处理的内容。所以本禅师就找到了这方面很有研究的宿永杰。 宿永杰现就职于某知名互联网公司担任数据挖掘工程师,CSDN 博客专家,P…… 阅读全文
在的探索与实践 2022年3月15日 分享嘉宾:江云胜@Hulu 编辑整理:许晏铭 出品平台:DataFunTalk 导读: Hulu是美国领先的互联网视频流媒体平台,拥有大量的电影、电视剧等视频资源,对这些内容的理解和表示是Hulu的一个重要研究方向。Content Embedding技术将内容表示为向量,以利于后续算法、模…… 阅读全文