2022年3月15日
作者: 浅梦的学习笔记 “ 实验室小师弟新鲜出炉的面经,分别投递了腾讯(WXG),美团,阿里(搜索推荐),微软,头条和华为并取得 offer。分享给各位同学,祝大家求职面试顺利!收获满意的 offer” 腾讯 WXG, 开发 上来两道智力题: 25 匹马,5 条赛道,无计时工具,比出前三名最少多少场比赛 牛……
阅读全文
2022年3月15日
问题1、简述下你对end to end检测器的理解? 1、从faser-rcnn开始解释Blabla,原来通常用选择性搜索方法生成proposals不能和cnn一起训练,需要各自训练各自的部分。 2、此外原来的rcnn阶段的分类的svm进行的,也不能和整个网络一起训练 问题2、线性回归和逻辑……
阅读全文
2022年3月15日
百度技术 稿 导读:近年来,预训练模型在自然语言处理的不同任务中都取得了极大的成功,在信息检索中也进步不小。近期,我们邀请到了中科院的范意兴博士现场分享,内容聚焦预训练模型在信息检索中第一阶段检索(召回阶段)的应用,并对最近几年的相关研究进行系统的梳理和回顾。 一、信息检索的发展过程 1……
阅读全文
2022年3月15日
作为2018年自然语言处理领域的新秀,BERT做到了过去几年NLP重大进展的集大成,一出场就技惊四座碾压竞争对手,刷新了11项NLP测试的最高纪录,甚至超越了人类的表现,相信会是未来NLP研究和工业应用最主流的语言模型之一。本文尝试由浅入深,为各位看客带来优雅的BERT解读。 NL……
阅读全文
2022年3月15日
作者: \* 世恩、风引、调参 一个神经网络结构通常包含输入层、隐藏层、输出层。输入层是我们的 features (特征),输出层是我们的预测 (prediction)。神经网络的目的是拟合一个函数 f*:features -> prediction。在训练期间,通过减小 prediction 和实际 label 的差异的这种方式,来更改网络参数,……
阅读全文
2022年3月15日
Datawhale学术 作者:太子长琴,Datawhale意向成员 如何在有限数据下训练出高效的深度学习模型?本文深入研究了 预训练的前世今生,并带领读者一起回顾 PTM取得的最新突破,与未来的研究方向(文末附90分钟解读视频)。 利用深度学习自动学习特征已经逐步取代了人工构建特征和统计方……
阅读全文
2022年3月15日
作者简介 大卫,携程资深算法工程师,关注计算广告和推荐系统。 发表于: 2020年 7月16日 一、用户画像 用户画像这一概念最早源于交互设计领域,由交互设计之父Alan Cooper提出。其指出用户画像是真实用户的虚拟代表,是建立在真实数据之上的目标用户模型。具体而言,在互联网用户分析领域,……
阅读全文
2022年3月15日
请介绍几种常用的参数更新方法。 梯度下降:在一个方向上更新和调整模型的参数,来最小化损失函数。 随机梯度下降(Stochastic gradient descent,SGD)对每个训练样本进行参数更新,每次执行都进行一次更新,且执行速度更快。 为了避免SGD和标准梯度下降中存在的问题,一个改进方法为小批……
阅读全文
2022年3月15日
系列文章: 构造 IndexWriter 对象(三) 构造 IndexWriter 对象(二) 构造 IndexWriter 对象(一) 本文承接 构造 IndexWriter 对象(三),继续介绍调用 IndexWriter 的构造函数的流程。 调用 IndexWriter 的构造函数的流程图 图 1: 根据不同的 OpenMode 执行对应的工作 在上一篇文章中,我们介绍了执行 CREATE 模式下的工作,故继续介绍执行 APPEND 模式下的工作。 执行 APPEND 模式下的工作的流程图 图 2:……
阅读全文
2022年3月15日
问题1:Bert模型中,根号dk的作用 QK进行点击之后,值之间的方差会较大,也就是大小差距会较大;如果直接通过Softmax操作,会导致大的更大,小的更小;进行缩放,会使参数更平滑,训练效果更好。 问题2:Bert模型中多头的作用 多次attention综合的结果至少能够起到增强模型……
阅读全文