新秀的优雅解读 2022年3月15日 作为2018年自然语言处理领域的新秀,BERT做到了过去几年NLP重大进展的集大成,一出场就技惊四座碾压竞争对手,刷新了11项NLP测试的最高纪录,甚至超越了人类的表现,相信会是未来NLP研究和工业应用最主流的语言模型之一。本文尝试由浅入深,为各位看客带来优雅的BERT解读。 NL…… 阅读全文
高频面试题参数更新训练扩充样本等 2022年3月15日 请介绍几种常用的参数更新方法。 梯度下降:在一个方向上更新和调整模型的参数,来最小化损失函数。 随机梯度下降(Stochastic gradient descent,SGD)对每个训练样本进行参数更新,每次执行都进行一次更新,且执行速度更快。 为了避免SGD和标准梯度下降中存在的问题,一个改进方法为小批…… 阅读全文
年月底字节跳动岗位抖音面试题分享 2022年3月15日 问题1:Bert模型中,根号dk的作用 QK进行点击之后,值之间的方差会较大,也就是大小差距会较大;如果直接通过Softmax操作,会导致大的更大,小的更小;进行缩放,会使参数更平滑,训练效果更好。 问题2:Bert模型中多头的作用 多次attention综合的结果至少能够起到增强模型…… 阅读全文
技术改进的在文本分类中的应用 2022年3月15日 作者:杨森 01 导读 语音是58同城用户之间的重要沟通媒介,58同城C端用户和B端用户之间可以通过电话(隐私通话)、网络音视频通话(微聊)建立连接,这些场景下产生的语音数据有巨大的挖掘价值。本次议题主要分享语义标签的文本挖掘技术,首先介绍使用主动学习技术解决冷启动时样本少的问题,然后对…… 阅读全文
中文用什么中文自然语言处理的完整机器处理流程 2022年3月15日 虽然同为人类自然语言,但是由于英文和中文其语言自身的特点,导致中文和英文分词是有差别的。 很多读者在后台留言,提到了结巴分词,并要求我们出一些关于中文自然语言处理的内容。所以本禅师就找到了这方面很有研究的宿永杰。 宿永杰现就职于某知名互联网公司担任数据挖掘工程师,CSDN 博客专家,P…… 阅读全文
医疗健康领域的短文本解析探索三文本纠错 2022年3月15日 医疗健康领域的短文本解析探索(二) 医疗健康领域的短文本解析探索(一) 谈谈医疗健康领域的 Phrase Mining 前言 最近在优化 dxy 帖子召回问题,我们之前在 医疗健康领域的短文本解析探索(一) 提到了 phrase mining 抽取粗粒度名词,在 医疗健康领域的短文本解析探索(二) 提到实体链接相关方案,但是用户在输入搜索内容时,很可能…… 阅读全文
月日月日腾讯算法实习面试题 2022年3月15日 添加微信:julyedufu77,回复 “ 7 ”,领取最新升级版《名企AI面试100题》电子书!! 本文目录: 问题8:介绍下bert位置编码和transformer的区别,哪个好,为什么? 问题9:sigmod函数的缺点,为什么会产生梯度消失?不是以0为中心的话,为什么会收敛慢。 问题10…… 阅读全文
图文并茂带你了解依存句法分析 2022年3月15日 作者: 龚俊民(昵称: 除夕) 学校: 新南威尔士大学 单位:Vivo AI LAB 算法实习生 方向: 自然语言处理和可解释学习 知乎: https://www.zhihu.com/people/gong-jun-min-74 前言: 上一期我们讲了成分句法分析,它相当于考虑广义上的嵌套关系的命名实体识别。这一次我们来说一说依存句法分析,它相当于文本结构化任务中,与命名实体识别经常在一起的实体关…… 阅读全文
深度学习在搜索广告任务中的应用 2022年3月15日 分享嘉宾:高凯明 360算法专家 编辑整理:Hoh Xil 内容来源:DataFun AI Talk 出品社区:DataFun 注:欢迎转载,转载请注明出处。 360搜索广告成立于2012年,到今年是第8个年头了。 今天分享的内容分为两部分,第一部分是搜索广告和广告召回。我会介绍搜索广告的业务逻辑,以及召回模块…… 阅读全文
模型的产品化 2022年3月15日 作者:Pratik Bhavsar 编译:ronghuaiyang 导读: 模型训练只是产品化中的很小的一个环节。 问题描述 💰 最近,我一直在巩固在不同 ML 项目中工作的经验。我将从我最近的 NLP 项目的角度来讲述这个故事,对短语进行分类 — 一个多类单标签问题。 NLP 的 Central embedder 结构 团队结构 👪 搭建人工智能团队是相当棘手的。如…… 阅读全文