搭建企业级平台实践 2022年3月15日 什么是AB测试? 在现实的产品迭代场景中,我们经常会遇到多个方案的选择的问题,在这里迭代的可以是UI界面,可以是算法策略。简单来说就是为同一个产品目标制定两个方案,一部分用户走A方案,另一部分走B方案,然后通过日志记录用户的使用情况,并通过结构化的日志数据分析相关指标,如点击率、转…… 阅读全文
字节技术火山引擎测试的思考与实践 2022年3月15日 康康 字节跳动技术团队 稿 本文整理自火山引擎开发者社区 Meetup 第四期同名演讲,主要为大家介绍了为什么要做 A/B 测试、火山引擎 A/B 测试系统架构及最佳实践。 为什么要做 A/B 测试 首先我们看一个案例。字节跳动有一款中视频产品叫西瓜视频,最早它叫做头条视频。为了提升产品的品牌辨识度,团队想给它起个更好的名字。…… 阅读全文
招聘推荐系统介绍实验框架 2022年3月15日 58招聘智能推荐系统 推荐的概念早已渗透进我们的日常生活中,我们欣赏过各类电影、音乐、游戏榜单,沉迷过电商节日层出不穷的百货商品,甚至钻研过如何选择投资理财,如何购房置业,如何开启更好的职业生涯。在这样一个信息爆炸的时代,我们永远不缺少选项,如果没有推荐发挥作用,在海量的数据面前,…… 阅读全文
闲鱼技术如何实现卖家增长任务的实验 2022年3月15日 逸初,远悠 闲鱼技术 背景 闲鱼是国内最大的二手闲置交易平台,卖家承担着商品供给的重要任务,对平台dau的影响也更大,所以我们会探索不同策略对卖家增长的影响与帮助。但接下来,如何借助AB实验对这些策略作科学的评估,就成了另一个挑战。本文提出了"全流量AB实验"这一设…… 阅读全文
如何构建测试系统其核心功能有哪些 2022年3月15日 文章作者:贺园、刘扬 编辑整理:Hoh Xil 内容来源:《数据产品经理:实战进阶》 出品平台:DataFun 导读: 不管在精益创业还是增长黑客理论中,A/B 测试作为一种成熟的数据驱动产品优化的科学方法,其核心意义并不在于某一次试验的成功或者失败,而是这种通过试验和数据驱动的产品不断进化过程。…… 阅读全文
重叠实验框架更多更好更快地实验 2022年3月15日 Introduction Google是一个数据驱动型公司,这意味着所有对用户的改动的发布,都要决策者以相应的经验数据作为依据。这些数据大部分是由在线流量上的实验产生的。在web的语境下,一个实验是由一股流量(比如,用户的请求)和在这股流量上进行的相对对比实验的修改组成的。修改包括用户可见的修改(比如,…… 阅读全文
测试中我们都会犯的十个常见错误 2022年3月15日 作者:Romain AYRES 本文由AI公园授权转载,转载请联系出处 编译:ronghuaiyang 导读 这篇博客文章的目的 不是告诉你在运行A/B测试时应该做什么,而是告诉你不应该做什么。 “没有数据,你只是一个有观点的人。” 这个著名的_W. Edwards Deming_引用说明了 A/B测试对于做出好的商业决…… 阅读全文
推荐系统模型的快速线上评估方法 2022年3月15日 王喆 今天我们关注模型的评估和线上测试。有经验的算法工程师肯定非常清楚,在一个模型的开发周期中,占工作量大头的其实是特征工程和模型评估及上线的过程。在机器学习平台已经非常成熟的现在,模型结构的实现和调整反而仅仅是几行代码的事情。所以 如果能够将模型评估和线上 AB Test 的效率提高,那一定是大…… 阅读全文
如何支持亿级用户分流实验实验平台在爱奇艺的实践 2022年3月15日 作者: 数据智能团队 爱奇艺技术产品团队 01 背景 随着互联网公司的产品和业务越来越多样,利用数据来驱动业务决策成为必然, 而AB实验正是以数据指标来判断产品功能和运营策略迭代效果的方法和工具,其可以在保证样本同时性和同质性基础上,对比两个或多个实验组在同一应用场景下的效果。 以上边的实验为例…… 阅读全文
那些事儿下数据跟踪和效果评估 2022年3月15日 作者: 沈国阳 上一篇文章,我们通过一个八卦了解了abtest在产品功能及策略迭代过程中的重要价值,并且介绍了abtest的一个简单框架,以及多层abtest框架里面,层与层之间关系的定义。本篇将讨论数据跟踪方法和效果评估方法相关的话题。本文部分内容结合过往工作中学习到的知识进行了自…… 阅读全文