网易云音乐实时数仓进阶之路 2022年3月15日 导读:本篇文章是[ 2021年网易云音乐实时计算平台发展和挑战]的姊妹篇,由网易云音乐数据平台开发专家大愚分享,为大家介绍云音乐实时数仓技术改造以及未来的一些规划。 云音乐从2018年开始搭建实时计算平台,经过两年的发展实时计算已经渗透到云音乐的各个业务当中: 运营需要实时的统计报表做…… 阅读全文
唯品会在容器化与平台化上的建设实践 2022年3月15日 以下文章来源于dbaplus社群 ,作者王康 摘要: 自 2017 年起,为保障内部业务在平时和大促期间的平稳运行,唯品会就开始基于 Kubernetes 深入打造高性能、稳定、可靠、易用的实时计算平台,现在的平台支持 Flink、Spark、Storm 等主流框架。本文将分为五个方面,分享唯品会 Flink 的容器化实践应用以及产…… 阅读全文
生产实践直播二如何建设实时公共画像维表 2022年3月15日 注:本文经授权转载自 mangodata YangYichao 转载请关注作者公众号联系原作者 ❝本系列每篇文章都是从一些实际生产实践需求出发,解决一些生产实践中的问题,抛砖引玉,以帮助小伙伴们解决一些实际生产问题。本篇为直播实时数据建设系列的第二篇,本篇主要介绍直播间画像实时维表建设的整个过程,如果对小伙伴有帮助的话,…… 阅读全文
如何基于生成在线机器学习的样本 2022年3月15日 文章作者:曹富强@微博 内容来源:Flink中文社区 导读: 在线机器学习与离线相比,在模型更新的时效性,模型的迭代周期,业务实验效果等方面有更好的表现。所以将机器学习从离线迁移到在线已经成为提升业务指标的一个有效的手段。在线机器学习中,样本是关键的一环。本文将给大家详细的介绍微博是如…… 阅读全文
微博基于的机器学习实践 2022年3月15日 分享嘉宾:于茜 微博 高级算法工程师 编辑整理:王洪达 内容来源:Flink Forward 导读: 微博作为国内比较主流的社交媒体平台,目前拥有2.22亿日活用户和5.16亿月活用户。如何为用户实时推荐优质内容,背后离不开微博的大规模机器学习平台。本文由微博机器学习研发中心高级算法工程师于茜老师分享,主…… 阅读全文
生产实践基于的直播实时数据建设一需求和架构篇 2022年3月15日 注:本文经授权转载自 mangodata YangYichao 转载请关注作者公众号联系原作者 ❝本系列每篇文章都是从一些实际生产实践需求出发,解决一些生产实践中的问题,抛砖引玉,以帮助小伙伴们解决一些实际生产问题。相信大家或多或少都观看过直播,那大家有没有想过,如果自己负责建设公司内整体直播实时数据,会怎样去建设呢?本…… 阅读全文
阿里流计算引擎数据一致性的本质 2022年3月15日 作者 | 齐光 阿里云云栖号 微信号 yunqiinsight 流计算的应用与实践在大数据领域越来越常见,其重要性不言而喻,常见的流计算引擎有 Google DataFlow、Apache Flink,Apache Kafka Streams,Apache Spark Streaming 等。流计算系统中的数据一致性一般是用消息处理语义来定义的,如某引擎声称可以提供「恰…… 阅读全文
汽车之家湖仓一体架构实践 2022年3月15日 分享嘉宾:邸星星@汽车之家 编辑整理:DataFun、Flink中文社区 导读: 本文将介绍如何基于Apache Iceberg构建湖仓一体架构,将数据可见性提升至分钟级;从多维分析的角度来探讨引入Apache Iceberg带来的收益,以及未来还有哪些收益可以期待。 01 数据仓库架构升级的背…… 阅读全文
在有赞的实践和应用 2022年3月15日 沈磊@有赞 Flink 中文社区 摘要: 今天主要分享的内容是 Flink 在有赞的实践和应用。 一、Flink 的容器化改造和实践 1. 有赞的集群演进历史 2014 年 7 月,第一个 Storm 任务正式上线; 2016 年,引入 Spark Streaming, 运行在 Hadoop Yarn; 2018 年,引入了 Flink,作业模式为 Flink on Yarn Per Job; 2020 年 6 月,实现了 100% Flink Jar 任务 K8s…… 阅读全文
基于构建企业级实时数据湖 2022年3月15日 Apache Flink 是大数据领域非常流行的流批统一的计算引擎,数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时,会碰撞出什么样的火花呢?本次分享主要包括以下核心内容: 数据湖的相关背景介绍; 经典业务场景介绍; 为什么选择 Apache Iceberg; 如何通过 Flink+Iceberg 实现流式入湖 社区未来规划工作。 视频回…… 阅读全文