网易云音乐数据服务之路 2022年3月15日 大数据平台 网易有数 数据服务作为统一数据中台建设的最上层,能够将数据仓库数据以服务化、接口化的方式提供给数据使用方,屏蔽底层数据存储、计算的诸多细节,简化和加强数据的使用;同时避免烟囱式建设、加强数据API的开发和交付效率,提升数据利用率。云音乐数据团队与网易有数进行了数据服务平台…… 阅读全文
基于的优化与实践 2022年3月15日 分享嘉宾:周晖栋 bilibili 编辑整理:宋灵城 贝壳找房/东南大学 出品平台:DataFunTalk 导读: 本文主要介绍Flink实时计算在bilibili的优化,将从以下四个方面展开:① Flink-connector稳定性优化;② Flink sql优化;③ Flink-runtime优化;④ 对未来的展望。 01…… 阅读全文
大数据离线计算平台架构演进 2022年3月15日 1 前言 OPPO的大数据离线计算发展,经历了哪些阶段?在生产中遇到哪些经典的大数据问题?我们是怎么解决的,从中有哪些架构上的升级演进?未来的OPPO离线平台有哪些方向规划?今天会给大家一一揭秘。 2 OPPO大数据离线计算发展历史 2.1 大数据行业发展阶段 一家公司的技术发展,离不开整个行业的…… 阅读全文
爱奇艺数据中台的建设实践 2022年3月15日 分享嘉宾:马金韬 爱奇艺 数据中台负责人 编辑整理:陈国梅 出品平台:DataFunTalk 导读: 随着市场对数据价值的认可,促进了数据在各行各业的爆发式增长,以及大数据设施的快速演化,同时也带来了不少新的数据问题;解决这些问题,发挥更大的数据价值,成为了各大公司的重点工作。爱奇艺通过数据…… 阅读全文
流式数据处理在百度数据工厂的应用与实践 2022年3月15日 本文整理自百度李俊卿在 QCon 上的演讲:《流式数据处理在百度数据工厂的应用与实践》。 百度数据工厂最原先用 Hive 引擎,进行离线批量数据分析和 PB 级别的查询,处理一些核心报表数据。但是在我们推广过程中发现,用户其实还是有复杂分析、实时处理、数据挖掘的请求,我们在 Spark1.0 推出的时候,就开始跟进 Spark…… 阅读全文
京东优化与技术实践 2022年3月15日 分享嘉宾:付海涛 京东 高级技术专家 编辑整理:刘明明 出品平台:DataFunTalk 导读: Flink是目前流式处理领域的热门引擎,具备高吞吐、低延迟的特点,在实时数仓、实时风控、实时推荐等多个场景有着广泛的应用。京东于2018年开始基于Flink+K8s深入打造高性能、稳定、可靠、易…… 阅读全文
何会会有赞数据地图实践 2022年3月15日 https://img.6aiq.com/e/89996d3bd04946939b59dd609a09e303.webp) 分享嘉宾:何会会 有赞 数据开发工程师 编辑整理:xiaomei 出品平台:DataFunTalk 导读: 今天和大家分享一下数据地图相关知识,以及有赞在数据地图方面的实践。主要分为4个部分: 数据地图的背景 数据地图是什么 有赞数据地图实践 总结和展望 01 数据地图的背景 1. 数据地图背景 每个企业都有和…… 阅读全文
贝壳找房一站式大数据开发平台实践 2022年3月15日 分享嘉宾:仰宗强 编辑整理:刘春龙 出品平台:DataFunTalk 导读: 本次分享嘉宾是来自贝壳大数据部门的仰宗强,详细介绍了针对贝壳的业务数据与需求的增长,逐步升级数据开发平台的探索实践过程,包括三次数据开发平台架构升级的细节。 本次主题分享,主要从下面4个方面进行介绍: 背景介绍 探索…… 阅读全文
端到端特性概览翻译 2022年3月15日 原文地址: https://my.oschina.net/u/992559/blog/1819948 作者: moyiguke Apache Flink 端到端(end-to-end)Exactly-Once特性概览 本文是flink博文的翻译,原文链接 https://flink.apache.org/features/2018/03/01/end-to-end-exactly-once-apache-flink.html 2017年12月份发布的Apache Flink 1.4版本,引进了一个重要的特性:TwoPhaseCommitSinkFunction (关联Jira https://i…… 阅读全文
干货篇基于的机器学习工作流平台在站的应用 2022年3月15日 分享嘉宾: 张杨,B站资深开发工程师 整理出品: AICUG人工智能社区 浏览器不支持该媒体的播放 :( 导读 : 整个机器学习的过程,从数据上报,到特征计算,到模型训练,再到线上部署,最终效果评估,整个流程非常冗长,在b站,多个团队都会搭建自己的机器学习链路,来完成各自的机器学习需求,工程效率和…… 阅读全文