2023年12月2日
本课时主要讲解如何进行生产环境作业监控。 在第 15 课时“如何排查生产环境中的反压问题”中提到过我们应该如何发现任务是否出现反压,Flink 的后台页面是我们发现反压问题的第一选择,其后台页面可以直观、清晰地看到当前作业的运行状态。 在实际生产中,Flink 的后台页面可以方便我们对 Flink Job……
阅读全文
2023年12月2日
在使用 Flink 处理生产实际问题时,并行度和资源的配置调优是我们经常要面对的工作之一,如何有效和正确地配置并行度是我们的任务能够高效执行的必要条件。这一课时就来看一下生产环境的并行度和资源配置问题。 Flink 中的计算资源 通常我们说的 Flink 中的计算资源是指具体任务的 Task。首先要理解 Flink 中的计算资源的……
阅读全文
2023年12月2日
这一课时我们主要讲解如何处理生产环境中的数据倾斜问题。 无论是对于 Flink、Spark 这样的实时计算框架还是 Hive 等离线计算框架,数据量从来都不是问题,真正引起问题导致严重后果的是数据倾斜。所谓数据倾斜,是指在大规模并行处理的数据中,其中某个运行节点处理的数据远远超过其他部分,这会导……
阅读全文
2023年12月2日
这一课时我们主要讲解生产环境中 Flink 任务经常会遇到的一个问题,即如何处理好反压问题将直接关系到任务的资源使用和稳定运行。 反压问题是流式计算系统中经常碰到的一个问题,如果你的任务出现反压节点,那么就意味着任务数据的消费速度小于数据的生产速度,需要对生产数据的速度进行控制。通常情况下,反……
阅读全文
2023年12月2日
这一课时我们将讲解 Flink “精确一次”的语义实现原理,同时这也是面试的必考点。 Flink 的“精确一次”处理语义是,Flink 提供了一个强大的语义保证,也就是说在任何情况下都能保证数据对应用产生的效果只有一次,不会多也不会少。 那么 Flink 是如何实现“端到端的精确一次处理”语义的呢? 背景 通常情况下,流式……
阅读全文
2023年12月2日
我们在第 06 课时“Flink 集群安装部署和 HA 配置”中讲解了 Flink 的几种常见部署模式,并且简单地介绍了 HA 配置。 概述 事实上,集群的高可用(High Availablility,以下简称 HA)配置是大数据领域经典的一个问题。 通常 HA 用来描述一个系统经过专门的设计,从而减少停工时间,而保持其服务的……
阅读全文
2023年12月2日
本课时我们主要介绍 Flink 中支持的 Source 和常用的 Connector。 Flink 作为实时计算领域强大的计算能力,以及与其他系统进行对接的能力都非常强大。Flink 自身实现了多种 Source 和 Connector 方法,并且还提供了多种与第三方系统进行对接的 Connector。 我们可以把这些 Source、Connector 分成以下……
阅读全文
2023年12月2日
这一课时将介绍 Flink 中提供的一个很重要的功能:旁路分流器。 分流场景 我们在生产实践中经常会遇到这样的场景,需把输入源按照需要进行拆分,比如我期望把订单流按照金额大小进行拆分,或者把用户访问日志按照访问者的地理位置进行拆分等。面对这样的需求该如何操作呢? 分流的方法 通常来说针对不同的场景,……
阅读全文
2023年12月2日
你好,欢迎来到第 11 课时,这一课时将介绍 Flink 中提供的一个很重要的功能:复杂事件处理 CEP。 背景 Complex Event Processing(CEP)是 Flink 提供的一个非常亮眼的功能,关于 CEP 的解释我们引用维基百科中的一段话: CEP, is event processing that combines data from multiple sources to infer events or patterns that suggest more complicated circumstances. The goal of complex event processing is to identify meaningful events (such as opportunities or threats) and respond to them as quickly as possible. 在我们的实际生产中,随着数据的实时性要求越来越高,实时数据的量也在不断膨胀,在某些业……
阅读全文
2023年12月2日
这一课时我们主要讲解 Flink 的状态和容错。 在 Flink 的框架中,进行有状态的计算是 Flink 最重要的特性之一。所谓的状态,其实指的是 Flink 程序的中间计算结果。Flink 支持了不同类型的状态,并且针对状态的持久化还提供了专门的机制和状态管理器。 状态 我们在 Flink 的官方博客中找到这样一段话,可以认为这是对状态的定义……
阅读全文