2023年2月1日
题目:已知 sqrt (2)约等于 1.414,要求不用数学库,求 sqrt (2)精确到小数点后 10 位。 出题人:——阿里巴巴出题专家:文景/阿里云 CDN 资深技术专家 参考答案: * 考察点 基础算法的灵活应用能力(二分法学过数据结构的同学都知道,但不一定往这个方向考虑;如果学过数值计算的同学,应该还要能想到牛顿迭……
阅读全文
2023年2月1日
问题:如何实现一个高效的单向链表逆序输出? 出题人:阿里巴巴出题专家:昀龙/阿里云弹性人工智能负责人 参考答案:下面是其中一种写法,也可以有不同的写法,比如递归等。供参考。 typedef struct node{ int data; struct node* next; node(int d):data(d), next(NULL){} }node; void reverse(node* head) { if(head == NULL){ return; } node* pleft = NULL; node* pcurrent = head; node* pright = head->next; while(pright){ pcurrent->next = pleft; node *ptemp = pright->next; pright->next = pcurrent; pleft = pcurrent; pcurrent = pright; pright = ptemp; } while(pcurrent !=……
阅读全文
2022年9月3日
前言 在业务数据处理过程中,我们时常会遇到不同业务模块 / 存储系统间实时数据同步需求。比如, 报表模块依赖订单模块数据进行增量更新,检索引擎依赖业务数据进行实时同步等。针对这类场景,我们目前采用了Flink-CDC的技术方案用于数据同步。 Flink-CDC(CDC,全称是 Change Data Captu……
阅读全文
2022年9月3日
Doris是什么 首先 Doris 是一个有着MPP架构的分析型数据库产品。对于PB数量级、结构化数据可以做到亚秒级查询响应。使用上兼容MySQL协议,语法是标准的SQL。Doris本身不依赖任何其他系统,相比Hadoop生态产品更易于运维。 应用场景包括:固定历史报表分析、实时数据分析、交互式……
阅读全文
2022年9月2日
一、实时规则引擎架构 业务系统产生的行为日志数据被日志采集服务器收集,通过Flume将数据存入Kafka指定topic,由Flink消费Kafka对应的topic来进行用户行为事件分析【通过FlinkKafkaComsumer传入参数(1)topic名称(2)反序列化模式Deser……
阅读全文
2022年9月2日
一、Doris简介 Apache Doris是一个现代化的基于MPP(大规模并行处理)技术的分析型数据库产品,MPP技术即将同一个任务并行的分散到多个服务器和节点上,每个节点计算完成后,在将各自的结果汇总在一起得到最终的结果,与Hadoop相似,效率很高,亚秒级内即可查询出结果。 二、核心特性 基……
阅读全文
2022年9月1日
1、应用场景分析 参考徐崴老师Flink项目 数据清洗【实时ETL】 数据报表 1.1、数据清洗【实时ETL】 1.1.1、需求分析 针对算法产生的日志数据进行清洗拆分 算法产生的日志数据是嵌套大JSON格式(json嵌套json),需要拆分打平 针对算法中的国家字段进行大区转换 最后把不同类型的……
阅读全文
2022年9月1日
1、应用场景分析 数据清洗【实时ETL】 数据报表 1.1、数据报表 1.1.1、架构图 1.1.2、需求分析 主要针对直播/短视频平台审核指标的统计 统计不同大区每1 min内过审(上架)的数据量 统计不同大区每1 min内未过审(下架)的数据量 统计不同大区每1 min内加黑名单的数据量 2、Data……
阅读全文
2022年9月1日
Flink_CDC搭建及简单使用 1.CDC简介: CDC (Change Data Capture) ,在广义的概念上,只要能捕获数据变更的技术,都可以称为 CDC 。但通常我们说的CDC 技术主要面向数据库(包括常见的mysql,Oracle, MongoDB等)的变更,是一种用于捕获数据库中数据变更的技术。……
阅读全文
2022年9月1日
Flink 操作场景 # Apache Flink 可以以多种方式在不同的环境中部署,抛开这种多样性而言,Flink 集群的基本构建方式和操作原则仍然是相同的。 在这篇文章里,你将会学习如何管理和运行 Flink 任务,了解如何部署和监控应用程序、Flink 如何从失败作业中进行恢复,同时你还会学习如何执行一些日常操作任务,如升级和……
阅读全文