语法中执行顺序探秘 2022年3月15日 作者: 梁尔舒,李昀晖 写在前面 我们之前应该都了解链表求交、求并的算法,但是很少在实际工作中见过这些算法是怎么体现的,解决了哪些场景下的问题,其实lucene解决链表求交并的算法非常漂亮。最近因为工作中需要排查线上总是出现某些检索DSL执行比较慢,在网上到处找底层具体执行的资料,发现…… 阅读全文
干货趋势科技实战分享笔记 2022年3月15日 少啰嗦,直接看东西。 1、Elasticsearch 索引的设计 1.1 单一索引还是基于时间的索引? 单一索引的问题: 1)不能更新Mapping。 比如:主分片数不可以修改(除非reindex)。 2)无法灵活、快速地扩展。 3)更适合固定、小型数据集。 基于时间的索引面临的问题: 1)如何确定间隔?…… 阅读全文
与的对比 2022年3月15日 搜索引擎选择: Elasticsearch与Solr 搜索引擎选型调研文档 Elasticsearch简介 Elasticsearch是一个实时的分布式搜索和分析引擎。 它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索,结构化搜索以及分析,当然你也可以将这三者进行组合。 El…… 阅读全文
技术沙龙云搜知乎同城搜索架构 2022年3月15日 背景 2019年1月21日,由58集团技术工程平台群联合人力资源神奇学院共同组织的58集团技术沙龙第八期-“搜索工程架构”在58集团北京总部举办。沙龙邀请了知乎搜索技术架构团队、58集团TEG搜索技术部团队研发人员。由知乎搜索技术架构负责人孙晓光、58TEG搜索技术部卢克两位分别分…… 阅读全文
干货向量搜索的工程化实战 2022年3月14日 死敌wen 稿 1、背景 作为一家搜索引擎公司,我们会很倚赖 ES 帮忙处理包括文章召回,数据源划分,实体、标签管理等任务,而且都收到了不错的结果。 最近我们需要对行业知识库进行建模,其中可能会涉及到实体匹配、模糊搜索、向量搜索等多种召回和算分方式,最终我们选择了通过 ES 7.X (最终选择 7.10)里…… 阅读全文
深入搜索引擎之必知必会一开发视角 2022年3月14日 腾讯音乐技术团队 yueqqzhang 稿 两句话了解它是什么 搜索引擎。提供了数据存储、数据处理、数据查询、聚合统计的能力。 创始人说:“不要求你必须是一个数据科学家才能把它用好” 前言 Elasticsearch 是一个很有意思的产品,不同岗位的人,对它的关注维度区别比较大 主要可以分三个层面 开发 基本功能 底层工作原理 数据建模最佳实践 运…… 阅读全文
陈曦性能与稳定并存调优实践 2022年3月14日 转载自 云加社区 2018-11-02 本文整理自作者在云加社区线下沙龙活动中的精彩分享,主题内容Elassticsearch调优实践。 以下为分享内容: 我今天分享的是Elassticsearch调优实践,首先自我介绍一下,我资历比较浅,我是腾讯TEG基础架构部后台开发工程师,虽然我不是项目经理,但是我们…… 阅读全文
跨索引关联数据新方式 2022年3月14日 铭毅天下Elasticsearch 出品 1、实战项目需求 需求1:有一个小需求 kafka源数据: topicA:{"A_content":"XXX","name":"A","type":"XXX","id":1} topicB:{"B_content":"XXX","name":"B","type":"XXX","id":1} 现在想将两个topic的数据写到同一个es索引中,但由于更新性能太慢,有啥思路可以加速写入性能呢(topicA和topicB的数据可能会有几天的延时)? 需求2: 在cluster1上有如…… 阅读全文
滴滴集群跨版本升级与平台重构之路 2022年3月14日 分享嘉宾:赵情融 滴滴专家工程师 编辑整理:王洪达 出品平台:DataFunTalk 导读: 前不久,滴滴ES团队将维护的30多个ES集群,3500多个ES节点,8PB的数据,从2.3.3跨大版本无缝升级到6.6.1。在对用户查询写入基本零影响和改动的前提下,解决了ES跨大版本协议不兼容、…… 阅读全文
史上最全最常用工具清单 2022年3月14日 1、题记 工欲善其事必先利其器,ELK Stack的学习和实战更是如此,特将工作中用到的“高效”工具分享给大家。 希望能借助“工具”提高开发、运维效率! 2、工具分类概览 2.1 基础类工具 1. Head插件 1)功能概述: ES集群状态查看、索引数据查看、ES DSL实现(增、删、改、查操作) 比较实用的…… 阅读全文