本文在架构设计、功能特性、产品系列以及理念概念等多个维度进行了全面比较，旨在为读者在构建大数据搜索策略时提供有益的参考。

简介

这是一个开源的搜索服务，它具备分布式多用户功能，是一款基于web接口的全文搜索引擎。该服务采用Java语言进行开发，并遵循开放源码的许可条款进行发布，已成为当前企业级搜索引擎的流行选择。其设计初衷是为云计算环境量身定制，能够实现实时搜索，同时确保系统的稳定性、可靠性、速度以及易于安装和使用。

ELK是三个英文单词的首字母缩写，它们分别代表着搜索、数据接入以及可视化等功能，这些功能共同构成了一个完整的应用栈。

作为大数据行业首个登陆纳斯达克的公司，我们提供了一款机器数据引擎。这款引擎能够收集、索引并有效利用由各类应用程序、服务器以及物理、虚拟和云端设备（包括物理、虚拟和云中的设备）产生的快速流动的计算机数据。通过这一平台，用户能够从单一位置对实时和历史数据进行搜索与分析。借助我们的数据引擎处理计算机数据，用户可以在短短几分钟内（而非数小时或数天）解决各类问题和调查安全事件。对您的端到端基础设施进行监控，确保服务性能不会出现下滑或中断。以较低的成本达成合规性标准。关联并深入分析涉及多个系统的复杂事件。实现更高层次的运营透明度，同时获取IT与业务领域的智慧洞察。

依据最新发布的数据库引擎排行榜，Solr和另一款搜索引擎共同占据了数据库搜索领域的三甲之位。

从趋势上来看，和上升明显，更是表现出了非常强劲的势头。

基本概念

下图中展示的是一个搜索示例intellij idea golang plugin，其中所用的原始数据源自一份基础的日志档案：

我们通过索引到后，就可以搜索了。

该图展示了在客户端进行搜索时，观察到的与前一个示例一致的日志数据的检索结果。

在根本定义层面，与之前所述保持相同。观察具体案例，我们不难发现众多相似之处，诸如事件、文档、时间戳、字段、搜索以及时间轴图等。然而，也存在一些显著的差异：

用户接口

提供REST API来进行

该系统并未内置任何用户界面功能，虽然具备搜索功能，但缺乏管理界面多少让人感到不便。所幸开源项目的优势在于，会有众多开发者投身其中，填补这些缺失的功能。

另一选择就是安装X-Pack，这个是要收费的。

作为一款企业级软件，其管理和访问方式多样，不仅包括REST API和命令行接口，还具备一个界面友好、操作简便的用户界面。该界面集成了几乎所有功能，用户几乎都可以通过这一集成界面轻松实现操作。此外，还提供了以下各类接口。

功能

数据接入和获取

栈使用和Beats来进行数据的消化和获取。

利用jruby进行开发，其运作模式颇似一条数据流管道，对输入的数据进行加工、转换、筛选，最终将处理后的数据输出至其他位置。同时，我们设计了一套专有的领域特定语言（DSL），其中囊括了区域划分、注释功能、数据类型（如布尔、字符串、数值、数组、哈希等）、条件判断以及字段引用等功能。

该数据传输通道由三个主要环节构成，即输入环节、处理环节以及输出环节，每个环节均可进行扩展。此外，输入环节和处理环节还具备配置功能，能够实现对输入输出数据的编码与解码操作。

支持的输入类型常见于文件、beats等，其中主要负责对数据进行转换操作，包括对字段的增删改、添加标签等。作为一款开源软件，它不仅限于支持这些功能，还能与众多其他软件实现集成和对接，如文件、数据库、S3等。

在实际操作过程中，进程被划分为两个各具特色的角色。一类是部署在应用服务器上的，其主要任务是尽量减少运行负担，仅负责数据的读取与传递，这一角色被称作；另一类则是运行在独立服务器上，主要负责数据的解析和处理，以及写入操作，这一角色被称为。

作为一款无状态的应用软件，当与消息队列系统相配合时，其线性扩展变得异常简便。

Beats源自于数据搜集领域的系统演变。该系统中的beat收集器具备直接写入数据的能力，亦可将数据传输至其他设备。通过这一系统抽象出的功能，实现了统一的数据发送机制，对输入配置进行解析，并构建了日志记录的框架。

开源社区已经贡献了许多Beats种类。

因为Beats是使用编写的，效率上很不错。

使用和Add-ons来进行数据的消化和获取。

该系统内置了对文件、网络端口等输入的处理功能。当设定某个节点为特定状态时，该节点便能充当数据通道，将数据传输至预先设定的目标。在这种情形下，其作用类似于……然而，一个显著的不同点在于，对数据字段的提取必须在配置或扩展过程中完成，即我们所说的索引时间提取，提取完成的数据字段不可更改。支持在索引时间进行字段抽取，然而，在多数情况下，并不会在索引时间进行抽取，而是会等到搜索阶段来决定如何进行字段抽取。

在特定领域进行数据采集时，通常采取Add-on的附加方式。目前，App市场中存在超过600种各不相同的Add-on。

用户能够借助特定的插件或自行开发插件，来获取所需的数据。

数据管理和存储

的数据存贮模型来自于，基本原理是实用了倒排表。

的核心同样是倒排表

的Event存在许多中，多个构成逻辑分组的索引分布在上。

每个中都是倒排表的结构存储数据，原始数据通过gzip压缩。

搜索时，利用Bloom 定位数据所在的。

在对数据的存储与处理过程中，我们普遍采用了倒排表这一技术。这种做法能够有效压缩数据，从而大幅减少存储空间的需求。特别是对于以文本为主的数据，其压缩比例极高。然而，这种压缩方式不可避免地会牺牲一部分性能，因为数据解压需要额外的时间。

数据分析和处理

数据处理分析主要依赖API进行，而SPL则提供了功能强大的支持。与ES的API相比，SPL的使用体验更为优越，几乎可以视作非结构化数据的SQL。无论是通过SPL开发分析应用，还是直接在用户界面使用SPL进行数据处理，其操作都十分简便。开源社区正努力研发，旨在引入与SPL相仿的领域特定语言，以提升数据处理的便捷性。

从这篇反馈可以看出，ES的还有许多的不足。

作为对此的响应，推出了 ，该功能还处于实验阶段。

数据展现和可视化

这是一款专门定制的开源分析及可视化工具，旨在对存储在索引中的数据进行搜索与浏览。借助它，用户能够通过多种图表形式进行深入的复杂数据分析和直观展示。

该系统整合了极为便捷的数据展示与监控界面功能，针对SPL的输出，用户能够轻松地通过用户界面的简易操作进行结果的可视化处理，并将这些信息导出到监控面板中。

下图的比较

在数据可视化的领域的排名，仅仅落后于而已

扩展性

从扩展性的角度来看，两个平台都拥有非常好的扩展性。

栈作为一个开源栈，很容易通过的方式扩展。

为应用及附加组件的开发提供了一系列的拓展资源，详细信息及文档资料可在dev..com网站获取。

相较于其他，其扩展概念较为繁复，开发一款应用程序或插件所需的门槛相对较高。作为数据平台，我们理应在扩展性方面进行优化，以便让扩展过程变得更加便捷与简单。

架构

Stack

如图所示，ELK构成了一套完整的解决方案，它主要负责数据的处理与获取，同时负责数据的存储、索引以及搜索工作，并且还具备数据可视化和报表生成的功能。

的架构主要有三个角色：

除了上述三个核心角色之外，该架构还包括：诸如Node以及其他元素。

ELK的架构与ELK的基本结构颇为相似，然而ELK的构建方式显得更为简洁明了。它主要负责数据的接入与展示，而所有的复杂性都集中在其中。相比之下，该架构的结构更为繁复，并且涉及的角色类型也更加多样化。

若选择独立安装版本，过程相对简便，所有功能均能一次性安装完成；相较之下，ELK需要分别对E、L、K三个组件进行安装，从这个角度看，独立安装版本具备一定优势。

分布集群

此设计适用于分布式架构，具备出色的扩展能力；在典型的分布式部署中，每个节点（node）均可设定为多种角色，具体如上图所展示。

每个角色均可通过配置文件或环境变量进行设置。得益于对等性设计，即所有角色地位相同，节点间会执行相应操作，其中包含一个领导者，这使得角色易于扩展。这种设计在集群环境中，特别是在容器环境如Swarm或中，表现出色，伸缩性极佳。

这是一款面向企业级应用的分布式机器数据平台，它具备卓越的分布式配置能力，涵盖了跨数据中心集群的设置。该平台提供两种集群模式，分别是常规集群以及负责协调管理的Head集群。

集群

如上图所示，的集群主要由三种角色：

有人可能会疑问，这是否意味着集群中存在单一故障点？若是某个节点出现故障，又该如何解释？答案是否定的。即便某个节点出现故障，其他Peer Nodes依然能够正常运行，除非，不幸的是，还有另一个Peer Node也同时出现了故障。

Head 集群

Head集群由若干个Head单元构成，这些单元彼此之间共享配置信息和搜索任务的状态。该集群的主要角色包括：

另外还曾经提供过一个功能叫做 Head ，不过现在已经了。

集群可以和 Head集群一起配置，构成一个分布式的配置。

与相对简单的ES集群配置相比，集群配置较为繁杂；在ES中，每个节点都能灵活地设定角色，并且扩展起来相对便捷，比如通过Pod的复制机制，轻松实现角色的扩展。然而，进行扩展相对较为复杂，若要实现动态伸缩，则需要更为复杂的配置。在容器化环境中部署一个集群涉及较为繁杂的设置工作，比如在当前配置过程中，用户需留意以下几点：

集群的扩展在直接运用容器编排平台所提供的接口上存在一定的困难，且在这方面仍有较大的提升潜力。

产品线

的产品线除了大家熟悉的ELK（，，），主要包含

的产品线包括

从产品线分析，我们不仅提供了基础平台，而且在IT运维及安全领域均拥有核心的优质产品；然而，在某些特定领域，我们尚未展开应用。

价格

价格是大家非常关心的一个因素

其核心组成部分均为开源性质，详见表格内容，而在X-pack中，部分高级功能则需额外付费解锁。这些高级功能涵盖了安全防护、多集群支持、报表生成、性能监控等多个方面。

云服务的结构可参照下方的图表，其中ES云服务的计费模式是根据所消耗的资源来决定费用，从图中选取的部分可以观察到，ES云同样是在AWS平台上运行的。该图表所示的配置每月大概需要支出200美元左右，但请注意，不同地区的收费标准可能会有所差异。

同时，除了自身所提供的服务外，众多其他企业亦推出了云服务，诸如Qbox.io等。

根据每日数据流量的年度或无限量事件计费，若每日使用量为1GB，则年费用为2700美元，月费用则约200元。若每日数据使用量低于500MB，可利用提供的免费服务，但需注意无法使用安全、分布式等高级功能，即便如此，500MB的数据量也能完成许多任务。

云服务的费用相对较低，仅需每日5GB流量，年费仅为2430元，每月花费不足200元。不过，由于计费模式各异，与其他云服务相比，其性价比并不高。再者，鉴于服务部署在AWS平台，对于国内用户来说intellij idea golang plugin，情况就有些复杂了。呵呵。

总结

大数据搜索平台已成为众多企业的必备工具，其中栈和以其卓越和受欢迎的特点脱颖而出。这两个平台各有其独特的优势与待完善之处。期待本文能对你的大数据平台选择提供参考。同时，我也期待与大家进行交流，共同进步。

如有侵权请联系删除！