此篇介绍一下Elasticsearch的使用场景及常见方法。

ES简介

Elasticsearch是一个基于Lucene的分布式搜索和分析引擎,它使用RESTful web接口提供服务。

概念

Lucene

简单说就是一个jar包,里面封装了各种建立倒排索引,以及进行搜索的算法代码,引入lucene.jar即可使用。

索引(Index)

  1. 索引是具有相似特征的文档的集合。
  2. 索引由名称标识(必须全部为小写,不能以下划线开头,不能包含逗号)。
  3. 在一个Elasticsearch集群中,可以定义任意数量的索引。
  4. 如果业务端对查询性能要求很高的话,还是建议使用单索引,也就是宽表化处理的方式,这样也可以比较好的应对聚合的需求。

类型(Type)

  1. 在Elasticsearch 6.0.0 或更高版本中创建的索引只能包含一个映射类型。
  2. 类型将在Elasticsearch 7.0.0的API中弃用,并在8.0.0中完全删除。
  3. 从Elasticsearch 6.x开始,只能一个Type对应一个Index。

文档(Document)

  1. 文档是可以建立索引的基本信息单位,以json表示。
  2. 可以把文档理解为MySQL表中的行级数据。
  3. 在索引(Index)中可以存储大量文档。
  4. 文档中有几个不可或缺的属性,分别如下:
_index:表示所在的index名。
_type:在6.x版本中只能指定一个类型,在6.4.0版本中默认为“doc”。
_id:文档的唯一标识,类似于MySQL数据库的主键id。
_source:文档数据以json形式保存在该字段内。

针对特定一个或者一类文档进行操作时,必须指定这些属性。

映射(Mapping)

  1. 模式映射(schema mapping)用于定义索引(Index)的元数据,指定要索引并存储文档的字段类型。
  2. Elasticsearch在Mapping中存储有关字段的信息。
  3. Mapping在文件中以json表示。
  4. 在实际的项目中,尽可能的自定义mapping,不要存储与搜索无关的数据。

字段(Field)

  1. Elasticsearch中的最小单元,相当于MySQL中的某个字段,类似于json里的一个键。

分片(Shards)

  1. 索引可能会存储大量数据,这些数据可能超过单个节点的硬件限制。
  2. 例如到了1TB可能就不再适合单个节点的磁盘,或者因为太慢无法满足来自单个节点的搜索请求。
  3. 每个分片(Shards)本身就是一个功能齐全且独立的Lucene“索引”,可以存储在Elasticsearch集群中的任何节点上,这就是分布式存储。
  4. 分片的好处:
(1)当你查询的索引在多个分片上时,Elasticsearch会把查询发送给每个相关的分片,并将结果合并在一起。所以,多个分片可以加快查询,提高吞吐量。
(2)通过将分片放在不同节点,可以存储超过单节点容量的数据。

副本(Replica)

  1. 当集群的某个节点宕机,为防止数据丢失,Elasticsearch还提供了副本(Replica)的概念。
  2. 副本分片(Replica Shards)是一个分片的精确复制,每个分片可以有零个或多个副本。
  3. 许多相同的分片,其中的一个被自动选择来更改索引操作,这种称为主分片(primary shards),其余的称为副本分片(replica shards)。
  4. 在主分片丢失时,集群则将副本分片提升为新的主分片。
  5. 副本(Replica)的好处:
(1)提高可用性。
(2)由于分片本身就是功能齐全且独立的索引,所以可以加快查询,提高吞吐量。
(3)增加副本分片,可以将数据存储到更多节点上,更好的处理并发请求。

节点(Node)

  1. 节点是一个运行着的Elasticsearch实例,或者就是个机器。
  2. 集群(Cluster)是一组具有相同cluster.name的节点集合,或者就是一组机器。它们协同工作,共享数据并提供故障转移和扩展功能,当然一个节点也可以组成一个集群。
  3. 在Elasticsearch集群中,节点分为Master、Data节点、Client节点等几种角色,任何一个节点都可以同时具备以上所有角色。
Master:主要管理集群信息、primary分片和replica分片信息、维护index信息。
Data:用来存储数据,维护倒排索引,提供数据检索等。
Client:只负责处理用户请求,实现请求转发,负载均衡等功能。

规划和技巧

  1. 可以在创建索引(Index)时定义主分片(Primary Shards)和副本分片(Replica Shards)的数量。
  2. 创建索引后,我们还可以动态更改副本数,但是要更改分片数就不那么轻松了。因此,预先规划正确的分片数量是最佳方法。
  3. 默认情况下,Elasticsearch中的每个索引分配有5个主分片和1个副本分片。这意味着如果集群中至少有两个节点,则索引将具有5个主分片和另外5个副本分片(1个完整副本),总计每个索引10个分片。
  4. Elasticsearch中的分片其实就是Lucene索引。
  5. 主分片和副本分片需要分配在不同的节点上,一是为了更好的负载均衡,二是发生故障时可以保障高可用,所以集群最好有2个节点或以上。
  6. 一个索引默认有5个主分片,每个主分片默认有1个副本分片,即创建一个索引默认会有10个分片。
  7. 读远大于写的场景,可以减少主分片个数,增加副本数,提高吞吐率。写远大于读的场景,最大程度分配主分片个数,一个机器一个,并最大程度减少副本数。
  8. 一般将平均分片的大小控制在几GB到几十GB之间。对于基于时间的数据使用场景来说,通常将分片大小控制在20GB到40GB之间。
  9. Elasticsearch推荐的最大JVM堆空间是30~32G,把分片容量限制为30GB,然后再对分片数量做合理估算。

特点

  1. 分布式存储,每个字段都可以被索引和搜索。
  2. 分布式的准实时分析搜索引擎。
  3. 可以扩展到上百台服务器,处理PB级结构化或非结构化数据。

跟一般数据库的区别

1. 通常的数据库侧重存储附带搜索,ES在存储之外侧重搜索。
2. 通常的数据库基于精确匹配,ES基于相关性匹配。
3. ES在搜索之外,还有分析。
4. 同MySQL一样,ES也提供了简单的聚合操作,avg,sum,min,max等。
5. 实时计算的一种常见方案,是数据产生后,通过消息队列(比如kafka)推给实时计算平台storm,计算后,再把数据存到ES。
6. 分析数据的能力,是建立在快速的查询上的。如果没有快速的查询能力,就谈不上分析。

实现

  1. 关系数据库,是将数据分成各个字段,存在数据库中,查询时再重新构造出对象;ES是文档存储,把对象直接放进去,查询时直接取出。
  2. MySQL基于B+树索引,来实现快速检索;ES基于倒排索引,对于文档检索来说,倒排索引在性能和空间上更有优势。