ElasticSearch使用教程

Elasticsearch简介

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式的全文搜索引擎，基于restful web接口。

Elasticsearch是用Java语言开发的，基于Apache协议的开源项目，是目前最受欢迎的企业搜索引擎。Elasticsearch广泛运用于云计算中，能够达到实时搜索，具有稳定，可靠，快速的特点。

Elasticsearch的安装

Windows下的安装

Elasticsearch

下载Elasticsearch7.17.3版本的zip包，并解压到指定目录，下载地址：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-17-3

安装中文分词器，注意下载与Elasticsearch对应的版本，下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

下载完成后解压到Elasticsearch的plugins目录下；

运行bin目录下的elasticsearch.bat启动Elasticsearch服务；

如果遇到双击elasticsearch.bat闪退的情况，可以下载一个解压版的JDK 11并进行解压，下载地址：https://mirrors.tuna.tsinghua.edu.cn/Adoptium/11/jdk/x64/windows/

然后添加系统环境变量ES_JAVA_HOME，值为你的JDK 11解压路径即可解决。

Kibana

下载Kibana，作为访问Elasticsearch的客户端，请下载7.17.3版本的zip包，并解压到指定目录，下载地址：https://www.elastic.co/cn/downloads/past-releases/kibana-7-17-3

运行bin目录下的kibana.bat，启动Kibana服务；

打开Kibana的用户界面，访问地址：http://localhost:5601

Linux下的安装

Elasticsearch

下载Elasticsearch7.17.3的docker镜像：

bash

docker pull elasticsearch:7.17.3

修改虚拟内存区域大小，否则会因为过小而无法启动:

bash

sysctl -w vm.max_map_count=262144

使用如下命令启动Elasticsearch服务，内存小的服务器可以通过ES_JAVA_OPTS来设置占用内存大小：

bash

docker run -p 9200:9200 -p 9300:9300 --name elasticsearch \
-e "discovery.type=single-node" \
-e "cluster.name=elasticsearch" \
-e "ES_JAVA_OPTS=-Xms512m -Xmx1024m" \
-v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data \
-d elasticsearch:7.17.3

启动时会发现/usr/share/elasticsearch/data目录没有访问权限，只需要修改/mydata/elasticsearch/data目录的权限，再重新启动即可；

bash

chmod 777 /mydata/elasticsearch/data/

安装中文分词器IKAnalyzer，注意下载与Elasticsearch对应的版本，下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

下载完成后解压到Elasticsearch的/mydata/elasticsearch/plugins目录下；

重新启动服务：

bash

docker restart elasticsearch

开启防火墙：

bash

firewall-cmd --zone=public --add-port=9200/tcp --permanent
firewall-cmd --reload

访问会返回版本信息：http://192.168.3.101:9200

json

{
  "name": "708f1d885c16",
  "cluster_name": "elasticsearch",
  "cluster_uuid": "mza51wT-QvaZ5R0NmE183g",
  "version": {
    "number": "7.17.3",
    "build_flavor": "default",
    "build_type": "docker",
    "build_hash": "5ad023604c8d7416c9eb6c0eadb62b14e766caff",
    "build_date": "2022-04-19T08:11:19.070913226Z",
    "build_snapshot": false,
    "lucene_version": "8.11.1",
    "minimum_wire_compatibility_version": "6.8.0",
    "minimum_index_compatibility_version": "6.0.0-beta1"
  },
  "tagline": "You Know, for Search"
}

Kibana

下载Kibana7.17.3的docker镜像：

bash

docker pull kibana:7.17.3

使用如下命令启动Kibana服务：

bash

docker run --name kibana -p 5601:5601 \
--link elasticsearch:es \
-e "elasticsearch.hosts=http://es:9200" \
-d kibana:7.17.3

开启防火墙：

bash

firewall-cmd --zone=public --add-port=5601/tcp --permanent
firewall-cmd --reload

访问地址进行测试：http://192.168.3.101:5601

集群状态查看

通过Kibana的Dev Tools功能，我们可以操作Elasticsearch；

例如使用如下命令查看集群健康状态；

json

GET /_cat/health?v

具体操作如下；

返回结果如下；

epoch      timestamp cluster       status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1669776576 02:49:36  elasticsearch yellow          1         1     21  21    0    0        7             0                  -                 75.0%

查看节点状态；

json

GET /_cat/nodes?v

ip        heap.percent ram.percent cpu load_1m load_5m load_15m node.role   master name
127.0.0.1           16          64  34                          cdfhilmrstw *      DESKTOP-K1F7O7Q

查看所有索引信息；

json

GET /_cat/indices?v

health status index                           uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   pms                             6cEV5X3FSYWlGEbLCsMpmg   1   0         57            0     24.3kb         24.3kb
green  open   .kibana_7.17.3_001              hrS91kWhQkajmrhF92zboQ   1   0        327          327      4.8mb          4.8mb
green  open   .tasks                          _4RSAkwvRwK-j8zDLAM6MA   1   0         12            0     22.5kb         22.5kb

索引操作

创建索引并查看；

json

PUT /customer
GET /_cat/indices?v

health status index                           uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   pms                             6cEV5X3FSYWlGEbLCsMpmg   1   0         57            0     24.3kb         24.3kb
yellow open   customer                        mU0uITAkSaeEie8fypLnFw   1   1          0            0       226b           226b
green  open   .kibana_7.17.3_001              hrS91kWhQkajmrhF92zboQ   1   0        329          336      4.8mb          4.8mb

删除索引并查看；

json

DELETE /customer
GET /_cat/indices?v

health status index                           uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   pms                             6cEV5X3FSYWlGEbLCsMpmg   1   0         57            0     24.3kb         24.3kb
green  open   .kibana_7.17.3_001              hrS91kWhQkajmrhF92zboQ   1   0        329          336      4.8mb          4.8mb

类型操作

查看文档的类型，需要完成数据搜索部分的导入才可以查看。

json

GET /bank/_mapping

json

{
  "bank" : {
    "mappings" : {
      "properties" : {
        "account_number" : {
          "type" : "long"
        },
        "address" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "age" : {
          "type" : "long"
        },
        "balance" : {
          "type" : "long"
        },
        "city" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "email" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "employer" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "firstname" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "gender" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "lastname" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "state" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        }
      }
    }
  }
}

文档操作

在索引中添加文档；

json

PUT /customer/doc/1
{
  "name": "John Doe"
}

json

{
  "_index" : "customer",
  "_type" : "doc",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

查看索引中的文档；

json

GET /customer/doc/1

json

{
  "_index" : "customer",
  "_type" : "doc",
  "_id" : "1",
  "_version" : 1,
  "_seq_no" : 0,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "name" : "John Doe"
  }
}

修改索引中的文档：

json

POST /customer/doc/1/_update
{
  "doc": { "name": "Jane Doe" }
}

json

{
  "_index": "customer",
  "_type": "doc",
  "_id": "1",
  "_version": 2,
  "result": "updated",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 4,
  "_primary_term": 1
}

删除索引中的文档；

json

DELETE /customer/doc/1

json

{
  "_index" : "customer",
  "_type" : "doc",
  "_id" : "1",
  "_version" : 2,
  "result" : "deleted",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 1,
  "_primary_term" : 1
}

对索引中的文档执行批量操作；

json

POST /customer/doc/_bulk
{"index":{"_id":"1"}}
{"name": "John Doe" }
{"index":{"_id":"2"}}
{"name": "Jane Doe" }

json

{
  "took" : 9,
  "errors" : false,
  "items" : [
    {
      "index" : {
        "_index" : "customer",
        "_type" : "doc",
        "_id" : "1",
        "_version" : 3,
        "result" : "created",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 2,
        "_primary_term" : 1,
        "status" : 201
      }
    },
    {
      "index" : {
        "_index" : "customer",
        "_type" : "doc",
        "_id" : "2",
        "_version" : 1,
        "result" : "created",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 3,
        "_primary_term" : 1,
        "status" : 201
      }
    }
  ]
}

数据搜索

查询表达式(Query DSL)是一种非常灵活又富有表现力的查询语言，Elasticsearch使用它可以以简单的JSON接口来实现丰富的搜索功能，下面的搜索操作都将使用它。

数据导入

首先我们需要导入一定量的数据用于搜索，使用的是银行账户表的例子，数据结构如下：

json

{
    "account_number": 0,
    "balance": 16623,
    "firstname": "Bradshaw",
    "lastname": "Mckenzie",
    "age": 29,
    "gender": "F",
    "address": "244 Columbus Place",
    "employer": "Euron",
    "email": "bradshawmckenzie@euron.com",
    "city": "Hobucken",
    "state": "CO"
}

我们先复制下需要导入的数据，数据地址：https://github.com/macrozheng/mall-learning/blob/teach/document/json/accounts.json
然后直接使用批量操作来导入数据，注意本文所有操作都在Kibana的Dev Tools中进行；

json

POST /bank/account/_bulk
{
  "index": {
    "_id": "1"
  }
}
{
  "account_number": 1,
  "balance": 39225,
  "firstname": "Amber",
  "lastname": "Duke",
  "age": 32,
  "gender": "M",
  "address": "880 Holmes Lane",
  "employer": "Pyrami",
  "email": "amberduke@pyrami.com",
  "city": "Brogan",
  "state": "IL"
}
......省略若干条数据

导入完成后查看索引信息，可以发现bank索引中已经创建了1000条文档。

json

GET /_cat/indices?v

health status index                           uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   bank                            ycOSgiWjQomwzdygGwqOrQ   1   1       1000            0    374.5kb        374.5kb

搜索入门

最简单的搜索，使用match_all来表示，例如搜索全部；

json

GET /bank/_search
{
  "query": { "match_all": {} }
}

分页搜索，from表示偏移量，从0开始，size表示每页显示的数量；

json

GET /bank/_search
{
  "query": { "match_all": {} },
  "from": 0,
  "size": 10
}

搜索排序，使用sort表示，例如按balance字段降序排列；

json

GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": { "balance": { "order": "desc" } }
}

搜索并返回指定字段内容，使用_source表示，例如只返回account_number和balance两个字段内容：

json

GET /bank/_search
{
  "query": { "match_all": {} },
  "_source": ["account_number", "balance"]
}

条件搜索

条件搜索，使用match表示匹配条件，例如搜索出account_number为20的文档：

json

GET /bank/_search
{
  "query": {
    "match": {
      "account_number": 20
    }
  }
}

文本类型字段的条件搜索，例如搜索address字段中包含mill的文档，对比上一条搜索可以发现，对于数值类型match操作使用的是精确匹配，对于文本类型使用的是模糊匹配；

json

GET /bank/_search
{
  "query": {
    "match": {
      "address": "mill"
    }
  },
  "_source": [
    "address",
    "account_number"
  ]
}

短语匹配搜索，使用match_phrase表示，例如搜索address字段中同时包含mill和lane的文档：

json

GET /bank/_search
{
  "query": {
    "match_phrase": {
      "address": "mill lane"
    }
  }
}

组合搜索

组合搜索，使用bool来进行组合，must表示同时满足，例如搜索address字段中同时包含mill和lane的文档；

json

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

组合搜索，should表示满足其中任意一个，搜索address字段中包含mill或者lane的文档；

json

GET /bank/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

组合搜索，must_not表示同时不满足，例如搜索address字段中不包含mill且不包含lane的文档；

json

GET /bank/_search
{
  "query": {
    "bool": {
      "must_not": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

组合搜索，组合must和must_not，例如搜索age字段等于40且state字段不包含ID的文档；

json

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "age": "40" } }
      ],
      "must_not": [
        { "match": { "state": "ID" } }
      ]
    }
  }
}

过滤搜索

搜索过滤，使用filter来表示，例如过滤出balance字段在20000~30000的文档；

json

GET /bank/_search
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "balance": {
            "gte": 20000,
            "lte": 30000
          }
        }
      }
    }
  }
}

搜索聚合

对搜索结果进行聚合，使用aggs来表示，类似于MySql中的group by，例如对state字段进行聚合，统计出相同state的文档数量；

json

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      }
    }
  }
}

嵌套聚合，例如对state字段进行聚合，统计出相同state的文档数量，再统计出balance的平均值；

json

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

对聚合搜索的结果进行排序，例如按balance的平均值降序排列；

json

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword",
        "order": {
          "average_balance": "desc"
        }
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

按字段值的范围进行分段聚合，例如分段范围为age字段的[20,30] [30,40] [40,50]，之后按gender统计文档个数和balance的平均值；

json

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_age": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 20,
            "to": 30
          },
          {
            "from": 30,
            "to": 40
          },
          {
            "from": 40,
            "to": 50
          }
        ]
      },
      "aggs": {
        "group_by_gender": {
          "terms": {
            "field": "gender.keyword"
          },
          "aggs": {
            "average_balance": {
              "avg": {
                "field": "balance"
              }
            }
          }
        }
      }
    }
  }
}

参考资料

https://www.elastic.co/guide/en/elasticsearch/reference/7.17/getting-started.html

DB_MySQL

MySQL学习_数据库索引

MySQL调优操作

Java技术栈_数据库SQL

NoSQL_基础概念

DB MongoDB

ElasticSearch

ES的服务安装

Elasticsearch简介

Elasticsearch的安装

Windows下的安装

Elasticsearch

Kibana

Linux下的安装

Elasticsearch

Kibana

相关概念

集群状态查看

索引操作

类型操作

文档操作

数据搜索

数据导入

搜索入门

条件搜索

组合搜索

过滤搜索

搜索聚合

参考资料

MySQL学习_数据库索引

MySQL调优操作

DB MongoDB

ES的服务安装

ElasticSearch使用教程

Elasticsearch简介 ​

Elasticsearch的安装 ​

Windows下的安装 ​

Elasticsearch ​

Kibana ​

Linux下的安装 ​

Elasticsearch ​

Kibana ​

相关概念 ​

集群状态查看 ​

索引操作 ​

类型操作 ​

文档操作 ​

数据搜索 ​

数据导入 ​

搜索入门 ​

条件搜索 ​

组合搜索 ​

过滤搜索 ​

搜索聚合 ​

参考资料 ​

Elasticsearch简介

Elasticsearch的安装

Windows下的安装

Elasticsearch

Kibana

Linux下的安装

Elasticsearch

Kibana

相关概念

集群状态查看

索引操作

类型操作

文档操作

数据搜索

数据导入

搜索入门

条件搜索

组合搜索

过滤搜索

搜索聚合

参考资料