Elasticsearch入门笔记（DSL搜索）

原创 已于 2022-04-28 10:02:53 修改 · 1.8k 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
ELK

当前文章被收录于：

ELK
7 篇文章 0 人学习

ELK

订阅专栏 查看详情
于 2022-04-24 19:39:43 首次发布
本文深入探讨了Elasticsearch的DSL（Domain Specific Language）查询，包括基本搜索、布尔查询、过滤器、排序、关键字高亮等。DSL查询以其JSON格式的可读性和灵活性，适用于复杂的搜索场景。例如，`match_all`用于搜索所有文档，`match`和`multi_match`支持精确和多字段匹配，`bool`构造复杂的布尔表达式，`post_filter`进行高效的数据过滤，`sort`实现自定义排序，`highlight`高亮显示搜索词。此外，还介绍了如何处理深度分页问题，以及批量操作的`bulk`API使用方法。

DSL 搜索

ES 使用 queryString 形式根据搜索词对索引表的文档进行检索：

GET /{indexName}/_doc/_search?q={fieldName1}:{searchTxt1}&q={fieldName2}:{searchTxt2}..

但这种 queryString 的形式查询数据只适合一些简单查询的场景，一旦参数多了就难以进行构建（需要添加分页、过滤等功能），所以多数情况下使用 DSL Domain Specific Language 进行查询更好，因为它基于 JSON 格式的数据查询，这样的可读性会更好，有利于复杂查询。

1 DSL 语法

1.1 基本搜索

  • match_all 关键字，表示 在索引中查询所有文档（上一篇文章有 queryString 查询的做法）
    • _source 关键字填充需要搜索的字段名
    • from 和 size：默认的 ES 只显示10条数据，此时可以使用分页显示，from 是表示从起始索引，size 表示一页显示的个数
POST /{indexName}/_doc/_search
{
	"query": {
		"match_all": {}
	},
	"_source": [{fieldName1}, {fieldName2}...],
	"from": 1,
	"size": 5
}
  • match 关键字，将 搜索内容进行分词后搜索
    • match 关键字默认的 operator 属性是 or，即搜索内容分词后，只要存在一个词语匹配就展示结果，设置为 and 后，搜索内容分词后，都要满足词语匹配
    • minimum_should_match：最低匹配精度，比如说最低匹配精度为 70%，而搜索内容分词后有 10 个词语，则文档必须要有 10*0.7=7 个词语匹配才会符合显示需求。
POST /{indexName}/_doc/_search
// 默认 operator 为 or
{
	"query": {
		"match": {
			{fieldName}: {searchTxt}
		}
	}
}
// 设置 operator 为 true
{
    "query": {
		"match": {
			{fieldName}: {
				"query": {searchTxt},
                "operator": "and"
			}
		}
    }
}
// 最低匹配精度
{
    "query": {
		"match": {
			{fieldName}: {
				"query": {searchTxt},
				"minimum_should_match": {minimum_should_match}
			}
		}
    }
}
  • multi_match 关键字，满足使用 match 模式在多个字段属性中进行查询的需求
    • boost 权重，多字段属性查询时，可为某些字段属性设置权重，权重越高，文档相关性得分就越高，如下 {fieldName2}^{weight} 举例："desc^10" 表示 desc 字段属性搜素提升 10 倍相关性，即如果其他字段没有设置权重，用户搜索时会以 desc 为主
POST /{indexName}/_doc/_search
{
	"query": {
		"multi_match": {
			"query": {searchTxt},
			"fields": [{fieldName1}, {fieldName2}...]
		}
	}
}
// 设置权重
{
	"query": {
		"multi_match": {
			"query": {searchTxt},
			"fields": [{fieldName1}, {fieldName2}^{weight}...]
		}
	}
}
  • match_phrase 关键字，搜索内容的分词结果必须在文档分词中都包含，且顺序必须相同，而且必须连续（词与词之间必须紧贴在一起），除非设置了 slop 属性，允许词语之间跳过的文字数量
POST /{indexName}/_doc/_search
{
	"query": {
		"match_phrase": {
			"desc": {
				"query": {searchTxt},
				"slop": {slopNum}
			}
		}
	}
}
  • term 关键字与 terms 关键字，将 搜索内容作为一整个关键词去搜索，而不是进行分词后搜索，同时 terms 支持多个词语匹配检索
POST /{indexName}/_doc/_search
// term
{
	"query": {
		"term": {
			{fieldName2}: {searchTxt2},
		}
	}
}
// terms
{
	"query": {
		"terms": {
			{fieldName1}: [{searchTxt1}, {searchTxt2}...]
		}
	}
}
  • prefix 关键字，根据前缀去查询
POST /{indexName}/_doc/_search
{
	"query": {
		"prefix": {
			// {prefixTxt} 作为前缀
			{fieldName}: {prefixTxt},
		}
	}
}
  • fuzzy 关键字，在用户进行搜索时可能出现打错字的现象，搜索引擎会自动纠正，然后尝试匹配数据
POST /{indexName}/_doc/_search
{
	"query": {
		"fuzzy": {
			{fieldName}: {errorWord} 
		}
	}
}
  • ids 关键字，根据主键 ID 搜索
POST /{indexName}/_doc/_search
{
	"query": {
		"ids": {
			"type": "_doc",
			"values": [{id1}, {id2}...]
		}
	}
}

1.2 布尔查询

  • 布尔查询（多重组合查询）
    • must：查询必须匹配搜索条件，类似于 SQL 语句的 and
    • should：查询匹配满足一个以上条件，类似于 SQL 语句的 or
    • must_not：不匹配搜索条件，一个都不要满足
    • 有时候，搜索同一个文档字段属性，希望 搜索内容分词A 比 搜索内容分词B 权重更高可以使用 should 模式并设置 boost 权重属性
POST /{indexName}/_doc/_search
// 使用 must 举例
{
	"query": {
		"bool": {
			"must": [
				{
					"multi_match": {
						"query": {searchTxt1},
						"fields": [{fieldName1}, {fieldName2}..]
					}
				},
				{
					"term": {
						{fieldName3}: {searchTxt2}
					}
				},
				{
					"term": {
						{fieldName4}: {searchTxt3}
					}
				},
				...
				}
			]
		}
	}
}
// 同时使用 must，should，must_not 也是可以的
{
	"query": {
		"bool": {
			"must": [
				...
			]
			"should": [
				...
			]
			"must_not": [
				...
			]
		}
	}
}
// 使用 should 时，可以添加权重，举例
{
	"query": {
		"bool": {
			"should": [
				{
					"match": {
						"desc": {
							"query": "律师",
							"boost": 18
						}
					}
				},
				{
					"match": {
						"desc": {
							"query": "进修",
							"boost": 2
						}
					}
				}
			]
		}
	}
}

1.3 过滤器

对搜索出来的结果进行数据过滤（即查询后，对结果数据的筛选），不会到 ES 库里去搜，不会计算文档的相关度分数，所以过滤的性能会比较高，过滤器可以和全文搜索结合在一起使用。
post_filter 元素和上述的 query 元素一样，都是顶层元素，但 post_filter 不会计算数据的匹配度相关性分数，不会据分数排序。
举例：

POST /{indexName}/_doc/_search
// term
{
	"query": {
		"term": {
			{fieldName2}: {searchTxt2},
		}
	},
	// money 字段属性需要大于 60，小于 100
	"post_filter": {
		"range": {
			"money": {
				"gt": 60,
				"lt": 100
			}
		}
	}
}

1.4 排序

sort 元素和上述的 query 元素一样，都是顶层元素。

POST /{indexName}/_doc/_search
// term
{
	"query": {
		"term": {
			{fieldName2}: {searchTxt2},
		}
	},
	"sort": [
		{
			{fieldName1}: "desc"
		},
		{
			{fieldName2}: "asc"
		}
		...
	]
}

对文本排序，由于文本会被分词，所以排序的时候就会不知道用哪个分词后的内容去进行排序，所以需要在一开始设置文档字段的时候额外添加一个附属属性 keyword，用于排序：

POST /{indexName}/_mapping
{
  "properties": {
    {fieldName}: {
      "type": {typeName},
      "analyzer": {analyzerName},
      // 设置 keyword
      "fields": {
			"keyword": {
				"type": "keyword"
			}
		}
    }
  }
}

1.5 关键字高亮显示

POST /{indexName}/_doc/_search
// term
{
	"query": {
		"term": {
			{fieldName}: {searchTxt},
		},
		"term": {
			{fieldName2}: {searchTxt2},
		}
	},
	// 搜索词前后添加 span 标签
	"highlight": {
		"pre_tags": ["<span class="highlight">"],
		"post_tags": ["</span>"],
		"fields": {
			{fieldName}:{},
			{fieldName2}:{}
		}
	}
}

2 深度分页

深度分页其实就是指搜索的深浅度，比如第 10000 页，ES 在获取第 9999 条到 10009 条数据的时候，假如设置了多个主分片，那么它会从每个分片中拿出 10009 条数据集合在一起，再对这些汇总数据进行排序处理，最后获取对应的 10 数据，这样一来就会有性能的问题，ES 默认是不支持操作一万条数据以上的分页查询，而我们也应该避免深度分页操作（限制分页页数）
通过设置 index_max_result_window 来突破限制

PUT /{indexName}/_settings
{
	"index_max_result_window": "20000"
}

2.1 scroll 滚动搜索

一次性查询一万加的数据，往往会造成性能影响，因为数据量太多，这时候就可以使用滚动搜索。
滚动搜索可以先查询出一些数据，然后再接着依次往下查询，查询的时候会返回一个滚动 ID，相当于一个 锚标记，接下来的每次查询都需要携带上一次返回的 锚标记，值得注意的是，如果有数据变更，搜索出来的数据也只是旧版本的数据。
第一次滚动查询：

// scroll=1m 相当于是一个session会话时间，搜索保持上下文1分钟
POST /{indexName}/_search?scroll=1m
{
	"query": {
		"match_all": {}
	},
	"sort": ["_doc"],
	"size": 5 // 设置单页查询数量
}

后续查询：

POST /_search/scroll
{
	"scroll": "1m", //相当于是一个session会话时间，搜索保持上下文1分钟
	"scroll_id": {scroll_id}
}

3 批量操作

bulk 操作和以往的普通的请求格式有区别，它不能支持格式化 json，它的发送数据格式是：

{action:{metadata}}\n
{request body}\n
{action:{metadata}}\n
{request body}\n
...
  • {action:{metadata}} 代表批量操作的类型，不同操作类型之间是可以混合在同一请求中使用的
    • create：新增，如果文档不存在，就创建他，存在则会报错，但不影响其它操作
    • index：创建或替换一个现有的文档
    • update：部分更新文档
    • delete：删除一个文档
  • \n 即是回车符（不是填写 \n 进去请求体中，而是直接按回车键即可），每行结尾必须填写的规范（包括最后一行）
  • {request body}：增和改操作的内容，删除操作无需携带

metadata 中需要指定要操作的文档的 _index（索引表表名）、_type（固定值为 _doc）和 _id，其中 _index 和 _type 可以直接在 url 中指定。

  • create 操作
POST /_bulk 
// 或者 /{indexName}/_doc/_bulk 这样指定url的话，下方 metaData 就无需声明 _index 和 _type 
{"create":{"_index":{indexName1},"_type":"_doc","_id":{id1}}}
{{fieldName1}: {value1}, {fieldName2}: {value2}}
{"create":{"_index":{indexName1},"_type":"_doc","_id":{id2}}}
{{fieldName1}: {value3}, {fieldName2}: {value4}}
{"create":{"_index":{indexName2},"_type":"_doc","_id":{id3}}}
{{fieldName3}: {value5}, {fieldName4}: {value6}}
  • index 操作，创建或替换一个现有的文档
POST /{indexName}/_doc/_bulk
{"index":{"_id":{id1}}}
{{fieldName1}: {value1}, {fieldName2}: {value2}}
{"index":{"_id":{id2}}}
{{fieldName1}: {value3}, {fieldName2}: {value4}}
  • update 操作，创建或替换一个现有的文档
POST /{indexName}/_doc/_bulk
{"update":{"_id":{id1}}}
{"doc":{{fieldName1}: {value1}, {fieldName2}: {value2}}}
{"index":{"_id":{id2}}}
{"doc":{{fieldName1}: {value3}, {fieldName2}: {value4}}}
  • delete 操作，创建或替换一个现有的文档
POST /{indexName}/_doc/_bulk
{"delete":{"_id":{id1}}}
{"delete":{"_id":{id2}}}
标签
#其他
2.ELK之Elasticsearch常用DSL语句(kibana语句)
mijichui2153的博客
06-23 2万+
Filter DSL term 过滤 term主要用于精确匹配哪些值，比如数字，日期，布尔值或 not_analyzed 的字符串(未经分析的文本数据类型)： { “term”: { “age”: 26 }} { “term”: { “date”: “2014-09-01” }} { “term”: { “public”: true }} { “term”: { “tag”: “full_text” }} 完整的例子， hostname 字段完全匹配成 xxx 的数据： { "query"
ES搜索引擎入门+最佳实践(一)
柳老师的博客
08-03 3371
本篇文章计划给大家介绍什么ES,ES的架构,以及ES搜索入门.我尽量用简单不拖沓的语言给大家介绍,水平有限,时间也有限,各位读者如发现文中有不当之处,请留言指正.ES的全称是Elasticsearch,翻译过来就是弹性搜索,知道就可以,不用纠结这个词的含义,我觉得这个词并不能表述ES的含义.ES并不是传统意义上的数据库,所以不需要用传到的数据库例如Oracle,mysql等数据库与ES进行类比.ES是建立在Lucene(全文搜索)基础上的分布式准实时搜索引擎.
ElasticSearch - DSL查询文档语法，以及深度分页问题、解决方案
CYK_byte的博客
09-26 3573
你在淘宝里买东西的时候，要通过一些信息进行筛选，比如 销量、信誉、价格升序... 这些词一般都是固定一个按钮，点击就会帮你做筛选.
【ElasticSearch笔记】使用Python生成ES DSL语句
木子家有小可爱的博客
01-22 1576
将传统的JSON DSL语句，映射为Python类、对象操作，使其两者相互转换互通，减少手动编写JSON DSL语句的繁琐，提高可维护性。
Elasticsearch DSL 查询语句
彳亍
07-28 4982
在 ES 中，提供了十分丰富的DSL 查询。 DSL 查询使用 JSON 格式的请求体与 ES 交互，可以实现各种各样的查询需求。
Elasticsearch之DSL:常用语法与用法
智者千虑，必有一失；愚者千虑，必有一得。
03-15 4296
一、DSL 简单用法 二、query 和 filter 差异 三、多搜索条件组合查询（最常用）
Elasticsearch笔记
厚积薄发
06-06 354
Elasticsearch笔记 开源搜索：Elasticsearch、ELK Stack 和 Kibana 的开发者 | Elastic Elasticsearch简介 全文搜索属于最常见的需求，开源的Elasticsearch是目前全文搜索引擎的首选。它可以快速地存储、搜索和分析海量数据。维基百科、Stack Overflow、Github都采用它。 Elastic的底层是开源库Lucene。但是，你没法直接用Lucene，必须自己写代码去调用它的接口。Elastic是Lucene的封装，提供了REST
elasticsearch 笔记二：搜索DSL 语法（搜索API、Query DSL）
LoveSummer
12-26 2万+
query 元素用 Query DSL 来定义查询。Domain Specific Language：领域特定语言Elasticsearch 基于 JSON 提供完整的查询 DSL 来定义查询。Leaf query clauses 叶子查询字句Leaf query clauses 在指定的字段上查询指定的值, 如：match, term or range queries. 叶子字句可以单独使用.Compound query clauses 复合查询字句以逻辑方式组合多个叶子、复合查询为一个查询。
分布式搜索引擎 elasticsearch
KYGALYX的博客
02-07 3807
分布式搜索引擎 elasticsearch 第一部分 1.初识elasticsearch 1.1.了解ES 1.1.1.elasticsearch的作用 elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容 例如： 在GitHub搜索代码 在电商网站搜索商品 在百度搜索答案 在打车软件搜索附近的车 1.1.2.ELK技术栈 elasticsearch结合kibana、Logstash、Beats，也就是elasti
ElasticSearch内容分享（四）：ES搜索引擎
之乎者也·的博客
12-09 1323
但是elasticsearch将来一定是集群，例如我集群有5个节点，我要查询TOP1000的数据，并不是每个节点查询200条就可以了。那每个节点都要查询10000条？因此要想获取整个集群的TOP1000，必须先查询出每个节点的TOP1000，汇总结果后，重新排名，重新截取TOP1000。可以看到，API与其它查询的差别同样是在查询条件的构建，QueryBuilders，结果解析等其他代码完全不变。每一个不同的字段，其查询的条件、方式都不一样，必须是多个不同的查询，而要组合这些查询，就必须用bool查询了。
ElasticSearch分布式搜索引擎
我的博客
01-10 2408
elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域： 而elasticsearch是elastic stack的核心，负责存储、搜索、分析数据。elasticsearch底层是基于lucene来实现的。Lucene是一个Java语言的搜索引擎类库，是Apache公司的顶级项目，由DougCutting于1999年研发。官网地址：https://lucene.apache.org/ 。elasticse
ES 分布式搜索引擎【一】
m0_52861684的博客
03-04 1637
分布式搜索引擎，elasticsearch、kibana、IK分词器的安装与使用。
Elasticsearch搜索引擎 3（DSL）
m0_73922877的博客
03-16 2209
Elasticsearch提供了基于JSON的DSL（）语句来定义查询条件，其JavaAPI就是在组织DSL条件。
【ES专题】ElasticSearch 高级查询语法Query DSL实战
qq_32681589的博客
10-31 7324
语法结构比较陌生没有中文文档， 只能看英文其他博客也比较少介绍语法结构。比如说，为什么查询中会出现query关键词就跟Mysql有自己的查询语言一样，ES作为一款优秀的分布式文档存储和【搜索引擎】，它也有自己的查询语言。即：Query DSL（查询Domain Specific Language），查询领域专用语言。Query DSL是利用RESTfull风格API传递JSON格式的请求体（RequestBody）数据与ES进行交互，这种方式的丰富查询语法让ES检索变得更强大，更简洁。
ES搜索引擎技术
bigchen_1的博客
01-23 832
目前的工作中库很多业务普通关系型数据已经不能满足业务需求，因此很多场景需要用到搜索引擎技术，下面介绍一下ElasticSearch。
分布式搜索引擎ES-DSL搜索详解
TOMORROW6COME的博客
07-23 1896
建立索引： xxx(自定义名称)自定义mapping:请求参数的查询(QueryString)查询[字段]包含[内容]的文档测试搜索：q=desc:新华网拼接查询：称为queryString方式查询q=nickname:新&q=age:25text与keyword搜索对比测试(keyword不会被倒排索引，不会被分词)这种方式称之为QueryString查询方式，参数都是放在url中作为请求参数的。
elasticSearch学习入门-DSL查询
热门推荐
liushangzaibeijing的博客
01-11 4万+
本篇博文主要介绍了es的核心功能--搜索（DSL查询语句）主要是以各种丰富的查询语句来讲解，比如match条件查询、term-level范围查询、bool布尔查询、以及过滤查询，主要目的是让读者熟悉DSL相关语法 建议读者收藏 便于在以后使用过程中查阅
搜索引擎Elasticsearch入门——学习笔记
最新发布
2501_90975132的博客
04-17 1170
官网地址具备下列优势：支持分布式，可水平扩展；提供Restful接口，可被任何语言调用结合kibanaLogstashBeats，是一整套技术栈，被叫做ELK。被广泛应用在日志数据分析、实时监控等领域。
Elasticsearch教程之《一文读懂ES-DSL》
极客世杰
06-20 3630
bool。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值