REST : 表现层状态转化(Representational State Transfer)，如果一个架构符合REST原则，就称它为 RESTful 架构风格。
资源: 所谓"资源"，就是网络上的一个实体，或者说是网络上的一个具体信息
表现层 :我们把"资源"具体呈现出来的形式，叫做它的"表现层"(Representation)。
状态转化(State Transfer):如果客户端想要操作服务器，必须通过某种手段，让服务器端发生"状态转 化"(State Transfer)。而这种转化是建立在表现层之上的，所以就是"表现层状态转化"。
全文检索是计算机程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当用户查询时根据建立的索引查找，类似于通过字典的检索字表查字的过程。
检索: 索(建立索引) 检:(检索索引)
全文检索（Full-Text Retrieval(检索)）以文本作为检索对象，找出含有指定词汇的文本。全面、准确和快速是衡量全文检索系统的关键指标。
关于全文检索，我们要知道：
1. 只处理文本。
2. 不处理语义。
3. 搜索时英文不区分大小写。
4. 结果列表有相关度排序。
ElasticSearch 简称 ES ，是基于Apache Lucene构建的开源搜索引擎，是当前流行的企业级搜索引擎。Lucene本身就可以被认为迄今为止性能最好的一款开源搜索引擎工具包，但是lucene的API相对复杂，需要深厚的搜索理论。很难集成到实际的应用中去。但是ES是采用java语言编写，提供了简单易用的RestFul API，开发者可以使用其简单的RestFul API，开发相关的搜索功能，从而避免lucene的复杂性。
多年前，一个叫做Shay Banon的刚结婚不久的失业开发者，由于妻子要去伦敦学习厨师，他便跟着也去了。在他找工作的过程中，为了给妻子构建一个食谱的搜索引擎，他开始构建一个早期版本的Lucene。
直接基于Lucene工作会比较困难，所以Shay开始抽象Lucene代码以便Java程序员可以在应用中添加搜索功能。他发布了他的第一个开源项目，叫做“Compass”。
后来Shay找到一份工作，这份工作处在高性能和内存数据网格的分布式环境中，因此高性能的、实时的、分布式的搜索引擎也是理所当然需要的。然后他决定重写Compass库使其成为一个独立的服务叫做Elasticsearch。
第一个公开版本出现在2010年2月，在那之后Elasticsearch已经成为Github上最受欢迎的项目之一，代码贡献者超过300人。一家主营Elasticsearch的公司就此成立，他们一边提供商业支持一边开发新功能，不过Elasticsearch将永远开源且对所有人可用。
Shay的妻子依旧等待着她的食谱搜索……
ES主要以轻量级JSON作为数据存储格式，这点与MongoDB有点类似，但它在读写性能上优于 MongoDB 。同时也支持地理位置查询 ，还方便地理位置和文本混合查询 。 以及在统计、日志类数据存储和分析、可视化这方面是引领者。
- 国外:
Wikipedia(维基百科)使用ES提供全文搜索并高亮关键字、StackOverflow(IT问答网站)结合全文搜索与地理位置查询、Github使用Elasticsearch检索1300亿行的代码。
- 国内:
百度(在云分析、网盟、预测、文库、钱包、风控等业务上都应用了ES，单集群每天导入30TB+数据， 总共每天60TB+)、新浪 、阿里巴巴、腾讯等公司均有对ES的使用。
使用比较广泛的平台ELK(ElasticSearch, Logstash, Kibana)。
6.1 准备环境
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qPx0xAFw-1618987518375)(ElasticSearch_6.8.0版本.assets/image-20200630212439770.png)]
6.2 安装ES服务
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UFRldFaY-1618987518377)(ElasticSearch_6.8.0版本.assets/image-20200630213055413.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8e2FOGKy-1618987518378)(ElasticSearch_6.8.0版本.assets/image-20200630212630392.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AWlP1tgg-1618987518380)(ElasticSearch_6.8.0版本.assets/image-20200630212850554.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-700HeY5e-1618987518381)(ElasticSearch_6.8.0版本.assets/image-20200630213303918.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rDvdlX7P-1618987518382)(ElasticSearch_6.8.0版本.assets/image-20200630213526877.png)]
6.3 开启远程连接权限
注意:ES服务默认启动是受保护的,只允许本地客户端连接,如果想要通过远程客户端访问,必须开启远程连接
- 原始配置
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7gBMNAZG-1618987518383)(ElasticSearch_6.8.0版本.assets/image-20200630213816272.png)]
- 修改后配置
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iyl5OgZS-1618987518384)(ElasticSearch_6.8.0版本.assets/image-20200630214020095.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B2tanMSV-1618987518385)(ElasticSearch_6.8.0版本.assets/image-20200630214239158.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NRLdTNcl-1618987518386)(ElasticSearch_6.8.0版本.assets/image-20200630214626888.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lamhdLpD-1618987518387)(ElasticSearch_6.8.0版本.assets/image-20200630214938946.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RAbqh5xX-1618987518387)(ElasticSearch_6.8.0版本.assets/image-20200630215059327.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-av5cZm0m-1618987518388)(ElasticSearch_6.8.0版本.assets/image-20200630215215846.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kRu1wLjF-1618987518389)(ElasticSearch_6.8.0版本.assets/image-20200630215322421.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9t4dOVKk-1618987518390)(ElasticSearch_6.8.0版本.assets/image-20200630215346079.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pqohUxWj-1618987518390)(ElasticSearch_6.8.0版本.assets/image-20200630215443290.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XCA33NKO-1618987518391)(ElasticSearch_6.8.0版本.assets/image-20200630215848212.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-v5hZDqgV-1618987518392)(ElasticSearch_6.8.0版本.assets/image-20200630220237339.png)]
7.1 接近实时(NRT Near Real Time )
Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒内)
7.2 索引(index)
一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母的)，并且当我们要对这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。索引类似于关系型数据库中Database 的概念。在一个集群中，如果你想，可以定义任意多的索引。
7.3 类型(type)
在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数 据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可 以为评论数据定义另一个类型。类型类似于关系型数据库中Table的概念。
NOTE: 在5.x版本以前可以在一个索引中定义多个类型,6.x之后版本也可以使用,但是不推荐,在7~8.x版本中彻底移除一个索引中创建多个类型
7.4 映射(Mapping)
Mapping是ES中的一个很重要的内容，它类似于传统关系型数据中table的schema，用于定义一个索引(index)中的类型(type)的数据的结构。 在ES中，我们可以手动创建type(相当于table)和mapping(相关与schema),也可以采用默认创建方式。在默认配置下，ES可以根据插入的数据自动地创建type及其mapping。 mapping中主要包括字段名、字段数据类型和字段索引类型
7.5 文档(document)
**一个文档是一个可被索引的基础信息单元，类似于表中的一条记录。**比如，你可以拥有某一个员工的文档,也可以拥有某个商品的一个文档。文档以采用了轻量级的数据交换格式JSON(Javascript Object Notation)来表示。
7.6 概念关系图
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rPTOXrIg-1618987518393)(ElasticSearch_6.8.0版本.assets/image-20200701163807755.png)]
Kibana是一个针对Elasticsearch的开源分析及可视化平台，使用Kibana可以查询、查看并与存储在ES索引的数据进行交互操作，使用Kibana能执行高级的数据分析，并能以图表、表格和地图的形式查看数据。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tvFohBTL-1618987518393)(ElasticSearch_6.8.0版本.assets/image-20200630221412767.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HKZGvT2t-1618987518394)(ElasticSearch_6.8.0版本.assets/image-20200630221523007.png)]
9.1 索引(Index)的基本操作
9.2 类型(type)的基本操作
创建类型
Mapping Type: : text , keyword , date ,integer, long , double , boolean or ip
查看类型
GET /dangdang/_mapping/product # 语法:GET /索引名/_mapping/类型名
9.3 文档(document)的基本操作
添加文档
查询文档
删除文档
更新文档
批量操作
10.1 检索方式 _search
ES官方提供了两中检索方式:一种是通过 URL 参数进行搜索,另一种是通过 DSL(Domain Specified Language) 进行搜索。官方更推荐使用第二种方式第二种方式是基于传递JSON作为请求体(request body)格式与ES进行交互，这种方式更强大，更简洁。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X7HehFQc-1618987518395)(ElasticSearch_6.8.0版本.assets/image-20200701225025975.png)]
-
使用语法
URL查询: GET /索引/类型/_search?参数
DSL查询: GET /索引/类型/_search {}
10.2 测试数据
10.2 URL检索
GET /ems/emp/_search?q=*&sort=age:asc
_search 搜索的API q=* 匹配所有文档 sort 以结果中的指定字段排序
GET /ems/emp/_search?q=*&sort=age:desc&size=5&from=0&_source=name,age,bir
10.3 DSL检索
NOTE: 以下重点讲解DSL语法
10.4 DSL高级检索(Query)
0. 查询所有(match_all)
match_all关键字: 返回索引中的全部文档
1. 查询结果中返回指定条数(size)
size 关键字: 指定查询结果中返回指定条数。 默认返回值10条
2. 分页查询(from)
from 关键字: 用来指定起始返回位置，和size关键字连用可实现分页效果
3. 查询结果中返回指定字段(_source)
_source 关键字: 是一个数组,在数组中用来指定展示那些字段
4. 关键词查询(term)
term 关键字: 用来使用关键词查询
NOTE1: 通过使用term查询得知ES中默认使用分词器为标准分词器(StandardAnalyzer),标准分词器对于英文单词分词,对于中文单字分词。
NOTE2: 通过使用term查询得知,在ES的Mapping Type 中 keyword , date ,integer, long , double , boolean or ip 这些类型不分词，只有text类型分词。
5. 范围查询(range)
range 关键字: 用来指定查询指定范围内的文档
6. 前缀查询(prefix)
prefix 关键字: 用来检索含有指定前缀的关键词的相关文档
7. 通配符查询(wildcard)
wildcard 关键字: 通配符查询 ? 用来匹配一个任意字符 * 用来匹配多个任意字符
8. 多id查询(ids)
ids 关键字 : 值为数组类型,用来根据一组id获取多个对应的文档
9. 模糊查询(fuzzy)
fuzzy 关键字: 用来模糊查询含有指定关键字的文档
10. 布尔查询(bool)
bool 关键字: 用来组合多个条件实现复杂查询
must: 相当于&& 同时成立
should: 相当于|| 成立一个就行
must_not: 相当于! 不能满足任何一个
11. 高亮查询(highlight)
highlight 关键字: 可以让符合条件的文档中的关键词高亮
自定义高亮html标签: 可以在highlight中使用和
多字段高亮 使用开启多个字段高亮
12. 多字段查询(multi_match)
13. 多字段分词查询(query_string)
NOTE: 默认ES中采用标准分词器进行分词,这种方式并不适用于中文网站,因此需要修改ES对中文友好分词,从而达到更佳的搜索的效果。
11.1 在线安装IK
在线安装IK (v5.5.1版本后开始支持在线安装 )
NOTE: 要求版本严格与当前使用版本一致,如需使用其他版本替换 为使用的版本号
11.2 本地安装IK
可以将对应的IK分词器下载到本地,然后再安装 NOTE: 本课程使用本地安装
11.3 测试IK分词器
NOTE: IK分词器提供了两种mapping类型用来做文档的分词分别是 和
，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合；
，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”。
测试数据
11.4 配置扩展词
IK支持自定义和,所谓**就是有些词并不是关键词,但是也希望被ES用来作为检索的关键词,可以将这些词加入扩展词典。**就是有些词是关键词,但是出于业务场景不想使用这些关键词被检索到，可以将这些词放入停用词典。
如何定义扩展词典和停用词典可以修改IK分词器中目录中这个文件。
NOTE：词典的编码必须为UTF-8，否则无法生效
12.1 过滤查询
其实准确来说，ES中的查询操作分为2种: 和。。。
换句话说，过滤适合在大范围筛选数据，而查询则适合精确匹配数据。一般应用时， 应先使用过滤操作过滤数据， 然后使用查询匹配数据。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JGX8mnuh-1618987518396)(ElasticSearch_6.8.0版本.assets/image-20200703141421055.png)]
12.2 过滤语法
NOTE: 在执行filter和query时,先执行filter在执行query
NOTE:Elasticsearch会自动缓存经常使用的过滤器，以加快性能。
12.3 常见的过滤器类型
term 、 terms Filter
ranage filter
exists filter
过滤存在指定字段,获取字段不为空的索引记录使用
ids filter
过滤含有指定字段的索引记录
13.1 引入maven依赖
13.2创建索引和类型
Rest的创建方式
0. 创建客户端操作对象
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SJ785R2y-1618987518397)(ElasticSearch_6.8.0版本.assets/image-20200702203651495.png)]
1. 创建索引
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Wjo9gsdc-1618987518398)(ElasticSearch_6.8.0版本.assets/image-20200702203936122.png)]
2. 删除索引
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hxYTPU2f-1618987518398)(ElasticSearch_6.8.0版本.assets/image-20200702203443545.png)]
3 .创建索引和类型
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2pGCTVym-1618987518399)(ElasticSearch_6.8.0版本.assets/image-20200702205610800.png)]
13.3 索引一条记录
1.指定id索引记录
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2HmNb3Na-1618987518400)(ElasticSearch_6.8.0版本.assets/image-20200702210532815.png)]
2.自定生成id索引记录
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eqSEo3p1-1618987518400)(ElasticSearch_6.8.0版本.assets/image-20200702210643404.png)]
13.3 更新一条索引
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bygtiwdT-1618987518401)(ElasticSearch_6.8.0版本.assets/image-20200702210954634.png)]
13.4 删除一条索引
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FSPlDBLO-1618987518402)(ElasticSearch_6.8.0版本.assets/image-20200702211137768.png)]
13.5 批量更新
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4qsgKEA7-1618987518403)(ElasticSearch_6.8.0版本.assets/image-20200702211756304.png)]
13.6 检索记录
1. 查询所有并排序
分页查询
查询返回字段
term查询
range查询
prefix查询
wildcard查询
Ids查询
fuzzy模糊查询
bool 查询
高亮查询
14. SpringBoot Data操作ES
14.1 引入依赖
14.2 编写yml配置
- spring-data(2~3.x版本配置)
- spring-data(新版本推荐配置) RestHighLevelClient rest客户端 ElasticSearchRespositoy接口
14.3 编写entity
: 代表一个文档记录
: 用来指定索引名称
: 用来指定索引类型
: 用来将对象中id和ES中_id映射
: 用来指定ES中的字段对应Mapping
: 用来指定ES中存储类型
: 用来指定使用哪种分词器
14.4 编写BookRepository
14.5 索引or更新一条记录
NOTE:这种方式根据实体类中中配置自动在ES创建索引,类型以及映射
14.6 删除一条记录
14.7 查询
14.8 查询排序
14.9 自定义基本查询
14.10 实现复杂查询
分页查询并排序
高亮查询
15.1 相关概念
集群(cluster)
1.单节点压力问题 并发压力 物理资源上限压力
2.数据冗余备份能力
一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。一个集群 由一个唯一的名字标识，这个名字默认就是。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯，但是使用默认值来进行测试/开发也是不错的。
节点(node)
一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。
一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫 做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。
在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何Elasticsearch节点， 这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。
分片和复制(shards & replicas)
一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间;或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置 到集群中的任何节点上。 分片之所以重要，主要有两方面的原因:
允许你水平分割/扩展你的内容容量允许你在分片(潜在地，位于多个节点上)之上进行分布式的、并行的操作，进而提高性能/吞吐量 至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由Elasticsearch管理的，对于作为用户的你来说，这些都是透明的。
在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因 消失了。这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分 片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。复制之所以重要，主要有两方面的原因:
在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要 (original/primary)分片置于同一节点上是非常重要的。 扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行
总之，每个索引可以被分成多个分片。一个索引也可以被复制0次(意思是没有复制)或多次。一旦复制了，每个 索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制数量，但是不能改变分片的数量。
默认情况下，，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片(1个完全拷贝)，这样的话每个索引总共就有10个分片。一个 索引的多个分片可以存放在集群中的一台主机上，也可以存放在多台主机上，这取决于你的集群机器数量。主分片和复制分片的具体位置是由ES内在的策略所决定的。
集群架构图
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-srLSbcHG-1618987518404)(ElasticSearch_6.8.0版本.assets/image-20200706130616482.png)]