# 概述
Elasticsearch基于Lucene(搜索引擎库)的开源搜索引擎,对外提供一系列基于Java和HTTP的API, 目的是通过简单的RESTful API来隐藏Lucene的复杂性。
具有以下特点:
1. 支持全文检索
2. 分布式的实时文件存储,每个字段都被索引并可被搜索
3. 分布式的实时分析搜索引擎
可以对照数关系型据库来理解Elasticsearch的有关概念。
| 关系型数据库(Relational DB) | Elasticsearch(搜索引擎) |
| --- | --- |
| 数据库(Databases) | Indices |
| 表(Tables) | Types |
| 行(Rows) | Documents |
| 字段(Columns) | Fields |
Elasticsearch集群可以包含多个索引(indices)(数据库),每一个索引可以包含多个类型(types)(表),每一个类型包含多个文档(documents)(行),然后每个文档包含多个字段(Fields)(列)。
## 索引
>索引只是一个把一个或多个分片分组在一起的逻辑空间。可以把索引看成关系型数据库的表。 然而,索引的结构是为快速有效的全文索引准备的,特别是它不存储原始值。
Elasticsearch 可以把索引存放在一台机器或者分散在多台服务器上,每个索引有一或多个分片(shard),每个分片可以有多个副本(replica)。发送一个新的文档给集群时,你指定一个目标索引并发送给它的任意一个节点。这个节点知道目标索引有多少分片,并且能够确定哪个分片应该用来存储你的文档。可以更改Elasticsearch的这个行为。现在你需要记住的重要信息是,Elasticsearch使用文档的唯一标识符来计算文档应该被放到哪个分片中。索引请求发送到一个节点后,该节点会转发文档到持有相关分片的目标节点中。
一次索引操作
![](https://box.kancloud.cn/6949f2fbc7ae960af3904ac182cf3a5f_708x500.png)
![](https://box.kancloud.cn/3a453de022b51cfd197fb386b41b8173_606x415.png)
## 检索
尝试用文档标识符来获取文档时,发送查询到一个节点,该节点使用同样的路由算法来决定持有文档的节点和分片,然后转发查询,获取结果,并把结果发送给你。另一方面,查询过程更为复杂。除非使用了路由,查询将直接转发到单个分片,否则,收到查询请求的节点会把查询转发给保存了属于给定索引的分片的所有节点,并要求获取查询匹配的文档的最少信息(默认情况下是标识符和得分)。这个过程称为发散阶段(scatter phase)。收到这些信息后,该聚合节点(收到客户端请求的节点)对结果排序,并发送第2个请求来获取结果列表所需的文档(除了标识符和得分以外的所有信息)。这个阶段称为收集阶段(gather phase)。这个阶段执行完毕后,结果返回到客户端。
一次查询请求:
curl -X GET http://localhost:9200/megacorp/employee/1?
![](https://box.kancloud.cn/605e56d6cc30de62eedcf4b037ac9ae6_691x491.png)
![](https://box.kancloud.cn/2202ba287328cd5bc35d9e34d89bdfd2_608x421.png)
## 文档
存储在Elasticsearch中的主要实体叫文档(document)。用关系型数据库来类比的话,一个文档相当于数据库表中的一行记录。相同字段必须有相同类型,文档由多个字段组成,每个字段可能多次出现在一个文档里,这样的字段叫多值字段(multivalued)。每个字段有类型,如文本、数值、日期等。字段类型也可以是复杂类型,一个字段包含其他子文档或者数组。字段类型在Elasticsearch中很重要,因为它给出了各种操作(如分析或排序)如何被执行的信息。幸好,这可以自动确定,然而,我们仍然建议使用映射。与关系型数据库不同,文档不需要有固定的结构,每个文档可以有不同的字段,此外,在程序开发期间,不必确定有哪些字段。当然,可以用模式强行规定文档结构。
从客户端的角度看,文档是一个JSON对象(关于JSON格式的更多内容,参见http://en.wikipedia.org/wiki/JSON)。每个文档存储在一个索引中并有一个Elasticsearch自动生成的唯一标识符和文档类型。文档需要有对应文档类型的唯一标识符,这意味着在一个索引中,两个不同类型的文档可以有相同的唯一标识符。
## 文档类型
在Elasticsearch中,一个索引对象可以存储很多不同用途的对象。例如,一个博客应用程序可以保存文章和评论。
文档类型让我们轻易地区分单个索引中的不同对象。每个文档可以有不同的结构,但在实际部署中,将文件按类型区分对数据操作有很大帮助。当然,需要记住一个限制,不同的文档类型不能为相同的属性设置不同的类型。例如,在同一索引中的所有文档类型中,一个叫title的字段必须具有相同的类型
## 映射
模式映射(schema mapping,或简称映射)用于定义索引结构。Elasticsearch在映射中存储有关字段的信息。每一个文档类型都有自己的映射,即使我们没有明确定义。映射在文件中以JSON对象传送。所以,创建一个映射文件来匹配上述需求,称之为mapping.json。其内容如下:
{
"mappings": {
"post": {
"properties": {
"id": {"type":"long", "store":"yes",
"precision_step":"0" },
"name": {"type":"string", "store":"yes",
"index":"analyzed" },
"published": {"type":"date",
"store":"yes",
precision_step":"0" },
"contents": {"type":"string",
"store":"no",
"index":"analyzed" }
}
}
}
}
使用上述文件创建posts索引,运行命令:
curl -XPOST 'http://localhost:9200/posts' -d @mapping.json
## 分片
当有大量的文档时,由于内存的限制、硬盘能力、处理能力不足、无法足够快地响应客户端请求等,一个节点可能不够。在这种情况下,数据可以分为较小的称为分片(shard)的部分(其中每个分片都是一个独立的Apache Lucene索引)。每个分片可以放在不同的服务器上,因此,数据可以在集群的节点中传播。
当你查询的索引分布在多个分片上时,Elasticsearch会把查询发送给每个相关的分片,并将结果合并在一起,而应用程序并不知道分片的存在。此外,多个分片可以加快索引。
## 副本
为了提高查询吞吐量或实现高可用性,可以使用分片副本。副本(replica)只是一个分片的精确复制,每个分片可以有零个或多个副本。换句话说,Elasticsearch可以有许多相同的分片,其中之一被自动选择去更改索引操作。这种特殊的分片称为主分片(primary shard),其余称为副本分片(replica shard)。在主分片丢失时,例如该分片数据所在服务器不可用,集群将副本提升为新的主分片。
- 前言
- 读者须知
- 第一章 Linux
- HTTP
- 简介
- 状态码
- 特点
- URL
- Request
- Response
- 请求方式
- 工作原理
- 生命周期
- GET和POST区别
- 组成
- 端口
- 命令
- 常用命令
- chmod命令详解
- ubuntu apt-get命令
- 用户和用户组
- Nginx
- 四个基本功能
- 进程
- 进程管理[ps命令]
- 进程管理[top命令]
- 进程管理[kill命令]
- 进程管理[进程优先级]
- 进程管理[netstat命令]
- 定时任务
- crontab
- 实现每秒执行
- >/dev/null 2>&1说明
- 文件管理
- 工作管理
- 资源管理
- 第二章 NGINX
- 介绍
- 入门
- 特性
- 安装启动
- 基础必会
- 常用功能
- 反向代理
- 负载均衡
- 正向代理
- HTTP服务器
- 动静分离
- 技能点汇总
- 显示乱码
- 打开目录浏览功能
- 错误码原因和解决方案
- location用法
- 常用正则
- rewrite
- 全局变量
- if语句块
- https
- php后端处理(fast-cgi)
- flag标志位
- 过期功能
- gzip压缩
- 会话保持时间
- 配置nginx worker进程最大打开文件数
- sendfile
- 单个工作进程的最大连接数
- 选择事件驱动模型
- 隐藏ngxin版本号
- 网络连接的优化
- 缓存原理及机制
- 限流
- 日志配置
- 灰度发布
- 配置一键生成
- 第三章 MySQL
- 入门
- 简介
- 术语
- 特点
- 三范式
- 8.0 新特性
- 数据类型
- 数据类型详解
- 常用函数
- 命令速查
- MyISAM与InnoDB区别
- 服务器构成
- 事务
- 本质
- 特性
- 分类
- 隔离级别
- PHP中使用事务实例
- MVCC
- 问题和解决
- 调优原则
- 分布式事务
- 索引
- 简介
- 索引的分类
- 创建索引
- 删除索引
- 哈希索引
- btree索引和hash索引的区别
- 单列索引和多列索引
- 索引优化
- 查看SQL语句对索引的使用情况
- 锁
- 技能点
- 开发规范
- 导入导出数据库
- blob和text的区别
- char与varchar类型区别
- SQL查询语句优化
- 事务隔离和锁操作需要在语言级别来做吗
- 58到家数据库30条军规解读
- 数据迁移
- SKU数据库设计
- RBAC数据库设计
- 第四章 Redis
- 入门
- 简介
- 应用场景
- 安装启动
- 生命周期
- 事务
- 配置项
- 缓存
- 数据持久化
- 安全
- 数据类型
- string
- hash
- list
- set
- zset
- php代码实战
- 字符串缓存实战
- 队列实战
- 发布订阅实战
- 计数器实战
- 排行榜实战
- 字符串悲观锁实战
- 事务的乐观锁实战
- 高级应用
- 分片机制
- 主从复制
- 缓存问题
- 解决 Redis 并发竞争 Key 问题
- 淘汰策略
- 第五章 PHP
- composer
- 什么是composer
- composer常用概念解析
- 使用composer的正确姿势
- 消息队列
- 为何使用消息队列
- Beanstalkd
- PSR规范
- PSR-0
- PSR-1
- PSR-2
- PSR-3
- PSR-4
- OOP基础
- 面向对象概念
- 类和对象
- 类
- 操作对象成员
- this使用
- 构造方法和析构方法
- 封装
- __set(),__get(),__isset(),__unset()四个方法的应用
- 继承
- 重载新的方法(parent::)
- 访问类型(public,protected,private)
- final关键字的应用
- static和const关键字的使用(self::)
- static关键字
- __toString()方法
- 克隆对象__clone()方法
- __call()处理调用错误
- 抽象方法和抽象类(abstract)
- 接口(interface)
- 多态
- 把对象串行化serialize()方法,__sleep()方法,__wakeup()方法
- 自动加载类 __autoload()函数
- OOP进阶
- 语法糖
- 异常处理
- 后期静态绑定
- 后期静态绑定在框架的运用
- 代码优化思路
- Closure(闭包)
- 巧用PHP内置方法
- 数组操作的奇技淫巧
- 设计模式
- 单例模式(Singleton Pattern)
- 工厂模式(Factor Pattern)
- 建造者模式(Builder Pattern)
- 原型模式(Prototype Pattern)
- 适配器模式(Adapter Pattern)
- 装饰器模式(Decorator Pattern)
- 代理模式(Proxy Pattern)
- 外观模式(Facade Pattern)
- 桥接模式(Bridge Pattern)
- 组合模式(Composite Pattern)
- 享元模式 (Flyweight Pattern)
- 策略模式 ( Strategy Pattern )
- 模板模式 (Template Pattern)
- 观察者模式 (observer Pattern)
- 迭代模式(Iterator Pattern)
- 责任链模式(Chain of Responsibility Pattern)
- 命令模式 (Command Pattern)
- 备忘录模式(Memento Pattern)
- 状态模式 (State Pattern)
- 访问者模式(Visitor Pattern)
- 中介者模式(Mediator Pattern)
- 解释器模式(Interpreter Pattern)
- 数据映射模式(Data Mapper Pattern)
- 注册树模式(Registry Pattern)
- 空对象模式(Null Object Pattern)
- 搜索引擎
- Elasticsearch
- 安装
- 入门
- 实践
- 集群
- 查询
- API
- 接口调用
- cURL
- Guzzle
- RPC
- yar
- session
- 概念
- 客户端实现形式
- cookie与session的区别
- Cookies的安全性
- JWT
- 组成
- 入门
- 应用
- 知识点
- 常见
- $_SERVER
- php的引用
- 第六章 技术栈扩展
- 使用第三方静态资源服务
- 七牛对象存储实战
- 七牛对象存储之客户端上传
- aliyunOSS服务端文件上传
- aliyunOSS客户端文件上传
- 第三方支付
- 微信支付
- 支付宝支付
- SEO排名影响因素
- PHP架构师之路
- CTO职能
- web宏观分析
- 常见的企业软件系统
- 负载的优化思路
- 从容应对负载并发的前期准备
- 第七章 网络安全
- XSS
- CSRF
- DDoS
- SQL注入
- 停用js
- 文件上传
- 点击劫持
- APT
- 会话劫持
- 第八章 运维
- devops
- devops简介
- 常用工具
- 搭建运行环境
- Centos7 lnmp环境搭建
- ubuntu lnmp环境搭建
- Apache多站点配置
- docker
- 轻松使用和理解docker
- lnamp产品级环境搭建
- lnamp产品级环境搭建【第二版】
- 基于 Docker 容器的沙盒化评测系统
- vagrant
- vagrant入门
- vagrant之Vagrantfile
- vagrant之集成jenkins
- homestead
- gitlab
- gitlab简介
- webhook
- ssh堡垒机
- 第九章 测试
- 压力测试
- 单元测试
- 第十章 团队协作
- 软件开发模式
- 边做边改模型
- 瀑布模型
- 迭代模型
- 快速原型模型
- 增量模型
- 螺旋模型
- 敏捷软件开发
- 演化模型
- 喷泉模型
- 智能模型
- 混合模型
- 模型对比
- TDD
- git
- git_入门
- git_使用
- git_进阶
- git workflow
- git_高级
- git_小技巧
- okr工作法
- API接口文档管理系统
- 敏捷协作工具
- 第十一章 技术灯塔
- github项目
- 社区好货
- 纸质书
- 第十二章 代码之外
- 面试官的角度看面试
- 程序员的壮年思考