# Node
任何时候你启动一个弹性搜索的实例,你就启动一个节点。 连接节点的集合称为[cluster](https://www.elastic.co/guide/en/elasticsearch/reference/5.3/modules-cluster.html "Cluster")(超连接)。 如果您正在运行es的单个节点,那么您有一个节点的集群。
默认情况下,集群中的每个节点都可以处理[HTTP](https://www.elastic.co/guide/en/elasticsearch/reference/5.3/modules-http.html "HTTP")和[Transport](https://www.elastic.co/guide/en/elasticsearch/reference/5.3/modules-transport.html "Transport") 。 传输层只用于节点和[Java `TransportClient`](https://www.elastic.co/guide/en/elasticsearch/client/java-api/5.3/transport-client.html)之间的通信; HTTP层仅由外部REST客户端使用。
所有节点都知道集群中的所有其他节点,并将客户端请求转发到适当的节点。 除此之外,每个节点都有一个或多个目的:
Master-eligible node
一个节点的node.master设置为true(默认),这使得它有资格被选为主节点(超连接),它控制集群。
Data node
node.data设置为true(默认)的节点。 数据节点保存数据并执行数据相关操作,Eg: CRUD,搜索和聚合。
Ingest node
node.ingest设置为true(默认)的节点。 获取节点能够将 [ingest pipeline](https://www.elastic.co/guide/en/elasticsearch/reference/5.3/pipeline.html "Pipeline Definition") 应用于文档,以便在索引之前变换和丰富文档。 使用沉重的请求负载,使用专门的请求节点并将主节点和数据节点标记为node.ingest:false是有意义的。
Tribe node
通过tribe*设置配置的族节点是一种特殊类型的协调节点,可以连接到多个集群,并在所有连接的集群中执行搜索和其他操作。
默认情况下,节点是主节点和数据节点,加上它可以通过请求管道预处理文档。 这对于小型集群来说非常方便,但是随着集群的发展,考虑将独立主节点与独立数据节点分开是很重要的。
协调Node
搜索请求或批量索引请求的可能涉及保存在不同数据节点上的数据。 Eg,搜索请求在由接收客户端请求的节点(协调节点)协调的两个阶段中执行。在分散阶段,协调节点将请求转发到保存数据的数据节点。 每个数据节点在本地执行请求,并将其结果返回给协调节点。 在收集阶段,协调节点将每个数据节点的结果减少为单个全局结果集。每个节点都是隐式协调节点。 这意味着将所有三个node.master,node.data和node.ingest设置为false的节点将仅作为协调节点,不能禁用。 因此,这样一个节点需要有足够的内存和CPU才能处理收集阶段。
Master-eligible node
主节点负责轻量级的集群范围的操作,Eg创建或删除索引,跟踪哪些节点是集群的一部分,以及决定哪些分片分配给哪些节点。 群集健康对于拥有稳定的主节点很重要。任何主节点(默认情况下的所有节点)可以通过选举过程被选为成为主节点([master election process](https://www.elastic.co/guide/en/elasticsearch/reference/5.3/modules-discovery-zen.html "Zen Discovery"))。
!!! 主节点必须具有对数据/目录的访问(就像数据节点一样),因为节点重新启动之间的集群状态是持久存在的。
索引和搜索数据是CPU,内存和I / O密集型工作,可能会对节点资源造成压力。 为了确保您的主节点稳定而不受压力,在较大的集群中,将独立出主节点与独立出数据节点架构是很nice。尽管主节点也可以作为协调节点,并将搜索和索引请求从客户端路由到数据节点,但最好不要为此目的使用独立主节点。 对于master节点尽可能少的工作,集群的稳定性很重要。(不想半夜 被经理喊起来 说es出问题了 你看看 那时还在和女票么么哒 那就爽了 谨记!!! 么么哒记得关机)
要创建独立的主节点节点,请设置:
node.master: true (1) node.master角色默认启用。
node.data: false (2) 禁用node.data角色(默认启用)。
node.ingest: false (3) 禁用node.ingest角色(默认情况下启用)。
为了防止数据丢失,至关重要的是配置discovery.zen.minimum_master_nodes设置(默认为1),以便每个符合主要条件的节点都知道为了形成集群而必须可见的最少数量的主节点。假设你有一个由两个主节点组成的集群。网络故障会破坏这两个节点之间的通信。每个节点都看到一个主要合格的节点...本身。将minimum_master_nodes设置为默认值为1,这足以形成集群。每个节点选择自己作为新的主人(认为另一个符合资格的节点已经死亡),结果是两个群集或一个裂脑(裂脑最痛苦了 最开始耍es 这里坑了我一下 )。这两个节点永远不会重新加入,直到重新启动一个节点。已经写入重新启动的节点的任何数据都将丢失。我们可以想象一下,您有一个具有三个主节点的节点,而minimum_master_nodes设置为2.如果一个网络分裂将一个节点与其他两个节点分离,则具有一个节点的一侧无法看到足够的主节点,并且将意识到不能选择自己作为主人。具有两个节点的一侧将选择一个新的主控(如果需要)并继续正常工作。一旦解决了网络拆分,单个节点将重新加入集群,并再次开始投放请求。
此设置应设置为合格的主节点的法定数量:
(master_eligible_nodes / 2) + 1
换句话说,如果有三个主节点,则最小主节点应设置为(3/2)+ 1或2:(默认是1)
也可以使用集群动态设置API在实时集群上动态更改此设置:
PUT _cluster/settings
{
"transient": {
"discovery.zen.minimum_master_nodes": 2
}
}
注解:在es集群节点之间分割主节点和数据节点的优点是,您只能拥有三个主节点节点,并将minimum_master_nodes设置为2.您无需更改此设置,无论添加到集群中的独立的数据节点数量多少。
Data nodes
数据节点保存包含已编制索引的文档的分片。 数据节点处理与CRUD,搜索和聚合相关的数据相关操作。 这些操作是I / O,内存和CPU密集型。 如果监视这些资源并重新加载更多的数据节点,这是非常重要的。拥有独立数据节点的主要优点是主控和数据角色的分离。
要创建独立数据节点,请设置:
node.master: false 禁用node.master角色(默认启用)。
node.data: true node.data角色默认启用。
node.ingest: false 禁用node.ingest角色(默认情况下启用)。
Ingest nodes
获取节点可以执行由一个或多个请求处理组成的预处理数据流。 根据请求处理器执行的操作类型和所需的资源,具有专门的请求节点是有意义的,只能执行此特定任务。
要创建一个专门的Ingest nodes,请设置:
node.master: false 禁用node.master角色(默认启用)。
node.data: false 禁用node.data角色(默认启用)。
node.ingest: true node.ingest角色默认启用。
search.remote.connect: false 禁用跨群集搜索(默认情况下启用)。
协调一个node
如果您独立了能够处理主要职责,掌握数据和预处理文档的能力,那么您将留下只能路由请求的协调节点,处理搜索减少阶段并分发批量索引。 基本上,仅协调节点表现为智能负载均衡器。仅协调节点可以通过从数据和主节点节点卸载协调节点角色来受益于大型集群。 他们加入集群并接收完整的集群状态,就像每个其他节点一样,它们使用[cluster state](https://www.elastic.co/guide/en/elasticsearch/reference/5.3/cluster-state.html "Cluster State")将请求直接路由到适当的位置。将多个仅协调的节点添加到群集可能会增加整个群集的负担,因为选定的主节点必须等待每个节点的群集状态更新的确认!
要创建一个专用的协调节点,请设置:
node.master: false 禁用node.master角色(默认启用)。
node.data: false 禁用node.data角色(默认启用)。
node.ingest: false 禁用node.ingest角色(默认情况下启用)。
search.remote.connect: false 禁用跨群集搜索(默认情况下启用)。
path.data
每个数据和主资源节点都需要访问数据目录,其中将存储分片和索引和集群元数据。 path.data默认为$ ES_HOME / data,但可以在elasticsearch.yml配置文件中配置绝对路径或相对于$ ES_HOME的路径,如下所示:
path.data: /var/elasticsearch/data
类似所有节点设置一样,它也可以在启动命令行中指定为:
./bin/elasticsearch -Epath.data=/var/elasticsearch/data
当使用.zip或.tar.gz发行版时,应该将path.data设置配置为在Elasticsearch主目录之外找到数据目录,以便删除主目录而不删除数据! RPM和Debian发行版已经为您做了这个。
node.max_local_storage_nodesedit
数据路径可以由多个节点共享,即使是来自不同群集的节点。 这对于在开发机器上测试故障切换和不同配置非常有用。 但是,在生产中,建议每个服务器只运行一个弹性节点。
默认情况下,Elasticsearch配置为防止多个节点共享相同的数据路径。 要允许多个节点(例如,在您的开发机器上),请使用设置node.max_local_storage_nodes并将其设置为大于1的正整数。
谨记 从同一数据目录运行不同的节点类型(即主节点,数据)。 这可能导致意外的数据丢失。
其他节点设置
更多的节点设置可以在[Modules](https://www.elastic.co/guide/en/elasticsearch/reference/5.3/modules.html "Modules")中找到。 特别要注意的是[cluster.name](http://cluster.name),[node.name](http://node.name)和网络设置。
- Getting Started(入门指南)
- Basic Concepts(基础概念)
- Installation(安装)
- Exploring Your Cluster(探索集群)
- Cluster Health(集群健康)
- List All Indices(列出所有索引)
- Create an Index(创建索引)
- Index and Query a Document(索引和查询文档)
- Delete an Index(删除索引)
- Modifying Your Data(修改数据)
- Updating Documents(更新文档)
- Deleting Documents(删除文档)
- Batch Processing(批处理)
- Exploring Your Data(探索数据)
- The Search API(搜索 API)
- Introducing the Query Language(介绍查询语言)
- Executing Searches(执行查询)
- Executing Filters(执行过滤)
- Executing Aggregations(执行聚合)
- Conclusion(总结)
- Setup Elasticsearch(设置)
- Installing Elasticsearch(安装)
- zip 或 tar.gz 安装
- Debian软件包安装Elasticsearch
- 用RPM安装Elasticsearch
- Windows 环境下安装ES
- Docker 方式安装
- 配置Elasticsearch
- 重要Elasticsearch配置
- 安全配置
- 启动前检查
- 堆大小检查
- 文件描述符检查
- 内存锁定检查
- 最大线程数检查
- 最大虚拟内存检查
- 最大map数检查
- JVM Client模式检查
- 串行收集使用检查
- 系统调用过滤检查
- OnError与OnOutOfMemoryError检查
- G1GC检查
- 重要的系统配置
- 系统设置
- 在jvm.options中设置JVM堆大小
- 禁用swapping
- 文件描述符
- 虚拟内存
- 线程数
- 升级Elasticsearch
- Elasticsearch停机
- 重大改变
- 在5.3 重大改变
- 在5.2 重大改变
- Shadow Replicas已被弃用
- 在5.1 重大改变
- 在5.0 重大改变
- 搜索和查询DSL改变
- 映射改变
- 过滤器改变
- Suggester变化
- 索引API改变
- 文档API改变
- 设置的改变
- 分配改变
- HTTP改变
- REST API改变
- CAT API改变
- Java API改变
- Packaging
- Plugin改变
- 文件系统相关改变
- 磁盘上数据的路径
- 聚合改变
- 脚本相关改变
- API 规范
- Multiple Indices(多个索引)
- Date math support in index names(索引名称对 Date 和 Math 的支持)
- 常见选项
- URL-based access control(基于 URL 的访问控制)
- Document APIS
- Index API
- Get API
- Update API
- 通过查询 API 更新
- 多个 GET API
- Bulk API
- Reading and Writing documents(读写文档)
- Delete API
- Delete By Query API
- Reindex API
- Term Vectors
- Multi termvectors API
- ?refresh
- Search APIs
- Search
- URI Search
- Request Body Search
- Query
- From / Size
- Sort
- Source filtering
- Fields
- Script Fields
- Doc value Fields
- Post filter
- Highlighting
- Rescoring
- Search Type
- Scroll
- Preference
- Explain
- Version
- Index Boost
- min_score
- Named Queries
- Inner hits
- Search After
- Field Collapsing 字段折叠
- Search 模板
- Multi Search 模板
- Search Shards API
- Suggesters
- Completion Suggester
- Context Suggester
- Phrase Suggester
- Term suggester
- Multi Search API
- Count API
- Validate API
- Explain API
- Profile API
- Profiling Queries
- Profiling Aggregations
- Profiling Considerations
- Aggregations
- Metric Aggregations
- 值计数聚合(Value Count Aggregation)
- 地理边界聚合
- 地理重心聚合
- 基数聚合
- 平均值聚合
- 扩展统计聚合
- 最大值聚合
- 最小值聚合
- Bucket Aggregations
- Children Aggregation
- Date Histogram Aggregation
- Date Range Aggregation
- Diversified Sampler Aggregation
- Filter Aggregation(过滤器聚合)
- Filters Aggregation
- Geo Distance Aggregation(地理距离聚合)
- GeoHash grid Aggregation(GeoHash网格聚合)
- Global Aggregation(全局聚合)
- Histogram Aggregation
- IP Range Aggregation(IP范围聚合)
- Missing Aggregation
- Nested Aggregation(嵌套聚合)
- Range Aggregation(范围聚合)
- Reverse nested Aggregation
- Sampler Aggregation
- Significant Terms Aggregation
- 邻接矩阵聚合
- Pipeline Aggregations
- Avg Bucket Aggregation
- Derivative Aggregation(导数聚合)
- Max Bucket Aggregation
- Min Bucket Aggregation
- Sum Bucket Aggregation
- Stats Bucket Aggregation
- Extended Stats Bucket Aggregation(扩展信息桶聚合)
- Percentiles Bucket Aggregation(百分数桶聚合)
- Cumulative Sum Aggregation(累积汇总聚合)
- Bucket Script Aggregation(桶脚本聚合)
- Bucket Selector Aggregation(桶选择器聚合)
- Serial Differencing Aggregation(串行差异聚合)
- Matrix Aggregations
- Matrix Stats
- Matrix Stats(矩阵统计)
- Caching heavy aggregations(缓存频繁聚合)
- Returning only aggregation results(仅返回需要聚合的结果)
- Aggregation Metadata(聚合元数据)
- Returning the type of the aggregation(返回聚合的类型)
- 索引 API
- Create Index /创建索引
- Delete Index /删除索引
- Get Index /获取索引
- Indices Exists /索引存在
- Open / Close Index API /启动关闭索引
- Shrink Index /缩小索引
- Rollover Index/滚动索引
- Put Mapping /提交映射
- Get Mapping /获取映射
- Get Field Mapping /获取字段映射
- 卷影副本索引
- 依赖卷影副本的节点级设置
- 索引统计信息
- 索引段
- 索引恢复
- 索引分片存储
- 清理缓存
- 刷新
- 同步刷新
- 重新加载
- 强制合并
- cat APIs
- cat aliases
- cat allocation
- cat count
- cat fielddata
- cat health
- cat indices
- cat master
- cat nodeattrs
- cat nodes
- cat pending tasks
- cat plugins
- cat recovery
- cat repositories
- cat thread pool
- cat shards
- cat segments
- cat snapshots
- 集群 API
- Cluster Allocation Explain API
- Cluster Health
- Cluster Reroute
- Cluster State
- Cluster Stats
- Cluster Update Settings
- Nodes hot_threads
- Nodes Info
- Nodes Stats
- Pending cluster tasks
- Task Management API
- 查询 DSL
- 查询和过滤上下文
- Match ALL 查询
- 全文搜索
- 匹配查询
- 短语匹配查询
- 短语前缀匹配查询
- 多字段查询
- 常用术语查询
- 查询语句查询
- 简单查询语句
- 复合查询家族
- Constant Score 查询
- Bool 查询
- Dis Max 查询
- Function Score 查询
- Boosting 查询
- Indices 查询
- Join 查询
- Has Child Query
- Has Parent Query
- Nested Query(嵌套查询)
- Parent Id Query
- 术语查询
- Exists Query(非空值查询)
- Fuzzy Query(模糊查询)
- Ids Query(ID 查询)
- Prefix Query(前缀查询)
- Range Query(范围查询)
- Regexp Query(正则表达式查询)
- Term Query(项查询)
- Terms Query(多项查询)
- Type Query(类型查询)
- Wildcard Query(通配符查询)
- 地理位置查询
- GeoShape Query(地理形状查询)
- Geo Bounding Box Query(地理边框查询)
- Geo Distance Query(地理距离查询)
- Geo Distance Range Query(地理距离范围查询)
- Geo Polygon Query(地理多边形查询)
- Span 查询
- Span Term 查询
- Span Multi Term 查询
- Span First 查询
- Span Near 查询
- Span Or 查询
- Span Not 查询
- Span Containing 查询
- Span Within 查询
- Span Field Masking 查询
- Specialized queries(专业查询)
- Mapping(映射)
- 字段类型
- Array
- Binary
- Range
- Boolean
- Date
- Geo-point datatype
- String
- Text
- Token数
- 渗滤型
- KeyWord
- Nested
- Object
- Numeric
- Meta-Fields(元字段)
- _all field
- _field_names field
- _id field
- _index field
- _meta field
- _parent field
- _routing field
- _source field
- _type field
- _uid field
- Mapping parameters(映射参数)
- analyzer(分析器)
- normalizer(归一化)
- boost(提升)
- Coerce(强制类型转换)
- copy_to(合并参数)
- doc_values(文档值)
- dynamic(动态设置)
- enabled(开启字段)
- fielddata(字段数据)
- format (日期格式)
- ignore_above(忽略超越限制的字段)
- ignore_malformed(忽略格式不对的数据)
- include_in_all(_all 查询包含字段)
- index_options(索引设置)
- index (索引)
- fields(字段)
- Norms (标准信息)
- null_value(空值)
- position_increment_gap(短语位置间隙)
- properties (属性)
- search_analyzer (搜索分析器)
- similarity (匹配方法)
- store(存储)
- Term_vectors(词根信息)
- Dynamic Mapping(动态映射)
- default mapping(mapping中的_default_)
- Dynamic field mapping(动态字段映射)
- Dynamic templates(动态模板)
- Override default template(覆盖默认模板)
- Mapping(映射)
- Analysis
- Tokenizers(分词器)
- Standard Tokenizer(标准分词器)
- Letter Tokenizer
- Lowercase Tokenizer (小写分词器)
- Whitespace Analyzer
- 停止分析器
- UAX URL Email Tokenizer
- Classic Tokenizer
- Thai Tokenizer(泰语分词器)
- NGram Tokenizer
- Keyword Analyzer
- Path Hierarchy Tokenizer(路径层次分词器)
- Pattern Tokenizer
- Token Filters(词元过滤器)
- Apostrophe Token Filter(撇号/单引号过滤器)
- ASCII Folding Token Filter(ASCII Folding 词元过滤器)
- CJK Bigram Token Filter(CJK Bigram词元过滤器)
- CJK Width Token Filter(CJK宽度过滤器)
- Classic Token Filter(经典过滤器)
- Common Grams Token Filter(近义词词元过滤器)
- Compound Word Token Filter(复合词过滤器)
- Decimal Digit Token Filter(十进制数字过滤器)
- Delimited Payload Token Filter(Delimited Payload词元分析器)
- Edge NGram Token Filter(Edge NGram 词元过滤器)
- Elision Token Filter(Elision词元过滤器)
- Fingerprint Token Filter(指纹过滤器)
- Flatten Graph Token Filter(Flatten Graph 词元过滤器)
- Hunspell Token Filter(Hunspell 词元过滤器)
- Keep Types Token Filter(保留指定类型过滤器)
- Keep Words Token Filter(保留字过滤器)
- Keyword Marker Token Filter(Keyword Marker 词元过滤器)
- Keyword Repeat Token Filter(Keyword Repeat 词元过滤器)
- KStem Token Filter(KStem 词元过滤器)
- Length Token Filter(长度词元过滤器)
- Limit Token Count Token Filter(限制词元数量过滤器)
- Lowercase Token Filter(Lowercase 词元过滤器)
- Minhash Token Filter(Minhash过滤器)
- NGram Token Filter(NGram词元过滤器)
- Normalization Token Filter(标准化词元过滤器)
- Pattern Capture Token Filter(模式匹配词元过滤器)
- Pattern Replace Token Filter(模式替换词元过滤器)
- Phonetic Token Filter(Phonetic 词元过滤器)
- Porter Stem Token Filter(Porter Stem 词元过滤器)
- Reverse Token Filteredit(反向词元过滤器)
- Shingle Token Filter(Shingle 词元过滤器)
- Snowball Token Filter(Snowball 词元过滤器)
- Standard Token Filters(标准词元过滤器)
- Stemmer Override Token Filter(Stemmer Override 词元过滤器)
- Stemmer Token Filter(Stemmer 词元过滤器)
- Stop Token Filter(Stop 词元过滤器)
- Synonym Graph Token Filter(Synonym Graph 词元过滤器)
- Synonym Token Filter(Synonym 词元过滤器)
- Trim Token Filter(Trim词元过滤器)
- Truncate Token Filter(截断词元过滤器)
- Unique Token Filter(唯一词元过滤器)
- Uppercase Token Filter(Uppercase词元过滤器)
- Word Delimiter Token Filter(Word Delimiter 词元过滤器)
- Character Filters(字符过滤器)
- md Strip Character Filter
- Mapping Character Filter
- Pattern Replace Character Filter
- Anatomy of an analyzer(分析器的分析)
- Testing analyzers(测试分析器)
- Analyzers(分析器)
- Configuring built-in analyzers(配置内置分析器)
- Standard Analyzer(标准分析器)
- Simple Analyzer(简单分析器)
- 空白分析器
- Stop Analyzer
- 指纹分析器
- 模式分析器
- 自定义分析器
- 语言分析器
- 模块
- Indices(索引)
- Circuit breakers(熔断器)
- Fielddata cache(列数据缓存)
- indexing buffer(索引写入缓冲)
- indices Recovery(索引恢复)
- NetWork Setting(网络配置)
- Node Query Cache(节点查询缓存)
- Shard request cache(分片请求缓存)
- 脚本
- Groovy 脚本语言
- Painless 脚本语言
- Painless 语法
- Painless 调试
- Lucene表达式语言
- 原生(Java)脚本
- 高级文本评分脚本
- 快照和还原
- 线程池
- 传输
- HTTP
- Tribe Node (部落节点)
- 跨集群搜索
- Cluster(集群)
- Disk-based Shard Allocation ( 基于磁盘的分片分配 )
- Shard Allocation Awareness ( 分片分配意识 )
- 群集级别分片分配
- Node
- 插件
- Index Modules(索引模块)
- Analysis(分析)
- 索引分片分配
- 分片分配过滤
- 节点丢失时的延迟分配
- 索引恢复的优先级
- 每个节点的总分片数
- Mapper(映射)
- Merge(合并)
- Similarity module(相似模块)
- Slow log(慢日志)
- Store
- 预加载数据到文件系统缓存
- Translog(事务日志)
- Ingest Node(预处理节点)
- Pipeline Definition(管道定义)
- Ingest APIs
- Put Pipeline API
- Get Pipeline API
- Delete Pipeline API
- Simulate Pipeline API(模拟管道 API)
- Accessing Data in Pipelines(访问管道中的数据)
- Handling Failures in Pipelines(处理管道中的故障)
- Processors(处理器)
- Append Processor(追加处理器)
- Convert Processor(转换处理器)
- Date Processor(日期处理器)
- Date Index Name Processor(日期索引名称处理器)
- Fail Processor(故障处理器)
- Foreach Processor(循环处理器)
- Grok Processor(Grok 处理器)
- Gsub Processor(Gsub 处理器)
- Join Processor(连接处理器)
- JSON Processor(JSON 处理器)
- KV Processor(KV 处理器)
- Lowercase Processor(小写处理器)
- Remove Processor(删除处理器)
- Rename Processor(重命名处理器)
- Script Processor(脚本处理器)
- Set Processor(设置处理器)
- Split Processor(拆分处理器)
- Sort Processor(排序处理器)
- Trim Processor(修剪处理器)
- Uppercase Processor(大写处理器)
- Dot Expander Processor(点扩展器处理器)
- How to(操作方式)
- 一些建议
- Recipes(诀窍)
- 索引速率调优
- 查询优化
- 磁盘使用调优
- Testing(测试)
- Java Testing Framework(测试框架)
- ( why randomized testing ) 为什么随机测试?
- Using the elasticsearch test classes ( 使用 elasticsearch 测试类 )
- unit tests(单元测试)
- integreation test(集成测试)
- Randomized testing(随机测试)
- Assertions()
- Glossary of terms (词汇表)
- Release Notes(版本说明)
- 5.3.0 版本说明
- 5.2.2 Release Notes
- 5.2.1 Release Notes
- 5.2.0 Release Notes
- 5.1.2 Release Notes
- 5.1.1 Release Notes
- 5.1.0 Release Notes
- 5.0.1 Release Notes