# 索引API
`Index API`通过往指定的索引库输入一个JSON文档来添加或更新索引,让文档变得可搜索。以下示例将JSON文档插入到叫 “twitter” 的索引库中,ID 为`1`:
```
PUT twitter/tweet/1
{
"user" : "kimchy",
"post_date" : "2009-11-15T14:12:12",
"message" : "trying out Elasticsearch"
}
```
上面的索引操作结果如下:
```
{
"_shards" : {
"total" : 2,
"failed" : 0,
"successful" : 2
},
"_index" : "twitter",
"_type" : "tweet",
"_id" : "1",
"_version" : 1,
"created" : true,
"result" : created
}
```
`_shards` 头提供了有关索引操作的复制过程的信息。
```
* `total` —— 标识有多少个分片拷贝被执行创建索引操作(包括主分片与副本分片)。
* `successful` —— 标识有多少个分片执行创建索引操作成功。
* `failed` —— 在存在失败的情况下会返回一个操作失败的分片数组列表。
```
在`successful`至少为`1`的情况下创建索引文档操作才会成功。
> 注意
>
> 当创建索引操作成功时,副本的分片有可能还没开始做(默认情况下,只有主分片才是必须的,但是这个行为是可以[修改](#index-wait-for-active-shards))。在这个场景中,`total`将等于基于`number_of_replicas`设置的所有分片数,`successful`将会等于已成功的分片数(主分片+副本分片)。如果没有失败的分片,`failed`将会为`0`。
## 自动创建索引库
如果创建索引文档时索引库不存在,这会自动创建索引库(参见手动[创建索引库](../Indices_APIs/Create_Index.md)API),并且会根据动态类型`mapping`来创建索引库的`type`(参见手动[添加映射](../Indices_APIs/Put_Mapping.md)API)。
`mapping`本身是非常灵活与格式自由的。新的字段或者是对象将会被自动添加到指定类型的`mapping`定义中。查看[映射](../Indices_APIs/Get_Mapping.md)部分以获取有关映射定义的更多信息。
可以通过在所有节点的配置文件中将`action.auto_create_index`设置为`false`来禁用自动创建索引库。可以通过将`index.mapper.dynamic`设置为`false`作为索引设置来禁用自动映射创建。
自动创建所以库可以基于一定规则的黑白名单列表,例如,设置`action.auto_create_index` 为 `+aaa*,-bbb*,+ccc*,-*` ( `+`表示允许,`-`表示不允许)。
## 版本控制
每一个被索引的文档都会给他一个版本号。分配的`version`编号会作为创建索引文档返回结果的一部分。当版本号指定的时候,index API允许[乐观并发控制](http://en.wikipedia.org/wiki/Optimistic_concurrency_control)。这将故意控制文档的版本。一个好的版本控制用户案例是执行事务`读然后修改`。在指定`version`开始读取文档时,同时确保文档不发生变化(读操作在修改操作之后时,推荐设置`perference`为`_primary`)。例如:
```
PUT twitter/tweet/1?version=2
{
"message" : "elasticsearch now has versioning support, double cool!"
}
```
**注意**:版本控制是实时的,不受近实时查询操作的影响。如果没提供版本信息,这个操作的执行将不受到任何版本的检查。
默认情况下,内部版本号从1开始,并且根据每一次的更新、删除操作来递增。可选的是,版本号支持使用外部值(譬如在数据库维护)。要开启此功能,`version_type`需要被设置为`external`。提供的值必须是数字、长整型类型,且大于等于0小于9.2e+18。在使用外部版本控制时,系统检查请求中传递文档的版本号是否大于当前文档的版本号,如果小于等于当前存储的文档版本号会有版本冲突,则会在创建索引文档时返回失败。
> 警告
>
> 外部版本控制支持0是一个有效的版本号。它允许文档的版本在与外部版本控制系统同步时从0开始,而不是1。它的副作用是在版本号为0的文档不能使用[Update-By-Query API](Update_By_Query_API.md)更新以及不能使用[Delete-By-Query API](Delete_By_Query_API.md)删除。
一个好的作用是,只要使用源数据库生成的版本号,在执行异步创建文档索引时不需要维护严格顺序。一个简单的场景是,使用数据库数据更新elasticsearch的索引,因为只有最新版本的数据将被使用,不管index操作是否出于什么原因执行乱序了。
### 版本控制类型
上面介绍过了`internal`与`external`,Elasticsearch在特殊的场景中还支持其它的类型。这是不同版本控制类型的概述.
`internal`
```
只能够在指定的版本与存储文档的版本完全一致时创建文档索引。
```
`external`或`external_gt`
```
如果给定版本严格高于存储的文档的版本或如果没有现有文档,则仅索引文档。给定版本将用作新版本,并与新文档一起存储。提供的版本必须是非负长数字。
```
`external_gte`
```
如果给定版本高于或等于存储的文档的版本或如果没有现有文档,则仅索引文档。给定版本将用作新版本,并与新文档一起存储。提供的版本必须是非负长数字。
```
**注意:**`external_gte`版本类型适用于特殊场景,应谨慎使用。如果使用不正确,可能会导致数据丢失。还有一个选项,`force`已被被弃用,因为它可能导致主分片和副本分片出现不一致。
## 操作类型
index操作还可以接受一个`op_type`参数来强制执行`create`操作,允许`put-if-absent`行为。在使用`create`创建文档索引时,如果文档已存在则会失败。
这是使用`op_type`参数的示例:
```
PUT twitter/tweet/1?op_type=create
{
"user" : "kimchy",
"post_date" : "2009-11-15T14:12:12",
"message" : "trying out Elasticsearch"
}
```
还有种通过uri指定`create`的方式
```
PUT twitter/tweet/1/_create
{
"user" : "kimchy",
"post_date" : "2009-11-15T14:12:12",
"message" : "trying out Elasticsearch"
}
```
## 自动生成ID
可以在不指定 ID 的情况下执行索引操作。在这种情况下,将自动生成`id`。此外,`op_type`将自动设置为`create`。这里是一个例子(注意使用的是**POST**,而不是**PUT**):
```
POST twitter/tweet/
{
"user" : "kimchy",
"post_date" : "2009-11-15T14:12:12",
"message" : "trying out Elasticsearch"
}
```
操作将返回:
```
{
"_shards" : {
"total" : 2,
"failed" : 0,
"successful" : 2
},
"_index" : "twitter",
"_type" : "tweet",
"_id" : "6a8ca01c-7896-48e9-81cc-9f70661fcb32",
"_version" : 1,
"created" : true,
"result": "created"
}
```
## 路由
默认情况下,分片的位置——或路由(routing)——通过使用文档的`id`值的哈希值来控制。对于更明确的控制,基于每个操作直接使用路由参数指定反馈给路由使用的散列函数的值。例如:
```
POST twitter/tweet?routing=kimchy
{
"user" : "kimchy",
"post_date" : "2009-11-15T14:12:12",
"message" : "trying out Elasticsearch"
}
```
在上面的示例中,"tweet" 文档根据提供的路由参数发送到分片:"kimchy" 。
设置显式映射时,可以选择从文档本身提取路由字段值`_routing`字段来指示索引操作。这在文档解析花费额外的(非常小)成本。如果定义`_routing`映射并将其设置为必需,则如果未提供或提取不到路由值,则索引操作将失败。
## 分布式
index操作会根据路由信息(参见上面的路由章节)定向到主分片,并在主分片所在的实际节点上执行。在主分片操作完成后,如果有需要,会分布更新到可用的副本上。
## 等待活动分片
为了提高写入系统的弹性,index操作可以配置为在继续操作之前等待一定数量的活动分片副本。如果所需的活动分片副本数不可用,则写操作必须等待并重试,直到必需的分片副本已启动或发生超时为止。默认情况下,写操作只等待主分片处于活动状态,然后再继续(`wait_for_active_shards=1`)。可以通过设置 `index.write.wait_for_active_shards` 来动态地在索引设置中覆盖此默认值。要更改每个操作的此行为,可以使用 `wait_for_active_shards` 请求参数。
有效值是不大于索引库的所有分片总数的正整数(即`number_of_replicas+1`)。指定负值或者大于分片总数的数字将抛出错误。
例如,假设我们有一个三个节点`A`、`B`和`C`的集群,我们创建一个索引,索引副本数设置为 `3` (会导致有`4`个分片,主分片加3个副本分片)。如果我们尝试索引操作,默认情况下,操作将仅确保每个主分片在继续之前可用。这意味着,在`A`托管主分片时,即使`B`和`C`停机,索引操作仍然将继续,只会有一份数据保存。如果集群有3个活动节点启动,这时每个节点都有一个分片的复制,这时对请求设置 `wait_for_active_shards` 为 `3` (并且所有3个节点都已启动),则索引操作将在继续之前需要 `3` 个活动分片,这是可以执行的。 但如果我们将 `wait_for_active_shards` 设置为 `all` (或者 `4`, 这是相同的),索引操作将不会继续,因为索引中的没有所有的4个分片处于活动状态。该操作将超时,除非在集群中启动新节点以托管分片的第四个副本。
重要的是要注意,这个设置极大地减少了写操作不写入所需数量的分片副本的机会,但是它不能完全消除可能性,因为这种检查在写操作开始之前发生。一旦写操作正在进行,复制仍然可能在任意数量的分片副本上失败,但在主分片上仍然成功。写操作响应的 `_shard` 部分显示复制成功/失败的分片副本的数量。
```
{
"_shards" : {
"total" : 2,
"failed" : 0,
"successful" : 2
}
}
```
## 冲刷
用来控制本次的修改能够被搜索可见。参见:[refresh](refresh.html)。
## Noop Updates
当使用index API更新文档时,即使文档没有更改,也始终创建新版本的文档。如果这不可接受,请使用将 `detect_noop` 设置为 `true` 的`_update` API 。此选项在index API上不可用,因为index api不提取旧源,并且无法将其与新源进行比较。
没有一个强制和快速的规则,当等待更新是不能接受的。它是许多因素的组合,例如数据源发送实际上是 noops 的更新的频率,以及每秒多少查询,elasticsearch 在接收更新时在分片上运行。
## 超时
执行索引操作时分配的主分片可能不可用。这种情况的一些原因可能是主分片当前正在从网关恢复或正在进行重分配。默认情况下,索引操作将在主分片上等待最多`1`分钟,然后失败并响应错误。 `timeout`参数可以用于显式指定等待时间。以下是将其设置为`5`分钟的示例:
```
PUT twitter/tweet/1?timeout=5m
{
"user" : "kimchy",
"post_date" : "2009-11-15T14:12:12",
"message" : "trying out Elasticsearch"
}
```
> my note
>
> 乐观并发控制
> 版本控制类型 version_type
> elasticsearch 路由
> 操作类型 (两种方式)
> 等待活动分片
> Noop Updates
- 入门
- 基本概念
- 安装
- 探索你的集群
- 集群健康
- 列出所有索引库
- 创建一个索引库
- 索引文档创建与查询
- 删除一个索引库
- 修改你的数据
- 更新文档
- 删除文档
- 批量处理
- 探索你的数据
- 搜索API
- 查询语言介绍
- 执行搜索
- 执行过滤
- 执行聚合
- 总结
- Elasticsearch设置
- 安装Elasticsearch
- .zip或.tar.gz文件的安装方式
- Install Elasticsearch with .zip on Windows
- Debian软件包安装方式
- RPM安装方式
- Install Elasticsearch with Windows MSI Installer
- Docker安装方式
- 配置Elasticsearch
- 安全配置
- 日志配置
- 重要的Elasticsearch配置
- 重要的系统配置
- 系统设置
- 在jvm.options中设置JVM堆大小
- 禁用swapping
- 文件描述符
- 虚拟内存
- 线程数
- DNS cache settings
- 启动前检查
- 堆大小检查
- 文件描述符检查
- 内存锁定检查
- 最大线程数检查
- 最大虚拟内存检查
- Max file size check
- 最大map数检查
- JVM Client模式检查
- 串行收集使用检查
- 系统调用过滤检查
- OnError与OnOutOfMemoryError检查
- Early-access check
- G1GC检查
- Elasticsearch停机
- Elasticsearch升级
- 滚动升级
- 全集群重启升级
- 索引重建升级
- Set up X-Pack
- Installing X-Pack
- X-Pack Settings
- Watcher Settings
- Configuring Security
- Breaking changes in 6.0
- X-Pack Breaking Changes
- 重大变化
- 6.0的重大变化
- 聚合变化
- Cat API变化
- 客户端变化
- 集群变化
- 文档API变化
- 索引变化
- 预处理变化
- 映射变化
- Packaging变化
- Percolator变化
- 插件变化
- 索引重建变化
- 信息统计变化
- DSL查询变化
- 设置变化
- 脚本变化
- API约定
- 多索引语法
- 索引库名称的日期运算
- 常用选项
- URL-based访问控制
- 文档APIs
- 读写文档
- 索引接口
- Get接口
- Delete API
- Delete By Query API
- Update API
- Update By Query API
- Multi Get API
- Bulk API
- Reindex API
- Term Vectors
- Multi termvectors API
- ?refresh
- 搜索APIs
- Search
- URI Search
- Request Body Search
- Query
- From / Size
- Sort
- Source filtering
- Fields
- Script Fields
- Doc value Fields
- Post filter
- Highlighting
- Rescoring
- Search Type
- Scroll
- Preference
- Explain
- Version
- Index Boost
- min_score
- Named Queries
- Inner hits
- Field Collapsing
- Search After
- Search Template
- Multi Search Template
- Search Shards API
- Suggesters
- Term suggester
- Phrase Suggester
- Completion Suggester
- Context Suggester
- Returning the type of the suggester
- Multi Search API
- Count API
- Validate API
- Explain API
- Profile API
- Profiling Queries
- Profiling Aggregations
- Profiling Considerations
- Field Capabilities API
- Aggregations
- Metrics Aggregations
- 平均值聚合
- 值计数聚合(Value Count Aggregation)
- Cardinality Aggregation
- Extended Stats Aggregation
- 地理边界聚合
- 地理重心聚合
- Max Aggregation
- Min Aggregation
- Percentiles Aggregation
- Percentile Ranks Aggregation
- Scripted Metric Aggregation
- Stats Aggregation
- Sum Aggregation
- Top hits Aggregation
- Value Count Aggregation
- Bucket Aggregations
- 邻接矩阵聚合
- Children Aggregation
- Date Histogram Aggregation
- Date Range Aggregation
- Significant Terms Aggregation
- Filter Aggregation(过滤器聚合)
- Filters Aggregation
- Geo Distance Aggregation(地理距离聚合) 转至元数据结尾
- GeoHash grid Aggregation(GeoHash网格聚合)
- Global Aggregation(全局聚合) 转至元数据结尾
- Histogram Aggregation
- IP Range Aggregation(IP范围聚合)
- Missing Aggregation
- Nested Aggregation(嵌套聚合)
- Range Aggregation(范围聚合)
- Reverse nested Aggregation
- Sampler Aggregation
- Significant Terms Aggregation
- Significant Text Aggregation
- Terms Aggregation
- Pipeline Aggregations
- Avg Bucket Aggregation
- Derivative Aggregation(导数聚合)
- Max Bucket Aggregation
- Min Bucket Aggregation
- Sum Bucket Aggregation
- Stats Bucket Aggregation
- Extended Stats Bucket Aggregation(扩展信息桶聚合)
- Percentiles Bucket Aggregation(百分数桶聚合)
- Moving Average Aggregation
- Cumulative Sum Aggregation(累积汇总聚合)
- Bucket Script Aggregation(桶脚本聚合)
- Bucket Selector Aggregation(桶选择器聚合)
- Serial Differencing Aggregation(串行差异聚合)
- Matrix Aggregations
- Matrix Stats
- Caching heavy aggregations
- Returning only aggregation results
- Aggregation Metadata
- Returning the type of the aggregation
- Indices APIs
- Create Index /创建索引
- Delete Index /删除索引
- Get Index /获取索引
- Indices Exists /索引存在
- Open / Close Index API /启动关闭索引
- Shrink Index /缩小索引
- Rollover Index/滚动索引
- Put Mapping /提交映射
- Get Mapping /获取映射
- Get Field Mapping /获取字段映射
- Types Exists
- Index Aliases
- Update Indices Settings
- Get Settings
- Analyze
- Explain Analyze
- Index Templates
- 索引统计信息
- 索引段
- 索引恢复
- 索引分片存储
- 清理缓存
- 刷新
- 同步刷新
- 重新加载
- 强制合并
- Cat APIs
- cat aliases
- cat allocation
- cat count
- cat fielddata
- cat health
- cat indices
- cat master
- cat nodeattrs
- cat nodes
- cat pending tasks
- cat plugins
- cat recovery
- cat repositories
- cat segments
- cat shards
- cat thread pool
- cat snapshots
- cat templates
- Cluster APIs
- 集群健康
- 集群状态
- 集群统计
- 挂起的集群任务
- 集群重新路由
- Cluster Update Settings
- Nodes Stats
- Nodes Info
- Nodes Feature Usage
- Remote Cluster Info
- Task Management API
- Nodes hot_threads
- Cluster Allocation Explain API
- Query DSL
- 查询context与过滤context
- Match All Query
- 全文搜索
- 匹配查询
- 短语匹配查询
- 短语前缀匹配查询
- 多字段查询
- 常用术语查询
- 查询语句查询
- 简单查询语句
- Term level queries
- Term Query
- Terms Query
- Range Query
- Exists Query
- Prefix Query
- Wildcard Query
- Regexp Query
- Fuzzy Query
- Type Query
- Ids Query
- 复合查询
- Constant Score 查询
- Bool 查询
- Dis Max 查询
- Function Score 查询
- Boosting 查询
- Joining queries
- Has Child Query
- Has Parent Query
- Nested Query(嵌套查询)
- Parent Id Query
- Geo queries
- GeoShape Query(地理形状查询)
- Geo Bounding Box Query(地理边框查询)
- Geo Distance Query(地理距离查询)
- Geo Polygon Query(地理多边形查询)
- Specialized queries
- More Like This Query
- Script Query
- Percolate Query
- Span queries
- Span Term 查询
- Span Multi Term 查询
- Span First 查询
- Span Near 查询
- Span Or 查询
- Span Not 查询
- Span Containing 查询
- Span Within 查询
- Span Field Masking 查询 转至元数据结尾
- Minimum Should Match
- Multi Term Query Rewrite
- Mapping
- Removal of mapping types
- Field datatypes
- Array
- Binary
- Range
- Boolean
- Date
- Geo-point datatype
- Geo-Shape datatype
- IP datatype
- Keyword datatype
- Nested datatype
- Numeric datatypes
- Object datatype
- Text
- Token数
- 渗滤型
- join datatype
- Meta-Fields
- _all field
- _field_names field
- _id field
- _index field
- _meta field
- _routing field
- _source field
- _type field
- _uid field
- Mapping parameters
- analyzer(分析器)
- normalizer(归一化)
- boost(提升)
- Coerce(强制类型转换)
- copy_to(合并参数)
- doc_values(文档值)
- dynamic(动态设置)
- enabled(开启字段)
- eager_global_ordinals
- fielddata(字段数据)
- format (日期格式)
- ignore_above(忽略超越限制的字段)
- ignore_malformed(忽略格式不对的数据)
- index (索引)
- index_options(索引设置)
- fields(字段)
- Norms (标准信息)
- null_value(空值)
- position_increment_gap(短语位置间隙)
- properties (属性)
- search_analyzer (搜索分析器)
- similarity (匹配方法)
- store(存储)
- Term_vectors(词根信息)
- Dynamic Mapping
- Dynamic field mapping(动态字段映射)
- Dynamic templates(动态模板)
- default mapping(mapping中的_default_)
- Analysis
- Anatomy of an analyzer(分析器的分析)
- Testing analyzers(测试分析器)
- Analyzers(分析器)
- Configuring built-in analyzers(配置内置分析器)
- Standard Analyzer(标准分析器)
- Simple Analyzer(简单分析器)
- 空白分析器
- Stop Analyzer
- Keyword Analyzer
- 模式分析器
- 语言分析器
- 指纹分析器
- 自定义分析器
- Normalizers
- Tokenizers(分词器)
- Standard Tokenizer(标准分词器)
- Letter Tokenizer
- Lowercase Tokenizer (小写分词器)
- Whitespace Analyzer
- UAX URL Email Tokenizer
- Classic Tokenizer
- Thai Tokenizer(泰语分词器)
- NGram Tokenizer
- Edge NGram Tokenizer
- Keyword Analyzer
- Pattern Tokenizer
- Simple Pattern Tokenizer
- Simple Pattern Split Tokenizer
- Path Hierarchy Tokenizer(路径层次分词器)
- Token Filters(词元过滤器)
- Standard Token Filter
- ASCII Folding Token Filter
- Flatten Graph Token Filter
- Length Token Filter
- Lowercase Token Filter
- Uppercase Token Filter
- NGram Token Filter
- Edge NGram Token Filter
- Porter Stem Token Filter
- Shingle Token Filter
- Stop Token Filter
- Word Delimiter Token Filter
- Word Delimiter Graph Token Filter
- Stemmer Token Filter
- Stemmer Override Token Filter
- Keyword Marker Token Filter
- Keyword Repeat Token Filter
- KStem Token Filter
- Snowball Token Filter
- Phonetic Token Filter
- Synonym Token Filter
- Synonym Graph Token Filter
- Compound Word Token Filters
- Reverse Token Filter
- Elision Token Filter
- Truncate Token Filter
- Unique Token Filter
- Pattern Capture Token Filter
- Pattern Replace Token Filter
- Trim Token Filter
- Limit Token Count Token Filter
- Hunspell Token Filter
- Common Grams Token Filter
- Normalization Token Filter
- CJK Width Token Filter
- CJK Bigram Token Filter
- Delimited Payload Token Filter
- Keep Words Token Filter
- Keep Types Token Filter
- Classic Token Filter
- Apostrophe Token Filter
- Decimal Digit Token Filter
- Fingerprint Token Filter
- Minhash Token Filter
- Character Filters(字符过滤器)
- HTML Strip Character Filter
- Mapping Character Filter
- Pattern Replace Character Filter
- 模块
- Cluster
- 集群级路由和碎片分配
- 基于磁盘的分片分配
- 分片分配awareness
- 分片分配过滤
- Miscellaneous cluster settings
- Scripting
- Painless Scripting Language
- Lucene Expressions Language
- Advanced scripts using script engines
- Snapshot And Restore
- Thread Pool
- Index Modules(索引模块)
- 预处理节点
- Pipeline Definition
- Ingest APIs
- Put Pipeline API
- Get Pipeline API
- Delete Pipeline API
- Simulate Pipeline API
- Accessing Data in Pipelines
- Handling Failures in Pipelines
- Processors
- Monitoring Elasticsearch
- X-Pack APIs
- X-Pack Commands
- How To
- Testing(测试)
- Glossary of terms
- Release Notes
- X-Pack Release Notes