企业🤖AI智能体构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
# Limit Token Count Token Filter(限制词元数量过滤器) ## 简述 限制每个文档和字段索引的token数。 ## 参数 | 设置 | 描述 | | --- | --- | | `max_token_count` | 每个文档和字段应该索引的token的最大数量。 默认值为`1` | | `consume_all_tokens` | 如果设置为true,尽管已经超过max_token_count设定的值,也会最大限度的处理所有的token。默认为false。 | ## 示例 如下所示: | `index :` `analysis :` `analyzer :` `myAnalyzer :` `type : custom` `tokenizer : standard` `filter : [lowercase, five_token_limit]` `filter :` `five_token_limit :` `type : limit` `max_token_count : ``5` |