🔥码云GVP开源项目 12k star Uniapp+ElementUI 功能强大 支持多语言、二开方便! 广告
# ASCII Folding Token Filter(ASCII Folding 词元过滤器) **asciifolding** 类型的词元过滤器,将不在前127个ASCII字符(“基本拉丁文”Unicode块)中的字母,数字和符号Unicode字符转换为ASCII等效项(如果存在)。 例如: | `"index"` `: {` `"analysis"` `: {` `"analyzer"` `: {` `"default"` `: {` `"tokenizer"` `: ``"standard"``,` `"filter"` `: [``"standard"``, ``"asciifolding"``]` `}` `}` `}` `}` | 接受默认为 **false** 的 **preserve_original** 设置,但如果为 **true** ,则将保留原始**token** 并发出 **folded token**。 例如: | `"index"` `: {` `"analysis"` `: {` `"analyzer"` `: {` `"default"` `: {` `"tokenizer"` `: ``"standard"``,` `"filter"` `: [``"standard"``, ``"my_ascii_folding"``]` `}` `},` `"filter"` `: {` `"my_ascii_folding"` `: {` `"type"` `: ``"asciifolding"``,` `"preserve_original"` `: ``true` `}` `}` `}` `}` |