💎一站式轻松地调用各大LLM模型接口,支持GPT4、智谱、星火、月之暗面及文生图 广告
# Letter Tokenizer **`letter`**** tokenizer** 遇到非字母时分割文本。对大多数欧洲语言来说,这是一个合理的做法。但是对于一些亚洲语言而言,这些语言的词语并不是用空格分开。 原文链接 :[https://www.elastic.co/guide/en/elasticsearch/reference/5.3/analysis-letter-tokenizer.html](https://www.elastic.co/guide/en/elasticsearch/reference/5.3/analysis-letter-tokenizer.html) 译文链接 :[http://www.apache.wiki/display/Elasticsearch/Letter+Tokenizer](http://www.apache.wiki/display/Elasticsearch/Letter+Tokenizer) 贡献者 : [陈益雷](http://cwiki.apachecn.org/display/~chenyilei),[ApacheCN](http://cwiki.apachecn.org/display/~apachecn),[Apache中文网](http://cwiki.apachecn.org/display/~apachechina) ## **输出示例** | `POST _analyze` `{` `"tokenizer"``: ``"letter"``,` `"text"``: ``"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."` `}` | 上面的句子会生成如下的词元: | `[ The, QUICK, Brown, Foxes, jumped, over, the, lazy, dog, s, bone ]` | ## **配置**  `letter` tokenizer 不支持配置。