[Xunsearch PHP-SDK](http://www.xunsearch.com) v1.4.8 API 参考文档 # XSTokenizer [All Packages](#)| [方法(函数)](#) | 包 | [XS.tokenizer](#) | |-----|-----| | 继承关系 | interface XSTokenizer | | 子类 | [XSTokenizerFull](#), [XSTokenizerNone](#), [XSTokenizerScws](#), [XSTokenizerSplit](#), [XSTokenizerXlen](#), [XSTokenizerXstep](#) | | 版本 | 1.0.0 | | 源代码 | [sdk/php/lib/XSTokenizer.class.php](https://github.com/hightman/xunsearch/blob/master/sdk/php/lib/XSTokenizer.class.php) | 自定义字段词法分析器接口系统将按照 [getTokens](#) 返回的词汇列表对相应的字段建立索引 ### Public 方法 [隐去继承来的方法](#) | 名称 | 描述 | 定义于 | |-----|-----|-----| | [getTokens()](#) | 执行分词并返回词列表 | XSTokenizer | ### 方法明细 getTokens()方法 <table class="summaryTable"><tr><td colspan="3"><div class="signature2">abstract public array <b>getTokens</b>(string $value, <a href="XSDocument.html">XSDocument</a> $doc=NULL)</div></td></tr><tr><td class="paramNameCol">$value</td> <td class="paramTypeCol">string</td> <td class="paramDescCol">待分词的字段值(UTF-8编码)</td></tr><tr><td class="paramNameCol">$doc</td> <td class="paramTypeCol"><a href="XSDocument.html">XSDocument</a></td> <td class="paramDescCol">当前相关的索引文档</td></tr><tr><td class="paramNameCol">{return}</td> <td class="paramTypeCol">array</td> <td class="paramDescCol">切好的词组成的数组</td></tr></table> **源码:**[sdk/php/lib/XSTokenizer.class.php#L33](https://github.com/hightman/xunsearch/blob/master/sdk/php/lib/XSTokenizer.class.php#L33) (**[显示](#)**) `public function getTokens($value, XSDocument $doc = null);` 执行分词并返回词列表 Copyright © 2008-2011 by [杭州云圣网络科技有限公司](http://www.xunsearch.com) All Rights Reserved.