### 导航 - [索引](../genindex.xhtml "总目录") - [模块](../py-modindex.xhtml "Python 模块索引") | - [下一页](keyword.xhtml "keyword --- 检验Python关键字") | - [上一页](symbol.xhtml "symbol --- 与 Python 解析树一起使用的常量") | -  - [Python](https://www.python.org/) » - zh\_CN 3.7.3 [文档](../index.xhtml) » - [Python 标准库](index.xhtml) » - [Python 语言服务](language.xhtml) » - $('.inline-search').show(0); | # [`token`](#module-token "token: Constants representing terminal nodes of the parse tree.") --- 与Python解析树一起使用的常量 **源码：** [Lib/token.py](https://github.com/python/cpython/tree/3.7/Lib/token.py) \[https://github.com/python/cpython/tree/3.7/Lib/token.py\] - - - - - - 此模块提供表示解析树（终端令牌）的叶节点的数值的常量。 请参阅 Python 发行版中的文件 `Grammar/Grammar` ，以获取语言语法上下文中名称的定义。 名称映射到的特定数值可能会在 Python 版本之间更改。 该模块还提供从数字代码到名称和一些函数的映射。 这些函数镜像了 Python C 头文件中的定义。 `token.``tok_name`将此模块中定义的常量的数值映射回名称字符串的字典，允许生成更加人类可读的解析树表示。 `token.``ISTERMINAL`(*x*)对终端标记值返回 true 。 `token.``ISNONTERMINAL`(*x*)对非终端标记值返回true。 `token.``ISEOF`(*x*)如果 *x* 是表示输入结束的标记，则返回true。 标记常量是： `token.``ENDMARKER``token.``NAME``token.``NUMBER``token.``STRING``token.``NEWLINE``token.``INDENT``token.``DEDENT``token.``LPAR``token.``RPAR``token.``LSQB``token.``RSQB``token.``COLON``token.``COMMA``token.``SEMI``token.``PLUS``token.``MINUS``token.``STAR``token.``SLASH``token.``VBAR``token.``AMPER``token.``LESS``token.``GREATER``token.``EQUAL``token.``DOT``token.``PERCENT``token.``LBRACE``token.``RBRACE``token.``EQEQUAL``token.``NOTEQUAL``token.``LESSEQUAL``token.``GREATEREQUAL``token.``TILDE``token.``CIRCUMFLEX``token.``LEFTSHIFT``token.``RIGHTSHIFT``token.``DOUBLESTAR``token.``PLUSEQUAL``token.``MINEQUAL``token.``STAREQUAL``token.``SLASHEQUAL``token.``PERCENTEQUAL``token.``AMPEREQUAL``token.``VBAREQUAL``token.``CIRCUMFLEXEQUAL``token.``LEFTSHIFTEQUAL``token.``RIGHTSHIFTEQUAL``token.``DOUBLESTAREQUAL``token.``DOUBLESLASH``token.``DOUBLESLASHEQUAL``token.``AT``token.``ATEQUAL``token.``RARROW``token.``ELLIPSIS``token.``OP``token.``ERRORTOKEN``token.``N_TOKENS``token.``NT_OFFSET`C 标记生成器不使用以下标记类型值，但 [`tokenize`](tokenize.xhtml#module-tokenize "tokenize: Lexical scanner for Python source code.") 模块需要这些标记类型值。 `token.``COMMENT`标记值用于表示注释。 `token.``NL`标记值用于表示非终止换行符。 [`NEWLINE`](#token.NEWLINE "token.NEWLINE") 标记表示 Python 代码逻辑行的结束；当在多条物理线路上继续执行逻辑代码行时，会生成 `NL` 标记。 `token.``ENCODING`指示用于将源字节解码为文本的编码的标记值。 [`tokenize.tokenize()`](tokenize.xhtml#tokenize.tokenize "tokenize.tokenize") 返回的第一个标记将始终是一个 `ENCODING` 标记。 在 3.5 版更改: 补充 `AWAIT` 和 `ASYNC` 标记。 在 3.7 版更改: 补充 [`COMMENT`](#token.COMMENT "token.COMMENT") 、 [`NL`](#token.NL "token.NL") 和 [`ENCODING`](#token.ENCODING "token.ENCODING") 标记。 在 3.7 版更改: 移除 `AWAIT` 和 `ASYNC` 标记。 "async" 和 "await" 现在被标记为 [`NAME`](#token.NAME "token.NAME") 标记。 ### 导航 - [索引](../genindex.xhtml "总目录") - [模块](../py-modindex.xhtml "Python 模块索引") | - [下一页](keyword.xhtml "keyword --- 检验Python关键字") | - [上一页](symbol.xhtml "symbol --- 与 Python 解析树一起使用的常量") | -  - [Python](https://www.python.org/) » - zh\_CN 3.7.3 [文档](../index.xhtml) » - [Python 标准库](index.xhtml) » - [Python 语言服务](language.xhtml) » - $('.inline-search').show(0); | © [版权所有](../copyright.xhtml) 2001-2019, Python Software Foundation. Python 软件基金会是一个非盈利组织。 [请捐助。](https://www.python.org/psf/donations/) 最后更新于 5月 21, 2019. [发现了问题](../bugs.xhtml)？ 使用[Sphinx](http://sphinx.pocoo.org/)1.8.4 创建。