企业🤖AI智能体构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
# 8.2. `sgmllib.py` 介绍 HTML 处理分成三步:将 HTML 分解成它的组成片段,对片段进行加工,接着将片段再重新合成 HTML。第一步是通过 `sgmllib.py` 来完成的,它是标准 Python 库的一部分。 理解本章的关键是要知道 HTML 不只是文本,更是结构化文本。这种结构来源于开始与结束标记的或多或少分级序列。通常您并不以这种方式处理 HTML ,而是以_文本方式_ 在一个文本编辑中对其进行处理,或以_可视的方式_ 在一个浏览器中进行浏览或页面编辑工具中进行编辑。`sgmllib.py` 表现出了 HTML 的_结构_。 `sgmllib.py` 包含一个重要的类:`SGMLParser`。`SGMLParser` 将 HTML 分解成有用的片段,比如开始标记和结束标记。在它成功地分解出某个数据为一个有用的片段后,它会根据所发现的数据,调用一个自身内部的方法。为了使用这个分析器,您需要子类化 `SGMLParser` 类,并且覆盖这些方法。这就是当我说它表示了 HTML _结构_ 的意思:HTML 的结构决定了方法调用的次序和传给每个方法的参数。 `SGMLParser` 将 HTML 分析成 8 类数据,然后对每一类调用单独的方法: 开始标记 (Start tag) 是开始一个块的 HTML 标记,像 `&lt;html&gt;`、`&lt;head&gt;`、`&lt;body&gt;` 或 `&lt;pre&gt;` 等,或是一个独一的标记,像 `&lt;br&gt;` 或 `&lt;img&gt;` 等。当它找到一个开始标记 _`tagname`_,`SGMLParser` 将查找名为 `start__`tagname`_` 或 `do__`tagname`_` 的方法。例如,当它找到一个 `&lt;pre&gt;` 标记,它将查找一个 `start_pre` 或 `do_pre` 的方法。如果找到了,`SGMLParser` 会使用这个标记的属性列表来调用这个方法;否则,它用这个标记的名字和属性列表来调用 `unknown_starttag` 方法。 结束标记 (End tag) 是结束一个块的 HTML 标记,像 `&lt;/html&gt;`、`&lt;/head&gt;`、`&lt;/body&gt;` 或 `&lt;/pre&gt;` 等。当找到一个结束标记时,`SGMLParser` 将查找名为 `end__`tagname`_` 的方法。如果找到,`SGMLParser` 调用这个方法,否则它使用标记的名字来调用 `unknown_endtag` 。 字符引用 (Character reference) 用字符的十进制或等同的十六进制来表示的转义字符,像 `&#160;`。当找到,`SGMLParser` 使用十进制或等同的十六进制字符文本来调用 `handle_charref` 。 实体引用 (Entity reference) HTML 实体,像 `&copy;`。当找到,`SGMLParser` 使用 HTML 实体的名字来调用 `handle_entityref` 。 注释 (Comment) HTML 注释,包括在 `&lt;!-- ... --&gt;`之间。当找到,`SGMLParser` 用注释内容来调用 `handle_comment`。 处理指令 (Processing instruction) HTML 处理指令,包括在 `&lt;? ... &gt;` 之间。当找到,`SGMLParser` 用处理指令内容来调用 `handle_pi`。 声明 (Declaration) HTML 声明,如 `DOCTYPE`,包括在 `&lt;! ... &gt;`之间。当找到,`SGMLParser` 用声明内容来调用 `handle_decl`。 文本数据 (Text data) 文本块。不满足其它 7 种类别的任何东西。当找到,`SGMLParser` 用文本来调用 `handle_data`。 > 重要 > Python 2.0 存在一个 bug,即 `SGMLParser` 完全不能识别声明 (`handle_decl` 永远不会调用),这就意味着 `DOCTYPE` 被静静地忽略掉了。这个错误在 Python 2.1 中改正了。 `sgmllib.py` 所附带的一个测试套件举例说明了这一点。您可以运行 `sgmllib.py`,在命令行下传入一个 HTML 文件的名字,然后它会在分析标记和其它元素的同时将它们打印出来。它的实现是通过子类化 `SGMLParser` 类,然后定义 `unknown_starttag`,`unknown_endtag`,`handle_data` 和其它方法来实现的。这些方法简单地打印出它们的参数。 > 提示 > 在 Windows 下的 ActivePython IDE 中,您可以在 “Run script” 对话框中指定命令行参数。用空格将多个参数分开。 ## 例 8.4. `sgmllib.py` 的样例测试 下面是一个片段,来自本书的 HTML 版本的目录,toc.html。当然,您的存储路径可能与我的有所不同。 (如果您还没有下载本书的 HTML 版本,可以从 [http://diveintopython.org/](http://diveintopython.org/) 下载。 ``` c:\python23\lib> type "c:\downloads\diveintopython\html\toc\index.html" <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd"> <html lang="en"> <head> <meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1"> <title>Dive Into Python</title> <link rel="stylesheet" href="diveintopython.css" type="text/css"> ... 略 ... ``` 通过 `sgmllib.py` 的测试套件来运行它,会得到如下的输出结果: ``` c:\python23\lib> python sgmllib.py "c:\downloads\diveintopython\html\toc\index.html" data: '\n\n' start tag: <html lang="en" > data: '\n ' start tag: <head> data: '\n ' start tag: <meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1" > data: '\n \n ' start tag: <title> data: 'Dive Into Python' end tag: </title> data: '\n ' start tag: <link rel="stylesheet" href="diveintopython.css" type="text/css" > data: '\n ' ... 略 ... ``` 下面是本章其它部分的路标: * 子类化 `SGMLParser` 来创建从 HTML 文档中抽取感兴趣的数据的类。 * 子类化 `SGMLParser` 来创建 `BaseHTMLProcessor`,它覆盖了所有8个处理方法,然后使用它们从片段中重建原始的 HTML。 * 子类化 `BaseHTMLProcessor` 来创建 `Dialectizer`,它增加了一些方法,专门用来处理指定的 HTML 标记,然后覆盖了 `handle_data` 方法,提供了用来处理 HTML 标记之间文本块的框架。 * 子类化 `Dialectizer` 来创建定义了文本处理规则的类。这些规则被 `Dialectizer.handle_data` 使用。 * 编写一个测试套件,它可以从 `http://diveintopython.org/` 处抓取一个真正的 web 页面,然后处理它。 继续阅读本章,您还可以学习到有关 `locals`、`globals` 和基于 dictionary 的字符串格式化的内容。