# 8.2. `sgmllib.py` 介绍
HTML 处理分成三步:将 HTML 分解成它的组成片段,对片段进行加工,接着将片段再重新合成 HTML。第一步是通过 `sgmllib.py` 来完成的,它是标准 Python 库的一部分。
理解本章的关键是要知道 HTML 不只是文本,更是结构化文本。这种结构来源于开始与结束标记的或多或少分级序列。通常您并不以这种方式处理 HTML ,而是以_文本方式_ 在一个文本编辑中对其进行处理,或以_可视的方式_ 在一个浏览器中进行浏览或页面编辑工具中进行编辑。`sgmllib.py` 表现出了 HTML 的_结构_。
`sgmllib.py` 包含一个重要的类:`SGMLParser`。`SGMLParser` 将 HTML 分解成有用的片段,比如开始标记和结束标记。在它成功地分解出某个数据为一个有用的片段后,它会根据所发现的数据,调用一个自身内部的方法。为了使用这个分析器,您需要子类化 `SGMLParser` 类,并且覆盖这些方法。这就是当我说它表示了 HTML _结构_ 的意思:HTML 的结构决定了方法调用的次序和传给每个方法的参数。
`SGMLParser` 将 HTML 分析成 8 类数据,然后对每一类调用单独的方法:
开始标记 (Start tag)
是开始一个块的 HTML 标记,像 `<html>`、`<head>`、`<body>` 或 `<pre>` 等,或是一个独一的标记,像 `<br>` 或 `<img>` 等。当它找到一个开始标记 _`tagname`_,`SGMLParser` 将查找名为 `start__`tagname`_` 或 `do__`tagname`_` 的方法。例如,当它找到一个 `<pre>` 标记,它将查找一个 `start_pre` 或 `do_pre` 的方法。如果找到了,`SGMLParser` 会使用这个标记的属性列表来调用这个方法;否则,它用这个标记的名字和属性列表来调用 `unknown_starttag` 方法。
结束标记 (End tag)
是结束一个块的 HTML 标记,像 `</html>`、`</head>`、`</body>` 或 `</pre>` 等。当找到一个结束标记时,`SGMLParser` 将查找名为 `end__`tagname`_` 的方法。如果找到,`SGMLParser` 调用这个方法,否则它使用标记的名字来调用 `unknown_endtag` 。
字符引用 (Character reference)
用字符的十进制或等同的十六进制来表示的转义字符,像 ` `。当找到,`SGMLParser` 使用十进制或等同的十六进制字符文本来调用 `handle_charref` 。
实体引用 (Entity reference)
HTML 实体,像 `©`。当找到,`SGMLParser` 使用 HTML 实体的名字来调用 `handle_entityref` 。
注释 (Comment)
HTML 注释,包括在 `<!-- ... -->`之间。当找到,`SGMLParser` 用注释内容来调用 `handle_comment`。
处理指令 (Processing instruction)
HTML 处理指令,包括在 `<? ... >` 之间。当找到,`SGMLParser` 用处理指令内容来调用 `handle_pi`。
声明 (Declaration)
HTML 声明,如 `DOCTYPE`,包括在 `<! ... >`之间。当找到,`SGMLParser` 用声明内容来调用 `handle_decl`。
文本数据 (Text data)
文本块。不满足其它 7 种类别的任何东西。当找到,`SGMLParser` 用文本来调用 `handle_data`。
> 重要
> Python 2.0 存在一个 bug,即 `SGMLParser` 完全不能识别声明 (`handle_decl` 永远不会调用),这就意味着 `DOCTYPE` 被静静地忽略掉了。这个错误在 Python 2.1 中改正了。
`sgmllib.py` 所附带的一个测试套件举例说明了这一点。您可以运行 `sgmllib.py`,在命令行下传入一个 HTML 文件的名字,然后它会在分析标记和其它元素的同时将它们打印出来。它的实现是通过子类化 `SGMLParser` 类,然后定义 `unknown_starttag`,`unknown_endtag`,`handle_data` 和其它方法来实现的。这些方法简单地打印出它们的参数。
> 提示
> 在 Windows 下的 ActivePython IDE 中,您可以在 “Run script” 对话框中指定命令行参数。用空格将多个参数分开。
## 例 8.4. `sgmllib.py` 的样例测试
下面是一个片段,来自本书的 HTML 版本的目录,toc.html。当然,您的存储路径可能与我的有所不同。 (如果您还没有下载本书的 HTML 版本,可以从 [http://diveintopython.org/](http://diveintopython.org/) 下载。
```
c:\python23\lib> type "c:\downloads\diveintopython\html\toc\index.html"
<!DOCTYPE html
PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
<html lang="en">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">
<title>Dive Into Python</title>
<link rel="stylesheet" href="diveintopython.css" type="text/css">
... 略 ...
```
通过 `sgmllib.py` 的测试套件来运行它,会得到如下的输出结果:
```
c:\python23\lib> python sgmllib.py "c:\downloads\diveintopython\html\toc\index.html"
data: '\n\n'
start tag: <html lang="en" >
data: '\n '
start tag: <head>
data: '\n '
start tag: <meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1" >
data: '\n \n '
start tag: <title>
data: 'Dive Into Python'
end tag: </title>
data: '\n '
start tag: <link rel="stylesheet" href="diveintopython.css" type="text/css" >
data: '\n '
... 略 ...
```
下面是本章其它部分的路标:
* 子类化 `SGMLParser` 来创建从 HTML 文档中抽取感兴趣的数据的类。
* 子类化 `SGMLParser` 来创建 `BaseHTMLProcessor`,它覆盖了所有8个处理方法,然后使用它们从片段中重建原始的 HTML。
* 子类化 `BaseHTMLProcessor` 来创建 `Dialectizer`,它增加了一些方法,专门用来处理指定的 HTML 标记,然后覆盖了 `handle_data` 方法,提供了用来处理 HTML 标记之间文本块的框架。
* 子类化 `Dialectizer` 来创建定义了文本处理规则的类。这些规则被 `Dialectizer.handle_data` 使用。
* 编写一个测试套件,它可以从 `http://diveintopython.org/` 处抓取一个真正的 web 页面,然后处理它。
继续阅读本章,您还可以学习到有关 `locals`、`globals` 和基于 dictionary 的字符串格式化的内容。
- 版权信息
- 第 1 章 安装 Python
- 1.1. 哪一种 Python 适合您?
- 1.2. Windows 上的 Python
- 1.3. Mac OS X 上的 Python
- 1.4. Mac OS 9 上的 Python
- 1.5. RedHat Linux 上的 Python
- 1.6. Debian GNU/Linux 上的 Python
- 1.7. 从源代码安装 Python
- 1.8. 使用 Python 的交互 Shell
- 1.9. 小结
- 第 2 章 第一个 Python 程序
- 2.1. 概览
- 2.2. 函数声明
- 2.3. 文档化函数
- 2.4. 万物皆对象
- 2.5. 代码缩进
- 2.6. 测试模块
- 第 3 章 内置数据类型
- 3.1. Dictionary 介绍
- 3.2. List 介绍
- 3.3. Tuple 介绍
- 3.4. 变量声明
- 3.5. 格式化字符串
- 3.6. 映射 list
- 3.7. 连接 list 与分割字符串
- 3.8. 小结
- 第 4 章 自省的威力
- 4.1. 概览
- 4.2. 使用可选参数和命名参数
- 4.3. 使用 type、str、dir 和其它内置函数
- 4.4. 通过 getattr 获取对象引用
- 4.5. 过滤列表
- 4.6. and 和 or 的特殊性质
- 4.7. 使用 lambda 函数
- 4.8. 全部放在一起
- 4.9. 小结
- 第 5 章 对象和面向对象
- 5.1. 概览
- 5.2. 使用 from _module_ import 导入模块
- 5.3. 类的定义
- 5.4. 类的实例化
- 5.5. 探索 UserDict:一个封装类
- 5.6. 专用类方法
- 5.7. 高级专用类方法
- 5.8. 类属性介绍
- 5.9. 私有函数
- 5.10. 小结
- 第 6 章 异常和文件处理
- 6.1. 异常处理
- 6.2. 与文件对象共事
- 6.3. for 循环
- 6.4. 使用 `sys.modules`
- 6.5. 与目录共事
- 6.6. 全部放在一起
- 6.7. 小结
- 第 7 章 正则表达式
- 7.1. 概览
- 7.2. 个案研究:街道地址
- 7.3. 个案研究:罗马字母
- 7.4. 使用 {n,m} 语法
- 7.5. 松散正则表达式
- 7.6. 个案研究:解析电话号码
- 7.7. 小结
- 第 8 章 HTML 处理
- 8.1. 概览
- 8.2. sgmllib.py 介绍
- 8.3. 从 HTML 文档中提取数据
- 8.4. BaseHTMLProcessor.py 介绍
- 8.5. locals 和 globals
- 8.6. 基于 dictionary 的字符串格式化
- 8.7. 给属性值加引号
- 8.8. dialect.py 介绍
- 8.9. 全部放在一起
- 8.10. 小结
- 第 9 章 XML 处理
- 9.1. 概览
- 9.2. 包
- 9.3. XML 解析
- 9.4. Unicode
- 9.5. 搜索元素
- 9.6. 访问元素属性
- 9.7. Segue [9]
- 第 10 章 脚本和流
- 10.1. 抽象输入源
- 10.2. 标准输入、输出和错误
- 10.3. 查询缓冲节点
- 10.4. 查找节点的直接子节点
- 10.5. 根据节点类型创建不同的处理器
- 10.6. 处理命令行参数
- 10.7. 全部放在一起
- 10.8. 小结
- 第 11 章 HTTP Web 服务
- 11.1. 概览
- 11.2. 避免通过 HTTP 重复地获取数据
- 11.3. HTTP 的特性
- 11.4. 调试 HTTP web 服务
- 11.5. 设置 User-Agent
- 11.6. 处理 Last-Modified 和 ETag
- 11.7. 处理重定向
- 11.8. 处理压缩数据
- 11.9. 全部放在一起
- 11.10. 小结
- 第 12 章 SOAP Web 服务
- 12.1. 概览
- 12.2. 安装 SOAP 库
- 12.3. 步入 SOAP
- 12.4. SOAP 网络服务查错
- 12.5. WSDL 介绍
- 12.6. 以 WSDL 进行 SOAP 内省
- 12.7. 搜索 Google
- 12.8. SOAP 网络服务故障排除
- 12.9. 小结
- 第 13 章 单元测试
- 13.1. 罗马数字程序介绍 II
- 13.2. 深入
- 13.3. romantest.py 介绍
- 13.4. 正面测试 (Testing for success)
- 13.5. 负面测试 (Testing for failure)
- 13.6. 完备性检测 (Testing for sanity)
- 第 14 章 测试优先编程
- 14.1. roman.py, 第 1 阶段
- 14.2. roman.py, 第 2 阶段
- 14.3. roman.py, 第 3 阶段
- 14.4. roman.py, 第 4 阶段
- 14.5. roman.py, 第 5 阶段
- 第 15 章 重构
- 15.1. 处理 bugs
- 15.2. 应对需求变化
- 15.3. 重构
- 15.4. 后记
- 15.5. 小结
- 第 16 章 函数编程
- 16.1. 概览
- 16.2. 找到路径
- 16.3. 重识列表过滤
- 16.4. 重识列表映射
- 16.5. 数据中心思想编程
- 16.6. 动态导入模块
- 16.7. 全部放在一起
- 16.8. 小结
- 第 17 章 动态函数
- 17.1. 概览
- 17.2. plural.py, 第 1 阶段
- 17.3. plural.py, 第 2 阶段
- 17.4. plural.py, 第 3 阶段
- 17.5. plural.py, 第 4 阶段
- 17.6. plural.py, 第 5 阶段
- 17.7. plural.py, 第 6 阶段
- 17.8. 小结
- 第 18 章 性能优化
- 18.1. 概览
- 18.2. 使用 timeit 模块
- 18.3. 优化正则表达式
- 18.4. 优化字典查找
- 18.5. 优化列表操作
- 18.6. 优化字符串操作
- 18.7. 小结
- 附录 A. 进一步阅读
- 附录 B. 五分钟回顾
- 附录 C. 技巧和窍门
- 附录 D. 示例清单
- 附录 E. 修订历史
- 附录 F. 关于本书
- 附录 G. GNU Free Documentation License
- G.0. Preamble
- G.1. Applicability and definitions
- G.2. Verbatim copying
- G.3. Copying in quantity
- G.4. Modifications
- G.5. Combining documents
- G.6. Collections of documents
- G.7. Aggregation with independent works
- G.8. Translation
- G.9. Termination
- G.10. Future revisions of this license
- G.11. How to use this License for your documents
- 附录 H. GNU 自由文档协议
- H.0. 序
- H.1. 适用范围和定义
- H.2. 原样复制
- H.3. 大量复制
- H.4. 修改
- H.5. 合并文档
- H.6. 文档合集
- H.7. 独立著作聚集
- H.8. 翻译
- H.9. 终止协议
- H.10. 协议将来的修订
- H.11. 如何为你的文档使用本协议
- 附录 I. Python license
- I.A. History of the software
- I.B. Terms and conditions for accessing or otherwise using Python
- 附录 J. Python 协议
- J.0. 关于译文的声明
- J.A. 软件的历史
- J.B. 使用 Python 的条款和条件