# 爬虫的分类
- 通用型爬虫
全网爬虫，搜索引擎
- 聚焦型爬虫
- 增量爬虫
每隔一段时间更新
- 深层爬虫
需要登陆 需要提交数据
分时间段爬去相关关键字额淘宝搜索
分析前100个商品的标题，从而可以找出
淘宝商品标题的seo优化关键词
# 写一个爬虫的步骤
## 1.目的
- 需要爬取哪个网站，什么内容，持久化，性能要求（稳定、效率）
`网站：爬取淘宝`
`内容：搜索关键字后的商品信息`
`性能：稳定`
`目的：生成Excel表格`
## 2.分析
- 分析网页加载流程
- 动态加载(异步加载)
`ajax`
`js生成`
python的json模块转字典
- 分析网页的信息，提取需要的信息
`re 正则表达式`
`Beautifulsoup`
## 3.实现
- 根据分析的结果，代码实现
`request` `urllib`
## 网页的加载流程
