URL只是标识资源的位置,⽽HTTP是⽤来提交和获取资源。客户端发送⼀个 HTTP请求到服务器的请求消息,包括以下格式: 请求⾏、请求头部、空⾏、请求数据 四个部分组成,下图给出了请求报⽂的⼀般格式。
:-: ![](https://img.kancloud.cn/52/1c/521c2d862e5c0c3ce636d64eabb57c53_698x238.png)
**⼀个典型的HTTP请求示例**
```
GET / HTTP/1.1
Host: www.baidu.com
Connection: keep-alive
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.3
Sec-Fetch-Mode: navigate
Sec-Fetch-User: ?1
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/web
Sec-Fetch-Site: same-origin
Referer: https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=bai
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9
Cookie: BIDUPSID=4049831E3DB8DE890DFFCA6103FF02C1;
```
**请求⽅法**
根据HTTP标准,HTTP请求可以使⽤多种请求⽅法。<br/>
HTTP 0.9:只有基本的⽂本 GET 功能。
HTTP 1.0:完善的请求/响应模型,并将协议补充完整,定义了三种请求⽅法: GET, POST 和 HEAD⽅法。
HTTP 1.1:在 1.0 基础上进⾏更新,新增了五种请求⽅法:OPTIONS, PUT, DELETE, TRACE 和 CONNECT ⽅法。
HTTP 2.0(未普及):请求/响应⾸部的定义基本没有改变,只是所有⾸部键 必须全部⼩写,⽽且请求⾏要独⽴为 :method、:scheme、:host、:path这些 键值对。
<br/>
:-: **HTTP请求方法类型**
| 序号 | ⽅法 | 描述 |
| --- | --- | --- |
| 1 | GET | 请求指定的⻚⾯信息,并返回实 体主体。 |
| 2 | HEAD | 类似于get请求,只不过返回的 响应中没有具体的内容,⽤于获 取报头 |
| 3 | POST | 向指定资源提交数据进⾏处理请 求(例如提交表单或者上传⽂ 件),数据被包含在请求体中。 POST请求可能会导致新的资源 的建⽴和/或已有资源的修改。 |
| 4 | PUT | 从客户端向服务器传送的数据取 代指定的⽂档的内容。 |
| 5 | DELETE | 请求服务器删除指定的⻚⾯。 |
| 6 | CONNECT | HTTP/1.1协议中预留给能够将连 接改为管道⽅式的代理服务器。 |
| 7 | OPTIONS | 允许客户端查看服务器的性能。 |
| 8 | TRACE | 回显服务器收到的请求,主要⽤ 于测试或诊断。 |
**HTTP请求主要分为Get和Post两种⽅法**
* GET是从服务器上获取数据,POST是向服务器传送数据
* GET请求参数显示,都显示在浏览器⽹址上,HTTP服务器根据该请求所 包含URL中的参数来产⽣响应内容,即Get请求的参数是URL的⼀部 分。 例如: http://www.baidu.com/s?wd=Chinese
* POST请求参数在请求体当中,消息⻓度没有限制⽽且以隐式的⽅式进⾏ 发送,通常⽤来向HTTP服务器提交量⽐较⼤的数据(⽐如请求中包含许 多参数或者⽂件上传操作等),请求的参数包含在“Content-Type”消息 头⾥,指明该消息体的媒体类型和编码
**常⽤的请求报头:**
**1. Host (主机和端⼝号)**
Host:对应⽹址URL中的Web名称和端⼝号,⽤于指定被请求资源的Internet 主机和端⼝号,通常属于URL的⼀部分。<br/>
**2. Connection (链接类型)**
Connection:表示客户端与服务连接类型
(1)Client 发起⼀个包含 Connection:keep-alive 的请求,HTTP/1.1使 ⽤ keep-alive 为默认值。
(2)Server收到请求后:
* 如果 Server ⽀持 keep-alive,回复⼀个包含 Connection:keep- alive 的响应,不关闭连接;
* 如果 Server 不⽀持 keep-alive,回复⼀个包含 Connection:close 的响应,关闭连接。
(3)如果client收到包含 Connection:keep-alive 的响应,向同⼀个连接 发送下⼀个请求,直到⼀⽅主动关闭连接。<br/>
**3. Upgrade-Insecure-Requests (升级为HTTPS请求)**
Upgrade-Insecure-Requests:升级不安全的请求,意思是会在加载 http 资 源时⾃动替换成 https 请求,让浏览器不再显示https⻚⾯中的http请求警报。<br/>
**4. User-Agent (浏览器名称)**
User-Agent:是客户浏览器的名称<br/>
**5. Accept (传输⽂件类型)**
Accept:指浏览器或其他客户端可以接受的MIME(Multipurpose Internet Mail Extensions(多⽤途互联⽹邮件扩展))⽂件类型,服务器可以根据它判 断并返回适当的⽂件格式。
`Accept: */* `:表示什么都可以接收。
`Accept:image/gif` :表明客户端希望接受GIF图像格式的资源;
`Accept:text/html` :表明客户端希望接受html⽂本。
`Accept: text/html, application/xhtml+xml;q=0.9, image/*;q=0.8` :表示浏览器⽀持的 MIME 类型分别是 html⽂本、xhtml和 xml⽂档、所有的图像格式资源。<br/>
**6. Referer (⻚⾯跳转处)**
Referer:表明产⽣请求的⽹⻚来⾃于哪个URL,⽤户是从该 Referer⻚⾯访问 到当前请求的⻚⾯。这个属性可以⽤来跟踪Web请求来⾃哪个⻚⾯,是从什么⽹站来的等。<br/>
**7. Accept-Encoding(⽂件编解码格式)**
Accept-Encoding:指出浏览器可以接受的编码⽅式。编码⽅式不同于⽂件格 式,它是为了压缩⽂件并加速⽂件传递速度。浏览器在接收到Web响应之后先 解码,然后再检查⽂件格式,许多情形下这可以减少⼤量的下载时间。<br/>
**8. Accept-Language(语⾔种类)**
Accept-Langeuage:指出浏览器可以接受的语⾔种类,如en或en-us指英 语,zh或者zh-cn指中⽂,当服务器能够提供⼀种以上的语⾔版本时要⽤到。<br/>
**9. Accept-Charset(字符编码)**
Accept-Charset:指出浏览器可以接受的字符编码。 <br/>
**10. Cookie (Cookie)**
Cookie:浏览器⽤这个属性向服务器发送Cookie。Cookie是在浏览器中寄存 的⼩型数据体,它可以记载和服务器相关的⽤户信息。<br/>
**11. Content-Type (POST数据类型)**
Content-Type:POST请求⾥⽤来表示的内容类型。
- 爬虫基本概念
- 爬虫介绍
- 通用爬虫与聚焦爬虫
- 通用爬虫
- 聚焦爬虫
- HTTP与HTTPS协议
- HTTP协议简介
- HTTP的请求与响应
- 客户端HTTP请求
- 服务端HTTP响应
- requests库
- requests库简介
- requests简单使用
- 发送带header的请求
- 发送带参数的请求
- 案例:下载百度贴吧页面
- 发送POST请求
- 使用代理
- 为什么要使用代理?
- 正反向代理
- 代理服务器分类
- 使用代理
- cookie和session
- cookie和session的区别
- 爬虫处理cookie和session
- 使用session登录网站
- 使用cookie登录网站
- cookiejar
- 超时和重试
- verify参数忽略CA证书
- URL地址的解码和编码
- 数据处理
- json数据处理
- json数据处理方案
- json模块处理json数据
- jsonpath处理json数据
- 正则表达式
- lxml
- xpath与lxml介绍
- xpathhelper插件
- 案例
- Beautiful Soup
- Beautiful Soup介绍
- 解析器
- CSS选择器
- 案例
- 四大对象
- 爬虫与反爬虫
- 爬虫与反爬虫的斗争
- 服务器反爬的原因
- 什么样的爬虫会被反爬
- 反爬领域常见概念
- 反爬的三个方向
- 基于身份识别进行反爬
- 基于爬虫行为进行反爬
- 基于数据加密进行反爬
- js解析
- chrome浏览器使用
- 定位js
- 设置断点
- js2py
- hashlib
- 有道翻译案例
- 动态爬取HTML
- 动态HTML
- 获取Ajax数据的方式
- selenium+driver
- driver定位
- 表单元素操作
- 行为链
- cookie操作
- 页面等待
- 多窗口与页面切换
- 配置对象
- 拉勾网案例
- 图片验证码识别
- 图形验证码识别技术简介
- Tesseract
- pytesseract处理图形验证码
- 打码平台
- 登录打码平台
- 验证码种类
- 多任务-线程
- 继承Thread创建线程
- 查看线程数量
- 资源共享
- 互斥锁
- 死锁
- 避免死锁
- Queue线程
- 多线程爬虫
- 多任务-进程
- 创建进程
- 进程池
- 进程间的通信
- Python GIL
- scrapy框架
- scrapy是什么?
- scrapy爬虫流程
- 创建scrapy项目
- Selector选择器
- logging
- scrapy shell
- 保存数据
- Item数据建模
- 翻页请求
- Request
- CrawlSpider
- settings
- 模拟登录
- 保存文件
- 内置Pipeline
- 自定义Pipeline
- 中间件
- selenium动态加载
- 防止反爬
- 随机User-Agent
- 随机IP代理
- settings中的参数
- 随机延迟
- request.meta常用参数
- 分布式爬虫
- 分布式原理
- scrapy_redis
- 去重问题
- 分布式爬虫编写流程
- CrawSpider改写成分布式
- scrapy_splash
- scrapy_splash是什么?
- scrapy_splash环境搭建
- APP抓取
- Android模拟器
- appium
- appium是什么?
- appium环境搭建
- appium环境联调测试
- appium的使用
- 演示项目-抓取抖音app
- 抖音app与appium的联调测试
- 元素定位
- 抖音appium代码
- 抓包软件
- url去重处理