[TOC]
Requests模块是一个用于网络访问的模块
## 一、导入
下载完成后，导入模块很简单，代码如下：
```python
import requests
```
## 二、请求url
这里我们列出最常见的发送get或者post请求的语法。
### 1.发送无参数的get请求：
```python
r=requests.get("http://pythontab.com/justTest")
```
现在，我们得到了一个响应对象r，我们可以利用这个对象得到我们想要的任何信息。
上面的例子中，get请求没有任何参数，那如果请求需要参数怎么办呢？
### 2.发送带参数的get请求
```python
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://pythontab.com/justTest", params=payload)
```
以上得知，我们的get参数是以params关键字参数传递的。
我们可以打印请求的具体url来看看到底对不对：
```python
>>>print r.url
http://pythontab.com/justTest?key2=value2&key1=value1
```
可以看到确实访问了正确的url。
还可以传递一个list给一个请求参数：
```python
>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
>>> r = requests.get("http://pythontab.com/justTest", params=payload)
>>> print r.url
http://pythontab.com/justTest?key1=value1&key2=value2&key2=value3
```
以上就是get请求的基本形式。
## 3.发送post请求
```python
r = requests.post("http://pythontab.com/postTest", data = {"key":"value"})
```
以上得知，post请求参数是以data关键字参数来传递的。
现在的data参数传递的是字典，我们也可以传递一个json格式的数据，如下：
```python
>>> import json
>>> import requests
>>> payload = {"key":"value"}
>>> r = requests.post("http://pythontab.com/postTest", data = json.dumps(payload))
```
由于发送json格式数据太常见了，所以在Requests模块的高版本中，又加入了json这个关键字参数，可以直接发送json数据给post请求而不用再使用json模块了，见下：
```python
>>> payload = {"key":"value"}
>>> r = requests.post("http://pythontab.com/postTest", json=payload)
```
如果我们想post一个文件怎么办呢？这个时候就需要用到files参数了：
```python
>>> url = 'http://pythontab.com/postTest'
>>> files = {'file': open('report.xls', 'rb')}
>>> r = requests.post(url, files=files)
>>> r.text
```
我们还可以在post文件时指定文件名等额外的信息：
```python
>>> url = 'http://pythontab.com/postTest'
>>> files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}
>>> r = requests.post(url, files=files)
```
tips：强烈建议使用二进制模式打开文件，因为如果以文本文件格式打开时，可能会因为“Content-Length”这个header而出错。
可以看到，使用Requests发送请求简单吧！
## 三、获取返回信息
下面我们来看下发送请求后如何获取返回信息。我们继续使用最上面的例子：
```python
>>> import requests
>>> r=requests.get('http://pythontab.com/justTest')
>>> r.text
```
r.text是以什么编码格式输出的呢？
```python
>>> r.encoding
'utf-8'
```
原来是以utf-8格式输出的。那如果我想改一下r.text的输出格式呢？
```python
>>> r.encoding = 'ISO-8859-1'
```
这样就把输出格式改为“ISO-8859-1”了。
还有一个输出语句，叫r.content，那么这个和r.text有什么区别呢？r.content返回的是字节流，如果我们请求一个图片地址并且要保存图片的话，就可以用到，这里举个代码片段如下：
```python
def saveImage( imgUrl,imgName ="default.jpg" ):
r = requests.get(imgUrl, stream=True)
image = r.content
destDir="D:\"
print("保存图片"+destDir+imgName+"\n")
try:
with open(destDir+imgName ,"wb") as jpg:
jpg.write(image)
return
except IOError:
print("IO Error")
return
finally:
jpg.close
```
刚才介绍的r.text返回的是字符串，那么，如果请求对应的响应是一个json，那我可不可以直接拿到json格式的数据呢？r.json()就是为这个准备的。
我们还可以拿到服务器返回的原始数据，使用r.raw.read()就可以了。不过，如果你确实要拿到原始返回数据的话，记得在请求时加上“stream=True”的选项，如：
```python
r = requests.get('https://api.github.com/events', stream=True)。
```
我们也可以得到响应状态码：
```python
>>> r = requests.get('http://pythontab.com/justTest')
>>> r.status_code
200
```
也可以用requests.codes.ok来指代200这个返回值：
```python
>>> r.status_code == requests.codes.ok
True
```
## 四、关于headers
我们可以打印出响应头：
```python
>>> r= requests.get("http://pythontab.com/justTest")
>>> r.headers
```
｀r.headers｀返回的是一个字典，例如：
```python
{
'content-encoding': 'gzip',
'transfer-encoding': 'chunked',
'connection': 'close',
'server': 'nginx/1.0.4',
'x-runtime': '147ms',
'etag': '"e1ca502697e5c9317743dc078f67693a"',
'content-type': 'application/json'
}
```
我们可以使用如下方法来取得部分响应头以做判断：
```python
r.headers['Content-Type']
```
或者
```python
r.headers.get('Content-Type')
```
如果我们想获得请求头（也就是我们向服务器发送的头信息）该怎么办呢？可以使用r.request.headers直接获得。
同时，我们在请求数据时也可以加上自定义的headers（通过headers关键字参数传递）：
```python
>>> headers = {'user-agent': 'myagent'}
>>> r= requests.get("http://pythontab.com/justTest",headers=headers)
```
## 五、关于Cookies
如果一个响应包含cookies的话，我们可以使用下面方法来得到它们：
```python
>>> url = 'http://www.pythontab.com'
>>> r = requests.get(url)
>>> r.cookies['example_cookie_name']
'example_cookie_value'
```
我们也可以发送自己的cookie(使用cookies关键字参数)：
```python
>>> url = 'http://pythontab.com/cookies'
>>> cookies={'cookies_are':'working'}
>>> r = requests.get(url, cookies=cookies)
```
## 六、关于重定向
有时候我们在请求url时，服务器会自动把我们的请求重定向，比如github会把我们的http请求重定向为https请求。我们可以使用r.history来查看重定向：
```python
>>> r = requests.get('http://pythontab.com/')
>>> r.url
'http://pythontab.com/'
>>> r.history
[]
```
从上面的例子中可以看到，我们使用http协议访问，结果在r.url中，打印的却是https协议。那如果我非要服务器使用http协议，也就是禁止服务器自动重定向，该怎么办呢？使用allow_redirects 参数：
```python
r = requests.get('http://pythontab.com', allow_redirects=False)
```
## 七、关于请求时间
我们可以使用timeout参数来设定url的请求超时时间（时间单位为秒）：
```python
requests.get('http://pythontab.com', timeout=1)
```
## 八、关于代理
我们也可以在程序中指定代理来进行http或https访问（使用proxies关键字参数），如下：
```python
proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("http://pythontab.com", proxies=proxies)
```
## 九、关于session
我们有时候会有这样的情况，我们需要登录某个网站，然后才能请求相关url，这时就可以用到session了，我们可以先使用网站的登录api进行登录，然后得到session，最后就可以用这个session来请求其他url了：
```python
s=requests.Session()
login_data={'form_email':'youremail@example.com','form_password':'yourpassword'}
s.post("http://pythontab.com/testLogin",login_data)
r = s.get('http://pythontab.com/notification/')
print r.text
```
其中，form_email和form_password是豆瓣登录框的相应元素的name值。
## 十、下载页面
使用Requests模块也可以下载网页，代码如下：
```python
r=requests.get("http://www.pythontab.com")
with open("haha.html","wb") as html:
html.write(r.content)
html.close()
```
- 基础部分
- 基础知识
- 变量
- 数据类型
- 数字与布尔详解
- 列表详解list
- 字符串详解str
- 元组详解tup
- 字典详解dict
- 集合详解set
- 运算符
- 流程控制与循环
- 字符编码
- 编的小程序
- 三级菜单
- 斐波那契数列
- 汉诺塔
- 文件操作
- 函数相关
- 函数基础知识
- 函数进阶知识
- lambda与map-filter-reduce
- 装饰器知识
- 生成器和迭代器
- 琢磨的小技巧
- 通过operator函数将字符串转换回运算符
- 目录规范
- 异常处理
- 常用模块
- 模块和包相关概念
- 绝对导入&相对导入
- pip使用第三方源
- time&datetime模块
- random随机数模块
- os 系统交互模块
- sys系统模块
- shutil复制&打包模块
- json&pickle&shelve模块
- xml序列化模块
- configparser配置模块
- hashlib哈希模块
- subprocess命令模块
- 日志logging模块基础
- 日志logging模块进阶
- 日志重复输出问题
- re正则表达式模块
- struct字节处理模块
- abc抽象类与多态模块
- requests与urllib网络访问模块
- 参数控制模块1-optparse-过时
- 参数控制模块2-argparse
- pymysql数据库模块
- requests网络请求模块
- 面向对象
- 面向对象相关概念
- 类与对象基础操作
- 继承-派生和组合
- 抽象类与接口
- 多态与鸭子类型
- 封装-隐藏与扩展性
- 绑定方法与非绑定方法
- 反射-字符串映射属性
- 类相关内置方法
- 元类自定义及单例模式
- 面向对象的软件开发
- 网络-并发编程
- 网络编程SOCKET
- socket简介和入门
- socket代码实例
- 粘包及粘包解决办法
- 基于UDP协议的socket
- 文件传输程序实战
- socketserver并发模块
- 多进程multiprocessing模块
- 进程理论知识
- 多进程与守护进程
- 锁-信号量-事件
- 队列与生产消费模型
- 进程池Pool
- 多线程threading模块
- 进程理论和GIL锁
- 死锁与递归锁
- 多线程与守护线程
- 定时器-条件-队列
- 线程池与进程池(新方法)
- 协程与IO模型
- 协程理论知识
- gevent与greenlet模块
- 5种网络IO模型
- 非阻塞与多路复用IO实现
- 带着目标学python
- Pycharm基本使用
- 爬虫
- 案例-爬mzitu美女
- 案例-爬小说
- beautifulsoup解析模块
- etree中的xpath解析模块
- 反爬对抗-普通验证码
- 反爬对抗-session登录
- 反爬对抗-代理池
- 爬虫技巧-线程池
- 爬虫对抗-图片懒加载
- selenium浏览器模拟