# 1.7.2 mitmproxy的安装
## 1.说明
MitmProxy是一个支持HTTP和HTTPS的抓包程序,类似于Fiddler、Charles功能。
同时MitmProxy还有两个关联组件,一个是MitmDump,是MimtmProxy的命令行接口,另一个是MitmWeb,是一个web程序,可以清楚地观察到MitmProxy捕获的请求
## 2. 相关链接 {#1-相关链接}
* GitHub:[https://github.com/mitmproxy/mitmproxy](https://github.com/mitmproxy/mitmproxy)
* 官方网站:[https://mitmproxy.org](https://mitmproxy.org/)
* PyPi:[https://pypi.python.org/pypi/mitmproxy](https://pypi.python.org/pypi/mitmproxy)
* 官方文档:[http://docs.mitmproxy.org](http://docs.mitmproxy.org/)
* MitmDump脚本:[http://docs.mitmproxy.org/en/stable/scripting/overview.html](http://docs.mitmproxy.org/en/stable/scripting/overview.html)
* 下载地址:[https://github.com/mitmproxy/mitmproxy/releases](https://github.com/mitmproxy/mitmproxy/releases)
* DockerHub:[https://hub.docker.com/r/mitmproxy/mitmproxy](https://hub.docker.com/r/mitmproxy/mitmproxy)
## 3.安装
```text
pip install mitmproxy
```
最简单和通用的安装方式,执行完毕之后即可完成 MitmProxy的安装,另外还安装了MitmDump、MitmWeb 两个组件,如果不想用此种方式安装也可以选择下文列出的专门针对各个平台的安装方式或者 Docker 安装方式。
## 4.windows下的安装
[点击下载](https://github.com/mitmproxy/mitmproxy/releases/)[**mitmproxy-4.0.1-windows-installer.exe**](https://github.com/mitmproxy/mitmproxy/releases/download/v4.0.1/mitmproxy-4.0.1-windows-installer.exe)
![](https://box.kancloud.cn/80a2bc22acc0134133480cf12a073ebf_806x649.png)
## 5. Linux下的安装 {#4-linux下的安装}
[点击下载](https://github.com/mitmproxy/mitmproxy/releases/)[**mitmproxy-4.0.1-linux.tar.gz**](https://github.com/mitmproxy/mitmproxy/releases/download/v4.0.1/mitmproxy-4.0.1-linux.tar.gz)
```text
tar -zxvf mitmproxy-4.0.1-linux.tar.gz
sudo mv mitmproxy mitmdump mitmweb /usr/bin
```
## 6. Mac下的安装 {#5-mac下的安装}
使用 HomeBrew安装 即可,命令如下:
```text
brew install mitmproxy
```
执行命令后即可完成 MitmProxy 的安装。
## 7. Docker安装 {#6-docker安装}
MitmProxy 也支持 Docker,其 Docker Hub 的地址为[https://hub.docker.com/r/mitmproxy/mitmproxy/](https://hub.docker.com/r/mitmproxy/mitmproxy/)
Docker 下 MitmProxy 的安装命令为:
```text
docker run --rm -it -p 8080:8080 mitmproxy/mitmproxy mitmdump
```
这样就在 8080 端口上启动了 MitmProxy 和 MitmDump。
如果想要获取 CA 证书,可以选择挂载磁盘选项,命令如下:
```text
docker run --rm -it -v ~/.mitmproxy:/home/mitmproxy/.mitmproxy -p 8080:8080 mitmproxy/mitmproxy mitmdump
```
这样可以在 ~/.mitmproxy 目录找到 CA 证书。
另外还可以在 8081 端口上启动 MitmWeb,命令如下:
```text
docker run --rm -it -p 8080:8080 -p 127.0.0.1:8081:8081 mitmproxy/mitmproxy mitmweb
```
## 8. 证书配置 {#7-证书配置}
对于 MitmProxy 来说,如果想要截获 HTTPS 请求,我们就需要设置证书,MitmProxy 在安装后会提供一套 CA 证书,只要客户端信任了 MitmProxy 提供的证书,我们就可以通过 MitmProxy 获取 HTTPS 请求的具体内容,否则 MitmProxy 是无法解析 HTTPS 请求的。
首先运行一下命令产生 CA 证书,启动 MitmDump 即可:
```text
mitmdump
```
这样即可启动 MitmDump,接下来我们就可以在用户目录下的 .mitmproxy 目录里面找到 CA 证书,如图 1-61 所示:
![](https://box.kancloud.cn/4fe67a462d4d769269f17fe40cfbb629_789x208.png)
图 1-61 证书文件
证书一共五个,下面是对这五个证书的说明:
| 名称 | 描述 |
| :--- | :--- |
| mitmproxy-ca.pem | PEM 格式的证书私钥 |
| mitmproxy-ca-cert.pem | PEM 格式证书,适用于大多数非 Windows 平台 |
| mitmproxy-ca-cert.p12 | PKCS12 格式的证书,适用于 Windows 平台 |
| mitmproxy-ca-cert.cer | 与 mitmproxy-ca-cert.pem 相同,只是改变了后缀,适用于部分 Android 平台 |
| mitmproxy-dhparam.pem | PEM 格式的秘钥文件,用于增强 SSL 安全性 |
下面我们介绍一下 Windows、Mac、iOS、Android 平台下的证书配置过程。
### Windows {#windows}
双击 mitmproxy-ca.p12,就会出现导入证书的引导页,如图 1-62 所示。
![](https://germey.gitbooks.io/python3webspider/content/assets/1-62.jpg)
图 1-62 证书导入向导
直接点击下一步即可,接下来会出现密码设置提示,如图 1-63 所示:
![](https://germey.gitbooks.io/python3webspider/content/assets/1-63.jpg)
图 1-63 密码设置提示
不需要设置密码,直接点击下一步即可。
接下来需要选择证书的存储区域,如图 1-64 所示:
![](https://germey.gitbooks.io/python3webspider/content/assets/1-64.jpg)
图 1-64 选择证书存储区域
点击第二个选项“将所有证书放入下列存储”,然后点击浏览,再选择证书存储位置为“受信任的根证书颁发机构”,确定,点击下一步。
最后如果有安全警告均点击“是”即可,如图 1-65 所示:
![](https://box.kancloud.cn/dd3abe1019102bafcd6f21f800f9d953_592x415.png)
图 1-65 安装警告
这样就配置完成 Windows 下信任 CA 证书了。
### Mac {#mac}
Mac 下双击 mitmproxy-ca-cert.pem 即可弹出钥匙串管理页面,然后找到 mitmproxy 证书,点击打开其设置选项,选择始终信任即可,如图 1-66 所示:
![](https://germey.gitbooks.io/python3webspider/content/assets/1-66.jpg)
图 1-66 证书配置
这样就配置完成 Mac 下信任 CA 证书了。
### iOS {#ios}
将 mitmproxy-ca-cert.pem 文件发送到 iPhone 上,推荐使用邮件的方式发送,iPhone 上可以直接点击附件并识别安装,如图 1-67 所示:
![](https://germey.gitbooks.io/python3webspider/content/assets/1-67.jpg)
图 1-67 证书安装页面
点击之后会跳到安装描述文件的页面,点击右上角的安装按钮即可安装,此处会有警告提示,如图 1-68 所示:
![](https://germey.gitbooks.io/python3webspider/content/assets/1-68.jpg)
图 1-68 安装警告页面
继续点击右上角的安装即可,安装成功之后会有已安装的提示,如图 1-69 所示:
![](https://germey.gitbooks.io/python3webspider/content/assets/1-69.jpg)
如果你的 iOS 版本是 10.3 以下的话,此处信任 CA 证书的流程就已经完成了。
如果你的 iOS 版本是 10.3 及以上,还需要在设置->通用->关于本机->证书信任设置将证书添加完全信任,如图 1-70 所示:
![](https://germey.gitbooks.io/python3webspider/content/assets/1-70.jpg)
图 1-70 证书信任设置
在这里将 MitmProxy 的完全信任开关打开即可。
这样 iOS 上配置信任 CA 证书的流程就结束了。
### Android {#android}
Android 手机同样需要将证书 mitmproxy-ca-cert.pem 文件发送到手机上,例如直接拷贝文件。
接下来点击证书便会出现一个提示窗口,如图 1-71 所示:
![](https://germey.gitbooks.io/python3webspider/content/assets/1-71.jpg)
图 1-71 证书安装页面
这时输入证书的名称,然后点击确定即可完成安装。
- 介绍
- 1.开发环境配置
- 1.1 python3的安装
- 1.1.1 windows下的安装
- 1.1.2 Linux下的安装
- 1.1.3 Mac下的安装
- 1.2 请求库的安装
- 1.2.1 requests的安装
- 1.2.2 selenium的安装
- 1.2.3 ChromeDriver的安装
- 1.2.4 GeckoDriver 的安装
- 1.2.5 PhantomJS的安装
- 1.2.6 aiohttp的安装
- 1.3 解析库的安装
- 1.3.1 lxml的安装
- 1.3.2 Beautiful Soup的安装
- 1.3.3 pyquery的安装
- 1.3.4 tesserocr的安装
- 1.4 数据库的安装
- 1.4.1 MySQL的安装
- 1.4.2 MongoDB的安装
- 1.4.3 Redis的安装
- 1.5 存储库的安装
- 1.5.1 PyMySQL的安装
- 1.5.2 PyMongo的安装
- 1.5.3 redis-py的安装
- 1.5.4 RedisDump的安装
- 1.6 Web库的安装
- 1.6.1 Flask的安装
- 1.6.2 Tornado的安装
- 1.7 App爬取相关库的安装
- 1.7.1 Charles的安装
- 1.7.2 mitmproxy的安装
- 1.7.3 Appium的安装
- 1.8 爬虫框架的安装
- 1.8.1 pyspider的安装
- 1.8.2 Scrapy的安装
- 1.8.3 Scrapy-Splash的安装
- 1.8.4 ScrapyRedis的安装
- 1.9 布署相关库的安装
- 1.9.1 Docker的安装
- 1.9.2 Scrapyd的安装
- 1.9.3 ScrapydClient的安装
- 1.9.4 ScrapydAPI的安装
- 1.9.5 Scrapyrt的安装
- 1.9.6-Gerapy的安装
- 2.爬虫基础
- 2.1 HTTP 基本原理
- 2.1.1 URI和URL
- 2.1.2 超文本
- 2.1.3 HTTP和HTTPS
- 2.1.4 HTTP请求过程
- 2.1.5 请求
- 2.1.6 响应
- 2.2 网页基础
- 2.2.1网页的组成
- 2.2.2 网页的结构
- 2.2.3 节点树及节点间的关系
- 2.2.4 选择器
- 2.3 爬虫的基本原理
- 2.3.1 爬虫概述
- 2.3.2 能抓怎样的数据
- 2.3.3 javascript渲染的页面
- 2.4 会话和Cookies
- 2.4.1 静态网页和动态网页
- 2.4.2 无状态HTTP
- 2.4.3 常见误区
- 2.5 代理的基本原理
- 2.5.1 基本原理
- 2.5.2 代理的作用
- 2.5.3 爬虫代理
- 2.5.4 代理分类
- 2.5.5 常见代理设置
- 3.基本库使用
- 3.1 使用urllib
- 3.1.1 发送请求
- 3.1.2 处理异常
- 3.1.3 解析链接
- 3.1.4 分析Robots协议
- 3.2 使用requests
- 3.2.1 基本用法
- 3.2.2 高级用法
- 3.3 正则表达式
- 3.4 抓取猫眼电影排行
- 4.解析库的使用
- 4.1 使用xpath
- 4.2 使用Beautiful Soup
- 4.3 使用pyquery
- 5.数据存储
- 5.1 文件存储
- 5.1.1 TXT 文件存储
- 5.1.2 JSON文件存储
- 5.1.3 CSV文件存储
- 5.2 关系型数据库存储
- 5.2.1 MySQL的存储
- 5.3 非关系数据库存储
- 5.3.1 MongoDB存储
- 5.3.2 Redis存储
- 6.Ajax数据爬取
- 6.1 什么是Ajax
- 6.2 Ajax分析方法
- 6.3 Ajax结果提取
- 6.4 分析Ajax爬取今日头条街拍美图
- 7.动态渲染页面爬取
- 7.1 Selenium的使用
- 7.2 Splash的使用
- 7.3 Splash负载均衡配置
- 7.4 使用selenium爬取淘宝商品
- 8.验证码的识别
- 8.1 图形验证码的识别
- 8.2 极验滑动验证码的识别
- 8.3 点触验证码的识别
- 8.4微博宫格验证码的识别
- 9.代理的使用
- 9.1 代理的设置
- 9.2 代理池的维护
- 9.3 付费代理的使用
- 9.4 ADSL拨号代理
- 9.5 使用代理爬取微信公总号文章
- 10.模拟登录
- 10.1 模拟登陆并爬去GitHub
- 10.2 Cookies池的搭建
- 11.App的爬取
- 11.1 Charles的使用
- 11.2 mitmproxy的使用
- 11.3 mitmdump“得到”App电子书信息
- 11.4 Appium的基本使用
- 11.5 Appnium爬取微信朋友圈
- 11.6 Appium+mitmdump爬取京东商品
- 12.pyspider框架的使用
- 12.1 pyspider框架介绍
- 12.2 pyspider的基本使用
- 12.3 pyspider用法详解
- 13.Scrapy框架的使用
- 13.1 scrapy框架介绍
- 13.2 入门
- 13.3 selector的用法
- 13.4 spider的用法
- 13.5 Downloader Middleware的用法
- 13.6 Spider Middleware的用法
- 13.7 Item Pipeline的用法
- 13.8 Scrapy对接Selenium
- 13.9 Scrapy对接Splash
- 13.10 Scrapy通用爬虫
- 13.11 Scrapyrt的使用
- 13.12 Scrapy对接Docker
- 13.13 Scrapy爬取新浪微博
- 14.分布式爬虫
- 14.1 分布式爬虫原理
- 14.2 Scrapy-Redis源码解析
- 14.3 Scrapy分布式实现
- 14.4 Bloom Filter的对接
- 15.分布式爬虫的部署
- 15.1 Scrapyd分布式部署
- 15.2 Scrapyd-Client的使用
- 15.3 Scrapyd对接Docker
- 15.4 Scrapyd批量部署
- 15.5 Gerapy分布式管理
- 微信公总号文章实战
- 源码
- other