企业🤖AI智能体构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
## 1. 爬取医药网 使用工具:Charles抓包工具抓取手机端APP向外发出的http请求 想要爬取APP数据,得到APP发出的url,然后用程序去爬就行了 ### 1.1 下载安装Charles #### 1.1.1 下载 https://www.charlesproxy.com/download/ 下载完成后,一步步安装即可 #### 1.1.2 配置Charles的代理端口 > 【Proxy】【Proxy Settings】 ![](https://box.kancloud.cn/5c148b70fb353440dc5c0c3f04721ceb_556x475.png) #### 1.1.3 手机绑定 代理ip和端口就是电脑的ip和Charles绑定的端口(8888) 1. ![](https://box.kancloud.cn/3813f6aa430daab844da757d2c4378cb_1920x1080.png) 得到Charles的代理ip和端口 ![](https://box.kancloud.cn/543ae253ce21b91ba360ae9feaab0d34_537x118.png) 2. 安卓手机为例 【WLAN设置】【长按住连接的WiFi】【选择修改网络】【设置代理ip和端口】 ![](https://box.kancloud.cn/6972b16847eb327cf969e2bf3a5f2016_1080x2160.png) 此时,手机端发出的请求,都会在Charles中捕获 ### 1.2 获取https https相当于http在安全性上的加强,因此拦截上也要费劲 #### 1.2.1 将要爬取的网站域名,设置为https代理 【Proxy】【SSL Proxy Settings】【add】 ![](https://box.kancloud.cn/962b3e87dbe28f42d2ef8f64abb1af59_556x421.png) 此时打开药房网的APP,此时可以拦截到App发出的APP请求 ![](https://box.kancloud.cn/134cd88162f6cd0f730cf72c8e24f096_1904x421.png) 此时,获取App端正确的url,就可以在用程序爬虫了,但是不进行域名与https的设置,就不能获取正确的结果 ![](https://box.kancloud.cn/f64a94e9d2c6ea6ca570f2c0dcedd01d_1731x669.png) #### 1.2.2 手机安装Charles证书 手机浏览器访问以下网址,一步步安装就行了 http://chls.pro/ssl 浏览器也是这样