# Python爬虫实战数据可视化分析 === ## 目标: - 抓取全国Python岗位信息 - 设计数据存储结构 - 将抓取到的数据保存到Mysql数据库 - echarts绘制图表 - 生成分析全国Python岗位信息可视化报告 ## 使用到的技术 - requests模块 - 多进程 - 代理 - sqlalchemy - echarts - flask ### request 入门 request是py写的比urllib效率要高 ~~~ import requests targerUrl = "https://www.douban.com" r = requests.get(targerUrl) print(r.content) # 二进制代码 print(r.text) # 文本数据 print(r.status_code) # http_code print(r.encoding) # 编码方式 ~~~