依然是使用requests
主要的问题是模拟登陆:
![](https://box.kancloud.cn/2016-05-29_574a961cb2e2a.jpg)
a.png
通过chrome开发者工具可以了解到,登陆的数据有这么一些,
但是根据我的观察,有时候需要用到验证码,所以,我的爬虫一律包含验证码,想要尝试验证码自动识别的同学,可以移步我另一篇文章《简单验证码识别》,虽然那篇文章只讲数字验证码的识别,但是基本思想是一样的。
言归正传,__xsrf这个数据在登陆网页上可以找到,所以可以通过正则找出来。
登陆函数大概是这样的:
![](https://box.kancloud.cn/2016-05-29_574a961cc8ff5.jpg)
Paste_Image.png
函数初次登陆,需要账号和密码,之后,程序会自动记录一个cookie文件,在当前文件夹下,下次运行程序就不需要再输入密码和账号了,读写cookie文件的程序大概是这样:
![](https://box.kancloud.cn/2016-05-29_574a961cdade3.jpg)
Paste_Image.png
下载源码后,基本操作是:
先需要实例化:
from python_zhihu import ZhiHu
zh=ZhiHu()
下载某个问题下的高赞答案:
zh.get_text('填入网址')
下载某个问题下所有的图片:
zh,get_img('url')
源码:[https://github.com/ladingwu/python_zhihu](https://github.com/ladingwu/python_zhihu)
- Python爬虫入门
- (1):综述
- (2):爬虫基础了解
- (3):Urllib库的基本使用
- (4):Urllib库的高级用法
- (5):URLError异常处理
- (6):Cookie的使用
- (7):正则表达式
- (8):Beautiful Soup的用法
- Python爬虫进阶
- Python爬虫进阶一之爬虫框架概述
- Python爬虫进阶二之PySpider框架安装配置
- Python爬虫进阶三之Scrapy框架安装配置
- Python爬虫进阶四之PySpider的用法
- Python爬虫实战
- Python爬虫实战(1):爬取糗事百科段子
- Python爬虫实战(2):百度贴吧帖子
- Python爬虫实战(3):计算大学本学期绩点
- Python爬虫实战(4):模拟登录淘宝并获取所有订单
- Python爬虫实战(5):抓取淘宝MM照片
- Python爬虫实战(6):抓取爱问知识人问题并保存至数据库
- Python爬虫利器
- Python爬虫文章
- Python爬虫(一)--豆瓣电影抓站小结(成功抓取Top100电影)
- Python爬虫(二)--Coursera抓站小结
- Python爬虫(三)-Socket网络编程
- Python爬虫(四)--多线程
- Python爬虫(五)--多线程续(Queue)
- Python爬虫(六)--Scrapy框架学习
- Python爬虫(七)--Scrapy模拟登录
- Python笔记
- python 知乎爬虫
- Python 爬虫之——模拟登陆
- python的urllib2 模块解析
- 蜘蛛项目要用的数据库操作
- gzip 压缩格式的网站处理方法
- 通过浏览器的调试得出 headers转换成字典
- Python登录到weibo.com
- weibo v1.4.5 支持 RSA协议(模拟微博登录)
- 搭建Scrapy爬虫的开发环境
- 知乎精华回答的非专业大数据统计
- 基于PySpider的weibo.cn爬虫
- Python-实现批量抓取妹子图片
- Python库
- python数据库-mysql
- 图片处理库PIL
- Mac OS X安装 Scrapy、PIL、BeautifulSoup
- 正则表达式 re模块
- 邮件正则
- 正则匹配,但过滤某些字符串
- dict使用方法和快捷查找
- httplib2 库的使用