从0开始搭建分布式爬虫,理解分布式系统设计思想
原生代码构建爬虫系统,层层递进,让你学的更快更深入
1
单任务爬虫
应用广度优先算法框架,嵌入数
据爬取,信息提取等逻辑
实现基本爬虫任务
2
并发式爬虫
利用Go在并发性上的天然优势
实现爬虫任务的分发和调度完
成并发需求
3
分布式爬虫
使用rpc,分离并独立单机版中
的并发任务,实现分布式爬虫
4
数据存储和展示
使用Docker+ElasticSearch
搭建数据存储后端
使用Go语言模板库
实现数据展示