> 原文出处：[Scrapy爬虫教程](http://blog.csdn.net/column/details/scrapy-dengjingdong.html) 作者：[djd1234567](http://blog.csdn.net/djd1234567) **本系列文章经作者授权在看云整理发布，未经作者允许，请勿转载！** # Scrapy爬虫教程 > 网络爬虫（Web Crawler, Spider）就是一个在网络上乱爬的机器人。当然它通常并不是一个实体的机器人，因为网络本身也是虚拟的东西，所以这个“机器人”其实也就是一段程序，并且它也不是乱爬，而是有一定目的的，并且在爬行的时候会搜集一些信息。