在spiders同级目录下创建debug.py文件，用于启动爬虫测试。 ~~~ import os import sys from scrapy.cmdline import execute sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(['scrapy', 'crawl', 'taobao']) ~~~ 也可以直接在命令行中运行以下命令启动爬虫 ~~~ scrapy crawl taobao ~~~ 把settings里的ROBOTSTXT_OBEY变量改为False,不遵守robots协议 ~~~ ROBOTSTXT_OBEY = False ~~~