[TOC] ## Crawlab [Crawlab](https://github.com/crawlab-team/crawlab) 是支持任何语言和框架的分布式爬虫管理平台，理论上能运行所有类型的爬虫，包括 Colly 和 Scrapy。对 Crawlab 不了解的朋友可以查看 [Crawlab 官网](https://crawlab.cn) 以及 [Github 首页](https://github.com/crawlab-team/crawlab))。 首先利用 [Crawlab CLI](https://docs.crawlab.cn/zh/SDK/CLI.html) 将爬虫文件上传。 ``` ~/projects/tikazyq/colly-crawlers/baidu(master*) » crawlab upload go.mod go.sum baidu_spider.go uploaded successfully ```  等待一段时间，爬虫运行结束。我们可以在日志中看到打印出来的结果。  并且，我们还可以在 “结果” 中查看抓取到的结果数据。这些结果是默认保存在 MongoDB 数据库里的。