## soxs的网站图片都是无效的我们这次拿笔趣阁来试
* **书写一个item用于给文件下载管道传输参数**
这个主要两个参数一个图片url一个文件名
`items.py`文件
```
import scrapy
class ImgItem(scrapy.Item):
src = scrapy.Field()
fileName = scrapy.Field()
```
* **获取url链接和书名**
这个很简单就不细说了
`spiders/xbiquge.py`
```
import scrapy
import re
from ..items import ImgItem
class xbiqugeSpider(scrapy.Spider):
name = 'xbiquge'
allowed_domains = ['www.xbiquge.la'] # 定义只爬取变量内的网站
start_urls = ["https://www.xbiquge.la/"]# 定义爬取的url，
def parse(self, response): # 爬虫启动后进入parse方法
list = response.xpath("//div[@id='hotcontent']/div/div")
for i in list:
url = i.xpath('div/a/img/@src').extract_first()
name = i.xpath('div/a/img/@alt').extract_first()
fileName = name+"."+re.search(".([a-z|A-Z]*?)$",url).group(1)
item = ImgItem() #实例化item
item['src'] = url
item['fileName'] = fileName
print("进入管道。。。")
yield item # 通过管道保存
```
* **开启管道**
在`setting.py`中添加如下配置
这里demo是项目名，ImgImagesPipeline是类名，根据自己实际情况改
```
ITEM_PIPELINES = {
'demo.pipelines.ImgImagesPipeline': 300,
}
```
* **书写管道**
文件的写法是可以固定的，如果想研究原理可以细看，不想的话直接复制就能用
这个类是我自己写的，可能会有bug
【文件名不可重复，否则报错，没做细节】
```
import scrapy
from scrapy.exceptions import DropItem
import json
import os
from scrapy.pipelines.images import ImagesPipeline
IMGFILEPATH = os.path.dirname(os.path.abspath(__file__))+ "/img/"
# 图片下载管道
class ImgImagesPipeline(ImagesPipeline):
# 返回 图片链接对象
def get_media_requests(self, item, info):
print("in Img download ...")
image_url = item['src']
yield scrapy.Request(url=image_url)
# 下载完成处理文件
def item_completed(self, results, item, info):
global IMGFILEPATH
if results[0][0] == True:
url = results[0][1]['url']
strurl = "["+url+"]"
print(strurl + " \n => 图片下载成功。。。")
print(" => " + results[0][1]['path'] + " >>> " + item['fileName']+" \n")
# 判断文件是否存在
if os.path.isfile(IMGFILEPATH + results[0][1]['path']):
# 重命名
os.rename(IMGFILEPATH + results[0][1]['path'] , IMGFILEPATH + item['fileName'])
# 在这里可以自定义代码，用于处理数据。
# 比如向数据库保存文件名下载状态等
return results
print( "["+item['src']+"] \n => 文件url无法访问 404 ... \n")
return results
```
