#Scrapy ImagesPipeline与FilesPipeline完全指南 - 多媒体资源下载与处理技术详解

# settings.py
# 优先级：ImagesPipeline>FilesPipeline（数值越小优先级越高）
ITEM_PIPELINES = {
    # 如果只需要图片：
    # 'scrapy.pipelines.images.ImagesPipeline': 1,
    # 如果只需要文件：
    # 'scrapy.pipelines.files.FilesPipeline': 1,
    # 两个都要：
    'scrapy.pipelines.images.ImagesPipeline': 1,
    'scrapy.pipelines.files.FilesPipeline': 2,
}

# settings.py - ImagesPipeline基础/常用配置
IMAGES_URLS_FIELD = 'image_urls'      # Item里存URL列表的字段名
IMAGES_RESULT_FIELD = 'images'        # Item里存下载结果的字段名
IMAGES_STORE = './static/images'       # 图片保存的**本地根目录**（也可以是FTP/S3等URI）
IMAGES_EXPIRES = 90                   # 图片缓存过期天数（相同URL不会重复下载）
IMAGES_MIN_WIDTH = 100                # 过滤宽度小于100px的图
IMAGES_MIN_HEIGHT = 100               # 过滤高度小于100px的图
IMAGES_THUMBS = {                     # 生成指定尺寸的缩略图
    'small': (100, 100),
    'medium': (300, 300),
}

# settings.py - FilesPipeline基础/常用配置
FILES_URLS_FIELD = 'file_urls'        # Item里存URL列表的字段名
FILES_RESULT_FIELD = 'files'          # Item里存下载结果的字段名
FILES_STORE = './static/files'         # 文件保存的本地根目录
FILES_EXPIRES = 90                    # 文件缓存过期天数

# items.py
import scrapy

class MediaItem(scrapy.Item):
    # 共用的
    id = scrapy.Field()
    title = scrapy.Field()
    # 图片相关
    image_urls = scrapy.Field()  # 必须是列表！
    images = scrapy.Field()      # 存储下载后的图片信息
    # 文件相关
    file_urls = scrapy.Field()   # 必须是列表！
    files = scrapy.Field()        # 存储下载后的文件信息

# spiders/my_spider.py
import scrapy
from my_project.items import MediaItem

class ExampleSpider(scrapy.Spider):
    name = 'example'
    start_urls = ['https://example.com/media-page']

    def parse(self, response):
        item = MediaItem()
        item['id'] = '123'
        item['title'] = '示例媒体包'
        # 提取图片URL列表
        item['image_urls'] = response.css('.product-image::attr(src)').getall()
        # 提取文件URL列表
        item['file_urls'] = response.css('.download-link::attr(href)').getall()
        yield item

# pipelines.py
import scrapy
from scrapy.pipelines.images import ImagesPipeline
from itemadapter import ItemAdapter
from urllib.parse import urlparse
import time
import os

class CustomImagesPipeline(ImagesPipeline):
    # 重写file_path：自定义主图路径
    def file_path(self, request, response=None, info=None, *, item=None):
        # 从meta或item获取信息
        item_adapter = ItemAdapter(item)
        item_id = item_adapter.get('id', 'unknown')
        category = item_adapter.get('category', 'uncategorized')
        
        # 从URL提取原文件名
        url_path = urlparse(request.url).path
        original_name = os.path.basename(url_path)
        if not original_name:
            original_name = 'image.jpg'
        
        # 添加时间戳防重复
        timestamp = str(int(time.time()))
        return f"{category}/{timestamp}-{item_id}-{original_name}"
    
    # 重写thumb_path：自定义缩略图路径（可选，默认是full/xxx对应thumbs/xxx）
    def thumb_path(self, request, thumb_id, response=None, info=None, *, item=None):
        base_path = self.file_path(request, item=item)
        name, ext = os.path.splitext(base_path)
        return f"{name}_{thumb_id}{ext}"

# 接着上面的CustomImagesPipeline写
class CustomImagesPipeline(ImagesPipeline):
    # ...（file_path和thumb_path）
    
    # 重写get_media_requests：添加防反爬Headers和meta
    def get_media_requests(self, item, info):
        item_adapter = ItemAdapter(item)
        referer = item_adapter.get('source_url', 'https://example.com')
        
        for url in item_adapter.get(self.images_urls_field, []):
            yield scrapy.Request(
                url,
                headers={
                    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36',
                    'Referer': referer,
                },
                meta={
                    'dont_redirect': False,  # 允许重定向（默认也是允许的，但可以显式写）
                    'download_timeout': 60,  # 延长超时时间（大文件常用）
                },
                # 也可以把cookie传进来，但建议在settings.py的COOKIES_ENABLED=True全局配置
            )

# 接着上面的CustomImagesPipeline写
from PIL import Image

class CustomImagesPipeline(ImagesPipeline):
    # ...（前面的方法）
    
    # 重写convert_image：处理图片模式+统一格式+压缩
    def convert_image(self, image, size=None):
        # 1. 处理RGBA/LA/P模式（WebP支持RGBA，JPG不支持，所以统一转RGBA再存WebP）
        if image.mode in ('RGBA', 'LA', 'P'):
            if image.mode == 'P':
                image = image.convert('RGBA')
            # 如果不想保留透明度，也可以转RGB白背景：
            # background = Image.new('RGB', image.size, (255, 255, 255))
            # background.paste(image, mask=image.split()[-1])
            # image = background
        
        # 2. 调整尺寸（如果有IMAGES_THUMBS或传入size）
        if size:
            image = image.resize(size, Image.Resampling.LANCZOS)  # LANCZOS是最高质量的缩放算法
        
        return image