自定义Scrapy的ItemExporter

462 查看

Scrapy提供了定制输出格式的功能,包括JSON/CSV等,其实对于文本,分隔符不带Key的格式仍然是最好处理的。
虽然可以修改CSV_DELIMITER让CsvItemExporter输出符合需求的格式,但是对HTML总是存在编码转换的问题让我头疼不已。
索性继承BaseItemExporter实现了一个真正称心如意的定制版ItemExporter。
ItemExporter的代码不多,但必须配合自定义的StorePipeline使用。
客观们想要什么样的格式,就到format_output的函数里恣意妄为吧。
小2拜谢:custom_pipeline.py

来自:建造者说


2018 - 知识虫 - 我的知识库 渝ICP备16002641号-2

渝公网安备 50010702501581号