Pycharm中Scrapy框架运行测试

Pycharm中Scrapy框架运行测试 运行

4.改写生成文件 第一步：修改全局配置文件settings.py(打开settings文件后，会发现语句都附加了用途解释和语句格式)

根据你爬虫所要模拟的浏览器来设置请求头

设置最大爬虫并发数

设置下载延时时间1秒：DOWNLOAD_DELAY = 1 设置是否保存cookies，默认关闭：cookieS_ENABLED = False #开启以后可以记录爬取过程中的cookie

改写请求头

最后设置项目管道

第二步：打开pipelines.py，定义通道。注意：管道名要与settings.py中的管道名一致！

第三步：打开items.py，根据需要定义要爬取的数据项