当前位置: 代码迷 >> 综合 >> scrapy yield request失效问题
  详细解决方案

scrapy yield request失效问题

热度:32   发布时间:2023-12-23 01:58:27.0

1.出现的域名问题,可能yield request 中url允许的域名没有添加进去
allowed_domains = [‘www.search.51job.com’,‘www.jobs.51job.com’]

2.可以试试添加dont filter = true
yield scrapy.Request(url=url, callback=self.detail, dont_filter=True)

  相关解决方案