Scrapy 简明教程

Scrapy - Following Links

Description

在本章中，我们将学习如何提取我们感兴趣的页面的链接，跟踪它们并从该页面提取数据。为此，我们需要对我们的 previous code 作出如下更改：

import scrapy
from tutorial.items import DmozItem

class MyprojectSpider(scrapy.Spider):
   name = "project"
   allowed_domains = ["dmoz.org"]

   start_urls = [
      "http://www.dmoz.org/Computers/Programming/Languages/Python/",
   ]
   def parse(self, response):
      for href in response.css("ul.directory.dir-col > li > a::attr('href')"):
         url = response.urljoin(href.extract())
            yield scrapy.Request(url, callback = self.parse_dir_contents)

   def parse_dir_contents(self, response):
      for sel in response.xpath('//ul/li'):
         item = DmozItem()
         item['title'] = sel.xpath('a/text()').extract()
         item['link'] = sel.xpath('a/@href').extract()
         item['desc'] = sel.xpath('text()').extract()
         yield item

上面的代码包含以下方法-

  1. parse() - 它将提取我们感兴趣的链接。

  2. response.urljoin - parse() 方法将使用这种方法来构建一个新的 url 并提供一个新的请求，稍后会将其发送到 callback。

  3. parse_dir_contents() − 这项回叫实际将抓取所需信息。

在此处，Scrapy 使用回叫机制来跟踪链接。利用该机制，可以设计更大的爬虫并且可以跟踪所需的链接以从不同的页面中抓取所需信息。常规方法将是回叫方法，该方法将提取数据项，查找链接来跟踪到下一页，然后针对相同的回叫提供请求。

以下示例生成一个循环，该循环将跟踪链接到下一页。

def parse_articles_follow_next_page(self, response):
   for article in response.xpath("//article"):
      item = ArticleItem()

      ... extract article data here

      yield item

   next_page = response.css("ul.navigation > li.next-page > a::attr('href')")
   if next_page:
      url = response.urljoin(next_page[0].extract())
      yield scrapy.Request(url, self.parse_articles_follow_next_page)