Skip to main content
 首页 » 编程设计

python之使用scrapy/python通过网络爬虫提取联系信息

2025年05月04日10daizhj

总的来说,我对scrapy和python很陌生,但我真的很想学习,我为此付出了很多努力!我正在尝试抓取 eb5info.com,选择每个单独的区域中心,并复制每个区域中心的电话号码和电子邮件。但是,当我抓取它时,它通知我抓取了 0 个网站。非常感谢任何帮助!

这是我的蜘蛛:

from scrapy.item import Item, Field 
 
class Eb5Item(Item): 
description = Field() 
 
from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy.selector import HtmlXPathSelector 
from parser_module.items import Eb5Item 
 
class Eb5Spider(CrawlSpider): 
    name = 'eb5' 
    allowed_domains = ["eb5info.com"] 
    start_urls = ["http://eb5info.com/regional-centers"] 
    rules = (Rule(SgmlLinkExtractor(allow=[r'regional-centers/*$']), callback='parse_item'),) 
    def parse_item(self, response): 
        hxs = HtmlXPathSelector(response) 
        sites = hxs.select('//ul/li/a/@href') 
        items = [] 
        for site in sites: 
            item = Eb5Item() 
            item['url'] = response.url 
            item['phone'] = site.select("()").extract() 
            items.append(item) 
        return (items) 

这是我的项目文件:

from scrapy.item import Item, Field 
 
class Eb5Item(Item): 
    # define the fields for your item here like: 
    name = Field() 
    email = Field() 
    name = Field() 
    description = Field() 
    phone = Field() 
    pass 

非常感谢!

请您参考如下方法:

诚然,为此使用 Scrapy 有点太强大了。我个人会将 requests 与 lxml 或 BeautifulSoup 结合使用。

无论如何,这是您的代码的工作版本。我没有费心清理结果。这取决于你。

from scrapy.contrib.spiders import CrawlSpider 
from scrapy.selector import Selector 
from scrapy import Item, Field 
from scrapy.http import Request 
import urlparse 
 
class Eb5Item(Item): 
 
    name = Field() 
    email = Field() 
    name = Field() 
    description = Field() 
    phone = Field() 
    url = Field() 
 
class Eb5Spider(CrawlSpider): 
 
    name = 'eb5' 
    allowed_domains = ["eb5info.com"] 
    start_urls = ["http://eb5info.com/regional-centers/"] 
 
    def parse(self, response): 
        hxs = Selector(response) 
        sites = hxs.xpath('//ul/li/a/@href') 
        for site in sites: 
            yield Request(urlparse.urljoin("http://www.eb5info.com", site.extract()), callback=self.parse_item) 
 
    def parse_item(self, response): 
        hxs = Selector(response) 
        item = Eb5Item() 
        item['url'] = hxs.xpath("//dd/a/@href").extract() 
        # item[blah]... 
        print item['url'] 
        return item 

它的工作方式是parse 从start_urls 获取链接。由于只有一个页面(start_urls 中的相同 URL)包含所有链接,因此无需使用 Rule 来跟随其他页面。

我们覆盖 parse 以从所述页面获取链接,然后使用 Request 向 parse_item 发出回调。这意味着对于 parse 找到的每个链接,我们“进入”该链接并在其中执行 parse_item。

这个级别的抓取在技术上很容易,并不真正符合爬网的条件,这意味着 CrawlSpider 在这个级别上有点矫枉过正。

请注意,我使用的是最新版本的Scrapy,因此某些类和方法与您的不同。