Animal Cornerをスクレイピングする方法 | 野生動物＆自然データスクレイパー

from playwright.sync_api import sync_playwright

def scrape_animal_corner():
    with sync_playwright() as p:
        # ヘッドレスブラウザを起動
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        page.goto('https://animalcorner.org/animals/african-elephant/')
        
        # メインの見出しがロードされるのを待つ
        title = page.inner_text('h1')
        print(f'動物名: {title}')
        
        # 特定の事実に関する段落を抽出
        facts = page.query_selector_all('p')
        for fact in facts[:3]:
            print(f'事実: {fact.inner_text()}')
            
        browser.close()

if __name__ == "__main__":
    scrape_animal_corner()

import scrapy

class AnimalSpider(scrapy.Spider):
    name = 'animal_spider'
    start_urls = ['https://animalcorner.org/animals/']

    def parse(self, response):
        # ディレクトリ内の個々の動物ページへのリンクをたどる
        for animal_link in response.css('a[href*="/animals/"]::attr(href)').getall():
            yield response.follow(animal_link, self.parse_animal)

    def parse_animal(self, response):
        # 動物プロフィールから構造化データを抽出する
        yield {
            'common_name': response.css('h1::text').get().strip(),
            'scientific_name': response.xpath('//p[contains(., "(")]/text()').re_first(r'\((.*?)\)'),
            'description': ' '.join(response.css('p::text').getall()[:5])
        }

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://animalcorner.org/animals/african-elephant/');

  const data = await page.evaluate(() => {
    // タイトルと導入段落を抽出
    return {
      title: document.querySelector('h1').innerText.trim(),
      firstParagraph: document.querySelector('p').innerText.trim()
    };
  });

  console.log('抽出されたデータ:', data);
  await browser.close();
})();