IQAir の大気質データをスクレイピングする方法

from playwright.sync_api import sync_playwright

def scrape_iqair_live():
    with sync_playwright() as p:
        # ステルス設定でブラウザを起動
        browser = p.chromium.launch(headless=True)
        context = browser.new_context(user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64)...')
        page = context.new_page()

        # 特定の都市ページへ移動
        page.goto('https://www.iqair.com/usa/new-york/new-york-city', wait_until='networkidle')

        # 動的な AQI 値の要素が表示されるのを待機
        page.wait_for_selector('.aqi-value__value')

        # DOM からデータを抽出
        data = {
            'city': page.inner_text('h1'),
            'aqi': page.inner_text('.aqi-value__value'),
            'pollutant': page.inner_text('.pollutant-level-wrapper b'),
            'temp': page.inner_text('.weather__detail--temp')
        }

        print(data)
        browser.close()

if __name__ == '__main__':
    scrape_iqair_live()

import scrapy

class IQAirRankingSpider(scrapy.Spider):
    name = 'iqair_spider'
    start_urls = ['https://www.iqair.com/world-air-quality-ranking']

    def parse(self, response):
        # グローバルランキングテーブルからデータを抽出
        # 注: このサイトでは通常、scrapy-playwright のような JS ミドルウェアが必要です
        for row in response.css('table.ranking__table tr'):
            yield {
                'rank': row.css('td.rank::text').get(),
                'city': row.css('a.city-name::text').get(),
                'aqi': row.css('td.aqi::text').get(),
                'country': row.css('span.country-name::text').get()
            }

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({ headless: true });
  const page = await browser.newPage();
  
  try {
    // 即時のブロックを避けるために実際のユーザーをエミュレートする
    await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...');
    await page.goto('https://www.iqair.com/usa/new-york/new-york-city', { waitUntil: 'networkidle2' });

    // 動的コンテンツをキャプチャする
    const result = await page.evaluate(() => {
      return {
        city: document.querySelector('h1')?.innerText,
        aqi: document.querySelector('.aqi-value__value')?.innerText,
        main_pollutant: document.querySelector('.pollutant-level-wrapper b')?.innerText
      };
    });

    console.log(result);
  } catch (err) {
    console.error('スクレイピングに失敗しました:', err);
  } finally {
    await browser.close();
  }
})();