IQAir 대기질 데이터 스크래핑 방법

from playwright.sync_api import sync_playwright

def scrape_iqair_live():
    with sync_playwright() as p:
        # 스텔스 설정으로 브라우저 실행
        browser = p.chromium.launch(headless=True)
        context = browser.new_context(user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64)...')
        page = context.new_page()

        # 특정 도시 페이지로 이동
        page.goto('https://www.iqair.com/usa/new-york/new-york-city', wait_until='networkidle')

        # 동적 AQI 값 요소가 나타날 때까지 대기
        page.wait_for_selector('.aqi-value__value')

        # DOM에서 데이터 추출
        data = {
            'city': page.inner_text('h1'),
            'aqi': page.inner_text('.aqi-value__value'),
            'pollutant': page.inner_text('.pollutant-level-wrapper b'),
            'temp': page.inner_text('.weather__detail--temp')
        }

        print(data)
        browser.close()

if __name__ == '__main__':
    scrape_iqair_live()

import scrapy

class IQAirRankingSpider(scrapy.Spider):
    name = 'iqair_spider'
    start_urls = ['https://www.iqair.com/world-air-quality-ranking']

    def parse(self, response):
        # 글로벌 순위 테이블에서 데이터 추출
        # 참고: 이 사이트에는 대개 scrapy-playwright와 같은 JS 미들웨어가 필요합니다
        for row in response.css('table.ranking__table tr'):
            yield {
                'rank': row.css('td.rank::text').get(),
                'city': row.css('a.city-name::text').get(),
                'aqi': row.css('td.aqi::text').get(),
                'country': row.css('span.country-name::text').get()
            }

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({ headless: true });
  const page = await browser.newPage();
  
  try {
    // 즉각적인 차단을 피하기 위해 실제 사용자 에뮬레이션
    await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...');
    await page.goto('https://www.iqair.com/usa/new-york/new-york-city', { waitUntil: 'networkidle2' });

    // 동적 콘텐츠 캡처
    const result = await page.evaluate(() => {
      return {
        city: document.querySelector('h1')?.innerText,
        aqi: document.querySelector('.aqi-value__value')?.innerText,
        main_pollutant: document.querySelector('.pollutant-level-wrapper b')?.innerText
      };
    });

    console.log(result);
  } catch (err) {
    console.error('스크래핑 실패:', err);
  } finally {
    await browser.close();
  }
})();