Weather.com 스크래핑 방법: 날씨 데이터 추출 가이드

from playwright.sync_api import sync_playwright

def scrape_weather():
    with sync_playwright() as p:
        # Akamai와 React를 처리하기 위해 headed 또는 headless 브라우저 실행
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        
        # 특정 위치로 이동 (이 경우 뉴욕시)
        page.goto('https://weather.com/weather/today/l/USNY0996:1:US')
        
        # 특정 React 렌더링 요소가 나타날 때까지 대기
        page.wait_for_selector('[data-testid="TemperatureValue"]')
        
        # 안정적인 data-testid 속성을 사용하여 데이터 추출
        data = {
            'temp': page.inner_text('[data-testid="TemperatureValue"]'),
            'location': page.inner_text('h1[class*="CurrentConditions"]'),
            'details': page.inner_text('[data-testid="precipPhrase"]')
        }
        
        print(f"{data['location']}의 날씨: {data['temp']} - {data['details']}")
        browser.close()

scrape_weather()

import scrapy

class WeatherSpider(scrapy.Spider):
    name = 'weather_spider'
    start_urls = ['https://weather.com/weather/today/l/USNY0996:1:US']

    def parse(self, response):
        # Scrapy 단독으로는 Weather.com의 JavaScript 렌더링을 처리할 수 없습니다.
        # Scrapy-Playwright 또는 Scrapy-Splash와의 통합이 필요합니다.
        yield {
            'location': response.css('h1[class*="CurrentConditions"]::text').get(),
            'temperature': response.css('[data-testid="TemperatureValue"]::text').get(),
            'humidity': response.xpath('//span[@data-testid="PercentageValue"]/text()').get(),
            'uv_index': response.css('[data-testid="uvIndexValue"]::text').get()
        }

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();

  // 즉각적인 차단을 피하기 위해 실제 User-Agent 설정
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36');

  await page.goto('https://weather.com/weather/today/l/USNY0996:1:US', { waitUntil: 'networkidle2' });

  // 문서 평가를 사용하여 데이터 추출
  const weatherData = await page.evaluate(() => {
    const temp = document.querySelector('[data-testid="TemperatureValue"]')?.innerText;
    const location = document.querySelector('h1[class*="CurrentConditions"]')?.innerText;
    return { temp, location };
  });

  console.log(weatherData);
  await browser.close();
})();