Weather.com のスクレイピング方法：気象データ抽出ガイド

from playwright.sync_api import sync_playwright

def scrape_weather():
    with sync_playwright() as p:
        # Akamai と React を処理するために、ブラウザを起動
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        
        # 特定のロケーション（この場合はニューヨーク市）に移動
        page.goto('https://weather.com/weather/today/l/USNY0996:1:US')
        
        # React でレンダリングされる特定の要素が表示されるまで待機
        page.wait_for_selector('[data-testid="TemperatureValue"]')
        
        # 安定した data-testid 属性を使用してデータを抽出
        data = {
            'temp': page.inner_text('[data-testid="TemperatureValue"]'),
            'location': page.inner_text('h1[class*="CurrentConditions"]'),
            'details': page.inner_text('[data-testid="precipPhrase"]')
        }
        
        print(f"{data['location']} の天気: {data['temp']} - {data['details']}")
        browser.close()

scrape_weather()

import scrapy

class WeatherSpider(scrapy.Spider):
    name = 'weather_spider'
    start_urls = ['https://weather.com/weather/today/l/USNY0996:1:US']

    def parse(self, response):
        # Scrapy 単体では Weather.com の JavaScript レンダリングを処理できません
        # Scrapy-Playwright または Scrapy-Splash との統合が必要です
        yield {
            'location': response.css('h1[class*="CurrentConditions"]::text').get(),
            'temperature': response.css('[data-testid="TemperatureValue"]::text').get(),
            'humidity': response.xpath('//span[@data-testid="PercentageValue"]/text()').get(),
            'uv_index': response.css('[data-testid="uvIndexValue"]::text').get()
        }

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();

  // 即座のブロックを避けるため、現実的な User-Agent を設定します
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36');

  await page.goto('https://weather.com/weather/today/l/USNY0996:1:US', { waitUntil: 'networkidle2' });

  // document evaluation を使用してデータを抽出
  const weatherData = await page.evaluate(() => {
    const temp = document.querySelector('[data-testid="TemperatureValue"]')?.innerText;
    const location = document.querySelector('h1[class*="CurrentConditions"]')?.innerText;
    return { temp, location };
  });

  console.log(weatherData);
  await browser.close();
})();