Worldometersからリアルタイムのグローバル統計をスクレイピングする方法

from playwright.sync_api import sync_playwright

def run_scraper():
    with sync_playwright() as p:
        # 動的なカウンターを処理するためにヘッドレスブラウザを起動
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        page.goto('https://www.worldometers.info/')
        
        # 人口カウンター要素が表示されるまで待機
        page.wait_for_selector('.r-counter span')
        
        # カウンターからライブテキストを抽出
        current_pop = page.inner_text('.r-counter span')
        print(f'Current World Population: {current_pop}')
        
        browser.close()

run_scraper()

import scrapy

class WorldometerSpider(scrapy.Spider):
    name = 'world_spider'
    start_urls = ['https://www.worldometers.info/coronavirus/']

    def parse(self, response):
        # CSSセレクターを使用してテーブルの行をターゲットにする
        rows = response.css('table#main_table_countries_today tr')
        for row in rows[9:50]: # 上位40カ国を処理
            yield {
                'country': row.css('td:nth-child(2) ::text').get(),
                'total_cases': row.css('td:nth-child(3) ::text').get(),
                'total_deaths': row.css('td:nth-child(5) ::text').get(),
                'new_cases': row.css('td:nth-child(4) ::text').get()
            }

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  
  // 検出を避けるために User-Agent を設定
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36');
  
  await page.goto('https://www.worldometers.info/world-population/population-by-country/');
  
  const countryData = await page.evaluate(() => {
    const rows = Array.from(document.querySelectorAll('table#example2 tr'));
    return rows.slice(1, 11).map(row => ({
      country: row.cells[1]?.innerText,
      population: row.cells[2]?.innerText
    }));
  });

  console.log(countryData);
  await browser.close();
})();