Wikipediaのスクレイピング方法：究極のWebスクレイピングガイド

from playwright.sync_api import sync_playwright

def scrape_wikipedia():
    with sync_playwright() as p:
        # ヘッドレスブラウザを起動
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        
        # Wikipedia のランダムな記事に移動
        page.goto('https://en.wikipedia.org/wiki/Special:Random')
        
        # タイトル要素がロードされるのを待機
        page.wait_for_selector('#firstHeading')
        
        # タイトルを抽出
        title = page.inner_text('#firstHeading')
        print(f'Random Article Title: {title}')
        
        # ブラウザセッションを終了
        browser.close()

if __name__ == '__main__':
    scrape_wikipedia()

import scrapy

class WikiSpider(scrapy.Spider):
    name = 'wiki_spider'
    allowed_domains = ['en.wikipedia.org']
    # 複数の記事をクロールするためにカテゴリページから開始
    start_urls = ['https://en.wikipedia.org/wiki/Category:Web_scraping']

    def parse(self, response):
        # カテゴリページからすべての記事リンクを抽出
        links = response.css('.mw-category-group a::attr(href)').getall()
        for link in links:
            yield response.follow(link, self.parse_article)

    def parse_article(self, response):
        # 各記事ページの構造化データを生成
        yield {
            'title': response.css('#firstHeading::text').get(),
            'url': response.url,
            'categories': response.css('#mw-normal-catlinks ul li a::text').getall()
        }

const puppeteer = require('puppeteer');

(async () => {
  // ブラウザを起動
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  
  // 一般的なボットブロックを避けるため、カスタム User-Agent を設定
  await page.setUserAgent('MyResearchScraper/1.0');
  
  // ターゲットの記事に移動
  await page.goto('https://en.wikipedia.org/wiki/Artificial_intelligence');
  
  // データを抽出するためにページ内でスクリプトを実行
  const pageData = await page.evaluate(() => {
    const title = document.querySelector('#firstHeading').innerText;
    const firstSection = document.querySelector('.mw-parser-output > p:not(.mw-empty-elt)').innerText;
    return { title, firstSection };
  });
  
  console.log('Title:', pageData.title);
  await browser.close();
})();