The AA (theaa.com) をスクレイピングする方法：自動車および保険データのテクニカルガイド

import asyncio
from playwright.async_api import async_playwright

async def scrape_aa():
    async with async_playwright() as p:
        # デバッグ時は有頭、通常はheadlessモードでブラウザを起動
        browser = await p.chromium.launch(headless=True)
        page = await browser.new_page()
        
        # リスティングページへ移動
        await page.goto('https://www.theaa.com/used-cars/bmw/3-series')
        
        # JS経由でレンダリングされるリスティングアイテムを待機
        await page.wait_for_selector('.listing-item')
        
        # ページコンテキストからデータを抽出
        cars = await page.eval_on_selector_all('.listing-item', """
            elements => elements.map(el => ({
                title: el.querySelector('h3')?.innerText,
                price: el.querySelector('strong')?.innerText,
                mileage: el.querySelector('.mileage')?.innerText
            }))
        """)
        
        for car in cars:
            print(car)
            
        await browser.close()

asyncio.run(scrape_aa())

import scrapy

class AACarsSpider(scrapy.Spider):
    name = 'aa_spider'
    allowed_domains = ['theaa.com']
    start_urls = ['https://www.theaa.com/used-cars/ford/fiesta']

    def parse(self, response):
        # リスティングブロックをループ処理
        for car in response.css('.listing-item'):
            yield {
                'make_model': car.css('h3::text').get(),
                'price': car.css('strong::text').get(),
                'details': car.css('ul.listing-details li::text').getall()
            }
        
        # ページネーションリンクの処理
        next_page = response.css('a.next-pagination::attr(href)').get()
        if next_page:
            yield response.follow(next_page, self.parse)

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  
  // 一般的なUser-Agentでボットのプロファイルを隠蔽
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36');
  
  await page.goto('https://www.theaa.com/used-cars/brands');
  
  // クローリング用の自動車ブランドリンクを抽出
  const brands = await page.evaluate(() => {
    return Array.from(document.querySelectorAll('a[href^="/used-cars/"]'))
                .map(a => a.innerText.trim())
                .filter(text => text.length > 0);
  });
  
  console.log('Available Brands:', brands);
  await browser.close();
})();