Biluppgifter.seをスクレイピングする方法：車両データ抽出ガイド

from playwright.sync_api import sync_playwright

def scrape_biluppgifter_js(reg_no):
    with sync_playwright() as p:
        # ヘッドレスブラウザを起動
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        url = f'https://biluppgifter.se/fordon/{reg_no}'
        
        # 移動してJSがh1タグをレンダリングするのを待機
        page.goto(url)
        page.wait_for_selector('h1')
        
        # ページタイトルとデータを抽出
        data = {
            'title': page.inner_text('h1'),
            'tax': page.locator('.tax-value').inner_text() if page.locator('.tax-value').count() > 0 else 'N/A'
        }
        print(data)
        browser.close()

scrape_biluppgifter_js('ABC123')

import scrapy

class BiluppgifterSpider(scrapy.Spider):
    name = 'bil_spider'
    allowed_domains = ['biluppgifter.se']
    start_urls = ['https://biluppgifter.se/marke/']

    def parse(self, response):
        # リスティングページから車両リンクを抽出
        for vehicle in response.css('.vehicle-card'):
            yield {
                'registration': vehicle.css('.reg-number::text').get(),
                'link': vehicle.css('a::attr(href)').get()
            }
        
        # ページネーションがある場合は追跡
        next_page = response.css('a.next-page::attr(href)').get()
        if next_page:
            yield response.follow(next_page, self.parse)

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  
  // 特定の車両ページにアクセス
  await page.goto('https://biluppgifter.se/fordon/ABC123');
  
  // データテーブルが読み込まれるのを待機
  const vehicleInfo = await page.evaluate(() => {
    return {
      name: document.querySelector('h1')?.innerText,
      specs: Array.from(document.querySelectorAll('.technical-data li'))
        .map(li => li.innerText.trim())
    };
  });

  console.log(vehicleInfo);
  await browser.close();
})();