Bento.me をスクレイピングする方法 | Bento.me ウェブスクレイパー

from playwright.sync_api import sync_playwright

def run(playwright):
    # ヘッドレスブラウザを起動
    browser = playwright.chromium.launch(headless=True)
    page = browser.new_page()
    # Bento のプロフィールへ移動
    page.goto('https://bento.me/alex')
    # メインのプロフィール見出しが読み込まれるのを待機
    page.wait_for_selector('h1')
    
    # レンダリングされたページからコンテンツを抽出
    name = page.inner_text('h1')
    links = [a.get_attribute('href') for a in page.query_selector_all('a')]
    
    print(f'Profile Name: {name}')
    print(f'Links found: {len(links)}')
    
    browser.close()

with sync_playwright() as playwright:
    run(playwright)

import scrapy
import json

class BentoSpider(scrapy.Spider):
    name = 'bento'
    start_urls = ['https://bento.me/alex']

    def parse(self, response):
        # プロフィール JSON ステートを含む Next.js データスクリプトを特定
        raw_data = response.xpath('//script[@id="__NEXT_DATA__"]/text()').get()
        if raw_data:
            data = json.loads(raw_data)
            profile = data['props']['pageProps']['initialState']['user']
            yield {
                'name': profile.get('name'),
                'about': profile.get('about'),
                'links': [tile.get('url') for tile in profile.get('tiles', []) if tile.get('url')],
                'socials': profile.get('socials'),
                'verified': profile.get('isVerified')
            }

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  // すべてのウィジェットが読み込まれるよう networkidle2 を使用
  await page.goto('https://bento.me/alex', { waitUntil: 'networkidle2' });

  const profileData = await page.evaluate(() => {
    // DOM から直接内部ステートにアクセス
    const dataElement = document.getElementById('__NEXT_DATA__');
    if (dataElement) {
      const nextData = JSON.parse(dataElement.innerText);
      return nextData.props.pageProps.initialState.user;
    }
    return null;
  });

  console.log(profileData);
  await browser.close();
})();