jup.agのスクレイピング方法：Jupiter DEX ウェブスクレイパーガイド

from playwright.sync_api import sync_playwright

def scrape_jupiter_tokens():
    with sync_playwright() as p:
        # Next.js フロントエンドをレンダリングできるブラウザを起動
        browser = p.chromium.launch(headless=True)
        context = browser.new_context(
            user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
        )
        page = context.new_page()
        page.goto("https://jup.ag/tokens", wait_until="networkidle")
        
        # DOM に token リスト項目がレンダリングされるのを待つ
        # 注意: セレクターは現在の UI ビルドに基づいて更新する必要があります
        page.wait_for_selector(".token-item")
        tokens = page.query_selector_all(".token-item")
        
        for token in tokens[:10]:
            name = token.query_selector(".token-name").inner_text()
            price = token.query_selector(".token-price").inner_text()
            print(f"{name}: {price}")
        
        browser.close()

scrape_jupiter_tokens()

import scrapy
import json

class JupiterTokenSpider(scrapy.Spider):
    name = 'jupiter_tokens'
    # フロントエンドで使用されている token リストの JSON エンドポイントを直接ヒットする
    start_urls = ['https://token.jup.ag/all']

    def parse(self, response):
        # レスポンスはすべての検証済み token の生の JSON リストです
        tokens = json.loads(response.text)
        for token in tokens[:100]:
            yield {
                'symbol': token.get('symbol'),
                'name': token.get('name'),
                'address': token.get('address'),
                'decimals': token.get('decimals'),
                'logoURI': token.get('logoURI')
            }

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({ headless: true });
  const page = await browser.newPage();
  
  // 基本的なフィルターを回避するために、現実的な User-Agent を設定します
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36');
  
  // メインのスワップページに移動
  await page.goto('https://jup.ag/', { waitUntil: 'networkidle2' });
  
  // 部分一致セレクターを使用して価格要素を抽出する例
  const solPrice = await page.evaluate(() => {
    const element = document.querySelector('div[class*="price"]');
    return element ? element.innerText : '価格が見つかりません';
  });
  
  console.log(`UIで確認されたライブ SOL 価格: ${solPrice}`);
  await browser.close();
})();