jup.ag 스크래핑 방법: Jupiter DEX 웹 스크래퍼 가이드

from playwright.sync_api import sync_playwright

def scrape_jupiter_tokens():
    with sync_playwright() as p:
        # Next.js 프론트엔드를 렌더링할 수 있는 브라우저 실행
        browser = p.chromium.launch(headless=True)
        context = browser.new_context(
            user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
        )
        page = context.new_page()
        page.goto("https://jup.ag/tokens", wait_until="networkidle")
        
        # DOM에 token 리스트 항목이 렌더링될 때까지 대기
        # 참고: 선택자는 현재 UI 빌드에 따라 업데이트되어야 함
        page.wait_for_selector(".token-item")
        tokens = page.query_selector_all(".token-item")
        
        for token in tokens[:10]:
            name = token.query_selector(".token-name").inner_text()
            price = token.query_selector(".token-price").inner_text()
            print(f"{name}: {price}")
        
        browser.close()

scrape_jupiter_tokens()

import scrapy
import json

class JupiterTokenSpider(scrapy.Spider):
    name = 'jupiter_tokens'
    # 프론트엔드에서 사용하는 token 리스트 JSON 엔드포인트에 직접 접속
    start_urls = ['https://token.jup.ag/all']

    def parse(self, response):
        # 응답은 검증된 모든 token의 원시 JSON 리스트입니다
        tokens = json.loads(response.text)
        for token in tokens[:100]:
            yield {
                'symbol': token.get('symbol'),
                'name': token.get('name'),
                'address': token.get('address'),
                'decimals': token.get('decimals'),
                'logoURI': token.get('logoURI')
            }

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({ headless: true });
  const page = await browser.newPage();
  
  // 기본 필터 우회를 위해 실제와 유사한 User-Agent 설정
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36');
  
  // 메인 스왑 페이지로 이동
  await page.goto('https://jup.ag/', { waitUntil: 'networkidle2' });
  
  // 부분 선택자를 사용하여 가격 요소를 추출하는 예시
  const solPrice = await page.evaluate(() => {
    const element = document.querySelector('div[class*="price"]');
    return element ? element.innerText : '가격 정보를 찾을 수 없습니다';
  });
  
  console.log(`UI에서 확인된 실시간 SOL 가격: ${solPrice}`);
  await browser.close();
})();