كيفية كشط jup.ag: دليل مكشط ويب Jupiter DEX

from playwright.sync_api import sync_playwright

def scrape_jupiter_tokens():
    with sync_playwright() as p:
        # تشغيل متصفح يمكنه عرض واجهة Next.js الأمامية
        browser = p.chromium.launch(headless=True)
        context = browser.new_context(
            user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
        )
        page = context.new_page()
        page.goto("https://jup.ag/tokens", wait_until="networkidle")
        
        # الانتظار حتى يتم عرض عناصر قائمة الـ token في DOM
        # ملاحظة: يجب تحديث المحددات بناءً على إصدار واجهة المستخدم الحالي
        page.wait_for_selector(".token-item")
        tokens = page.query_selector_all(".token-item")
        
        for token in tokens[:10]:
            name = token.query_selector(".token-name").inner_text()
            price = token.query_selector(".token-price").inner_text()
            print(f"{name}: {price}")
        
        browser.close()

scrape_jupiter_tokens()

import scrapy
import json

class JupiterTokenSpider(scrapy.Spider):
    name = 'jupiter_tokens'
    # الاتصال مباشرة بنقطة نهاية JSON لقائمة الـ tokens المستخدمة في الواجهة الأمامية
    start_urls = ['https://token.jup.ag/all']

    def parse(self, response):
        # الاستجابة هي قائمة JSON خام لجميع الـ tokens الموثقة
        tokens = json.loads(response.text)
        for token in tokens[:100]:
            yield {
                'symbol': token.get('symbol'),
                'name': token.get('name'),
                'address': token.get('address'),
                'decimals': token.get('decimals'),
                'logoURI': token.get('logoURI')
            }

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({ headless: true });
  const page = await browser.newPage();
  
  // تعيين User-Agent واقعي للمساعدة في تجاوز الفلاتر الأساسية
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36');
  
  // الانتقال إلى صفحة الـ swap الرئيسية
  await page.goto('https://jup.ag/', { waitUntil: 'networkidle2' });
  
  // مثال على استخراج عنصر السعر باستخدام محدد جزئي
  const solPrice = await page.evaluate(() => {
    const element = document.querySelector('div[class*="price"]');
    return element ? element.innerText : 'Price not found';
  });
  
  console.log(`Live SOL Price observed in UI: ${solPrice}`);
  await browser.close();
})();