نحوه اسکرپینگ Century 21: راهنمای استخراج داده‌های املاک

from playwright.sync_api import sync_playwright

def scrape_century21():
    with sync_playwright() as p:
        # اجرا با پروفایل مرورگر واقعی برای جلوگیری از شناسایی
        browser = p.chromium.launch(headless=True)
        context = browser.new_context(user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36')
        page = context.new_page()
        
        # پیمایش به صفحه نتایج جستجوی خاص
        page.goto('https://www.century21.com/real-estate/miami-fl/LCCAMIAMI/')
        
        # منتظر ماندن برای رندر کارت‌های پویای املاک
        page.wait_for_selector('.property-card')
        
        # استخراج داده‌ها
        listings = page.query_selector_all('.property-card')
        for item in listings:
            price = item.query_selector('.property-price').inner_text()
            address = item.query_selector('.property-address').inner_text()
            print(f'Home: {price}, Location: {address}')
        
        browser.close()

scrape_century21()

import scrapy

class Century21Spider(scrapy.Spider):
    name = 'century21'
    start_urls = ['https://www.century21.com/real-estate/los-angeles-ca/LCCALOSANGELES/']
    
    # تنظیمات سفارشی برای مدیریت آنتی‌بات و صفحه بندی
    custom_settings = {
        'DOWNLOAD_DELAY': 2,
        'USER_AGENT': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
        'CONCURRENT_REQUESTS': 1
    }

    def parse(self, response):
        for card in response.css('.property-card'):
            yield {
                'price': card.css('.property-price::text').get().strip(),
                'address': card.css('.property-address::text').get().strip(),
                'beds': card.css('.property-beds strong::text').get(),
            }

        # دنبال کردن صفحه بندی
        next_page = response.css('a.next-page::attr(href)').get()
        if next_page:
            yield response.follow(next_page, self.parse)

const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

(async () => {
  const browser = await puppeteer.launch({ headless: true });
  const page = await browser.newPage();
  
  // استفاده از stealth برای دور زدن Akamai/CloudFront
  await page.goto('https://www.century21.com/real-estate/san-francisco-ca/LCCASANFRANCISCO/');
  
  // منتظر ماندن برای بارگذاری محتوای React
  await page.waitForSelector('.property-card');

  const data = await page.evaluate(() => {
    const cards = Array.from(document.querySelectorAll('.property-card'));
    return cards.map(el => ({
      price: el.querySelector('.property-price').innerText.trim(),
      address: el.querySelector('.property-address').innerText.trim()
    }));
  });

  console.log(data);
  await browser.close();
})();