কিভাবে Zillow স্ক্র্যাপ করবেন: রিয়েল এস্টেট ডেটার জন্য আলটিমেট গাইড (২০২৫)

from playwright.sync_api import sync_playwright

def scrape_zillow():
    with sync_playwright() as p:
        # বেসিক চেক এড়াতে একটি রিয়েল ইউজার এজেন্ট দিয়ে লঞ্চ করা হচ্ছে
        browser = p.chromium.launch(headless=True)
        context = browser.new_context(user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36')
        page = context.new_page()
        
        # নেভিগেট করুন এবং React দ্বারা কন্টেন্ট পুরোপুরি রেন্ডার হওয়া পর্যন্ত অপেক্ষা করুন
        page.goto('https://www.zillow.com/homes/for_sale/90210_rb/', wait_until='networkidle')
        
        # প্রপার্টি কার্ড সিলেক্টর আসার জন্য অপেক্ষা করুন
        page.wait_for_selector('[data-test="property-card"]')
        
        # রেন্ডার হওয়া DOM থেকে ডেটা এক্সট্রাক্ট করুন
        listings = page.query_selector_all('[data-test="property-card"]')
        for listing in listings:
            price_el = listing.query_selector('[data-test="property-card-price"]')
            address_el = listing.query_selector('address')
            
            price = price_el.inner_text() if price_el else "N/A"
            address = address_el.inner_text() if address_el else "N/A"
            print(f'Price: {price}, Address: {address}')
            
        browser.close()

scrape_zillow()

import scrapy
import json

class ZillowSpider(scrapy.Spider):
    name = 'zillow'
    start_urls = ['https://www.zillow.com/homes/for_sale/90210_rb/']

    def parse(self, response):
        # Zillow __NEXT_DATA__ নামের একটি JSON স্ক্রিপ্ট ট্যাগে ডেটা স্টোর করে
        # এটি HTML লেআউট স্ক্র্যাপ করার চেয়ে বেশি স্ট্যাবল
        json_data = response.xpath('//script[@id="__NEXT_DATA__"]/text()').get()
        if json_data:
            data = json.loads(json_data)
            # লিস্টিং রেজাল্ট খুঁজে পেতে নেস্টেড JSON স্ট্রাকচার নেভিগেট করুন
            results = data.get('props', {}).get('pageProps', {}).get('searchPageState', {}).get('cat1', {}).get('searchResults', {}).get('listResults', [])
            for item in results:
                yield {
                    'price': item.get('price'),
                    'address': item.get('address'),
                    'zpid': item.get('zpid'),
                    'bedrooms': item.get('beds'),
                    'bathrooms': item.get('baths')
                }

const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

(async () => {
  // DataDome ডিটেকশন এড়াতে stealth প্লাগইন সহ ব্রাউজার লঞ্চ করা হচ্ছে
  const browser = await puppeteer.launch({ headless: true });
  const page = await browser.newPage();
  
  // মানুষের মতো আচরণ করতে একটি এক্সট্রা হেডার সেট করা হচ্ছে
  await page.setExtraHTTPHeaders({
    'Accept-Language': 'en-US,en;q=0.9'
  });

  await page.goto('https://www.zillow.com/homes/for_sale/90210_rb/', { waitUntil: 'networkidle2' });

  const properties = await page.evaluate(() => {
    const cards = Array.from(document.querySelectorAll("[data-test='property-card']"));
    return cards.map(card => ({
      price: card.querySelector("[data-test='property-card-price']")?.innerText,
      address: card.querySelector("address")?.innerText
    }));
  });

  console.log(properties);
  await browser.close();
})();