Zillow 스크래핑 방법: 부동산 데이터 수집을 위한 가이드 (2025)

from playwright.sync_api import sync_playwright

def scrape_zillow():
    with sync_playwright() as p:
        # 기본 체크를 우회하기 위해 실제 User-Agent로 실행
        browser = p.chromium.launch(headless=True)
        context = browser.new_context(user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36')
        page = context.new_page()
        
        # React에 의해 콘텐츠가 완전히 렌더링될 때까지 탐색 및 대기
        page.goto('https://www.zillow.com/homes/for_sale/90210_rb/', wait_until='networkidle')
        
        # 부동산 카드 selector가 나타날 때까지 대기
        page.wait_for_selector('[data-test="property-card"]')
        
        # 렌더링된 DOM에서 데이터 추출
        listings = page.query_selector_all('[data-test="property-card"]')
        for listing in listings:
            price_el = listing.query_selector('[data-test="property-card-price"]')
            address_el = listing.query_selector('address')
            
            price = price_el.inner_text() if price_el else "N/A"
            address = address_el.inner_text() if address_el else "N/A"
            print(f'Price: {price}, Address: {address}')
            
        browser.close()

scrape_zillow()

import scrapy
import json

class ZillowSpider(scrapy.Spider):
    name = 'zillow'
    start_urls = ['https://www.zillow.com/homes/for_sale/90210_rb/']

    def parse(self, response):
        # Zillow는 __NEXT_DATA__라는 JSON 스크립트 태그에 데이터를 저장합니다.
        # 이는 HTML 레이아웃을 스크래핑하는 것보다 훨씬 안정적입니다.
        json_data = response.xpath('//script[@id="__NEXT_DATA__"]/text()').get()
        if json_data:
            data = json.loads(json_data)
            # 중첩된 JSON 구조를 탐색하여 매물 결과 리스트를 찾습니다.
            results = data.get('props', {}).get('pageProps', {}).get('searchPageState', {}).get('cat1', {}).get('searchResults', {}).get('listResults', [])
            for item in results:
                yield {
                    'price': item.get('price'),
                    'address': item.get('address'),
                    'zpid': item.get('zpid'),
                    'bedrooms': item.get('beds'),
                    'bathrooms': item.get('baths')
                }

const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

(async () => {
  // DataDome 탐지를 피하기 위해 스텔스 플러그인과 함께 브라우저 실행
  const browser = await puppeteer.launch({ headless: true });
  const page = await browser.newPage();
  
  // 더 사람처럼 보이기 위해 추가 헤더 설정
  await page.setExtraHTTPHeaders({
    'Accept-Language': 'en-US,en;q=0.9'
  });

  await page.goto('https://www.zillow.com/homes/for_sale/90210_rb/', { waitUntil: 'networkidle2' });

  const properties = await page.evaluate(() => {
    const cards = Array.from(document.querySelectorAll("[data-test='property-card']"));
    return cards.map(card => ({
      price: card.querySelector("[data-test='property-card-price']")?.innerText,
      address: card.querySelector("address")?.innerText
    }));
  });

  console.log(properties);
  await browser.close();
})();