Budget Bytes 스크래핑 방법: 레시피 및 가격 데이터 추출 가이드

import asyncio
from playwright.async_api import async_playwright

async def scrape_budget_bytes():
    async with async_playwright() as p:
        # 브라우저 실행
        browser = await p.chromium.launch(headless=True)
        page = await browser.new_page()
        
        # 레시피 페이지로 이동
        await page.goto('https://www.budgetbytes.com/one-pot-creamy-mushroom-pasta/')
        
        # 레시피 컨테이너가 로드될 때까지 대기
        await page.wait_for_selector('.wprm-recipe-container')
        
        # page.evaluate를 통해 데이터 추출
        recipe_data = await page.evaluate('''() => {
            return {
                title: document.querySelector('.wprm-recipe-name')?.innerText,
                total_cost: document.querySelector('.wprm-recipe-cost')?.innerText,
                calories: document.querySelector('.wprm-nutrition-label-text-nutrition-value-calories')?.innerText
            }
        }''')
        
        print(recipe_data)
        await browser.close()

asyncio.run(scrape_budget_bytes())

import scrapy

class BudgetBytesSpider(scrapy.Spider):
    name = 'budget_bytes'
    # 깔끔한 데이터 추출을 위해 WordPress REST API 사용
    start_urls = ['https://www.budgetbytes.com/wp-json/wp/v2/posts?per_page=20']

    def parse(self, response):
        posts = response.json()
        for post in posts:
            yield {
                'id': post.get('id'),
                'title': post.get('title', {}).get('rendered'),
                'url': post.get('link'),
                'published_date': post.get('date'),
                'slug': post.get('slug')
            }
        
        # 헤더에 페이지네이션 정보가 있는 경우 후속 페이지 추적
        # (간결함을 위해 로직 생략)

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  
  // 기본적인 차단을 피하기 위해 유저 에이전트 설정
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36');
  
  await page.goto('https://www.budgetbytes.com/one-pot-creamy-mushroom-pasta/', { waitUntil: 'networkidle2' });

  const data = await page.evaluate(() => {
    const title = document.querySelector('.wprm-recipe-name')?.textContent;
    const costPerServing = document.querySelector('.cost-per')?.textContent;
    const items = Array.from(document.querySelectorAll('.wprm-recipe-ingredient')).map(i => i.textContent.trim());
    return { title, costPerServing, items };
  });

  console.log(data);
  await browser.close();
})();