Social Blade 스크래핑 방법: 궁극의 분석 가이드

import asyncio
from playwright.async_api import async_playwright

async def scrape_socialblade():
    async with async_playwright() as p:
        # 안티봇 신호를 더 잘 처리하기 위해 헤드리스 브라우저 실행
        browser = await p.chromium.launch(headless=True)
        context = await browser.new_context(
            user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
        )
        page = await context.new_page()
        
        # 크리에이터 프로필로 이동
        await page.goto('https://socialblade.com/twitch/user/ninja', wait_until='networkidle')
        
        # 통계 헤더가 렌더링될 때까지 대기
        await page.wait_for_selector('#youtube-stats-header-subs')
        
        data = {
            'channel': await page.inner_text('h1'),
            'followers': await page.inner_text('#youtube-stats-header-subs'),
            'views': await page.inner_text('#youtube-stats-header-views')
        }
        
        print(data)
        await browser.close()

asyncio.run(scrape_socialblade())

import scrapy

class SocialBladeSpider(scrapy.Spider):
    name = 'socialblade_top_list'
    start_urls = ['https://socialblade.com/youtube/top/100/mostsubscribed']
    
    # 참고: Scrapy가 Cloudflare를 우회하려면 커스텀 미들웨어나 프록시가 필요합니다.
    def parse(self, response):
        # 상위 100위 리스트 테이블에서 행 선택
        for row in response.css('div[style*="padding: 0px 20px;"]'):
            yield {
                'rank': row.css('div:nth-child(1)::text').get().strip(),
                'grade': row.css('div:nth-child(2) span::text').get(),
                'username': row.css('a::text').get(),
                'subscribers': row.css('div:nth-child(5)::text').get(),
                'views': row.css('div:nth-child(6)::text').get()
            }
            
        # 추가 페이지가 있는 경우 페이지네이션 처리
        # Social Blade는 일반적으로 /top/100/mostsubscribed/page/2와 같은 직접 URL 구조를 사용합니다.

const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

(async () => {
  const browser = await puppeteer.launch({ headless: true });
  const page = await browser.newPage();
  
  // Cloudflare 차단 가능성을 줄이기 위해 Stealth 플러그인 사용
  await page.goto('https://socialblade.com/instagram/user/cristiano', { waitUntil: 'networkidle2' });
  
  const results = await page.evaluate(() => {
    const header = document.querySelector('h1')?.innerText;
    const followers = document.querySelector('#youtube-stats-header-subs')?.innerText;
    return { header, followers };
  });

  console.log('Scraped Data:', results);
  await browser.close();
})();