Social Bladeのスクレイピング方法：究極のアナリティクスガイド

import asyncio
from playwright.async_api import async_playwright

async def scrape_socialblade():
    async with async_playwright() as p:
        # アンチボット信号をより適切に処理するため、ブラウザを起動
        browser = await p.chromium.launch(headless=True)
        context = await browser.new_context(
            user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
        )
        page = await context.new_page()
        
        # クリエイタープロフィールに移動
        await page.goto('https://socialblade.com/twitch/user/ninja', wait_until='networkidle')
        
        # 統計ヘッダーがレンダリングされるのを待機
        await page.wait_for_selector('#youtube-stats-header-subs')
        
        data = {
            'channel': await page.inner_text('h1'),
            'followers': await page.inner_text('#youtube-stats-header-subs'),
            'views': await page.inner_text('#youtube-stats-header-views')
        }
        
        print(data)
        await browser.close()

asyncio.run(scrape_socialblade())

import scrapy

class SocialBladeSpider(scrapy.Spider):
    name = 'socialblade_top_list'
    start_urls = ['https://socialblade.com/youtube/top/100/mostsubscribed']
    
    # 注意: ScrapyでCloudflareをバイパスするには、カスタムミドルウェアやプロキシが必要です
    def parse(self, response):
        # トップ100リストのテーブルから行を選択
        for row in response.css('div[style*="padding: 0px 20px;"]'):
            yield {
                'rank': row.css('div:nth-child(1)::text').get().strip(),
                'grade': row.css('div:nth-child(2) span::text').get(),
                'username': row.css('a::text').get(),
                'subscribers': row.css('div:nth-child(5)::text').get(),
                'views': row.css('div:nth-child(6)::text').get()
            }
            
        # 他のページが存在する場合のページネーション処理
        # Social Bladeは通常 /top/100/mostsubscribed/page/2 のような直接的なURL構造を使用します

const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

(async () => {
  const browser = await puppeteer.launch({ headless: true });
  const page = await browser.newPage();
  
  // Cloudflareによるブロックの可能性を減らすためにStealthプラグインを使用
  await page.goto('https://socialblade.com/instagram/user/cristiano', { waitUntil: 'networkidle2' });
  
  const results = await page.evaluate(() => {
    const header = document.querySelector('h1')?.innerText;
    const followers = document.querySelector('#youtube-stats-header-subs')?.innerText;
    return { header, followers };
  });

  console.log('スクレイピング結果:', results);
  await browser.close();
})();