কিভাবে SlideShare স্ক্র্যাপ করবেন: প্রেজেন্টেশন এবং ট্রান্সক্রিপ্ট এক্সট্র্যাক্ট করার নিয়ম

from playwright.sync_api import sync_playwright

def scrape_dynamic_slides(url):
    with sync_playwright() as p:
        # একটি হেডলেস ব্রাউজার লঞ্চ করুন
        browser = p.chromium.launch(headless=True)
        context = browser.new_context(user_agent="Mozilla/5.0")
        page = context.new_page()
        
        # SlideShare পেজে নেভিগেট করুন
        page.goto(url, wait_until="networkidle")
        
        # স্লাইড ইমেজগুলো রেন্ডার হওয়ার জন্য অপেক্ষা করুন
        page.wait_for_selector('.slide_image')
        
        # সমস্ত স্লাইড ইমেজের URL এক্সট্র্যাক্ট করুন
        slides = page.query_selector_all('.slide_image')
        image_urls = [slide.get_attribute('src') for slide in slides]
        
        print(f"Found {len(image_urls)} slides")
        for url in image_urls:
            print(url)
            
        browser.close()

scrape_dynamic_slides('https://www.slideshare.net/example-presentation')

import scrapy

class SlideshareSpider(scrapy.Spider):
    name = 'slideshare_spider'
    allowed_domains = ['slideshare.net']
    start_urls = ['https://www.slideshare.net/explore']

    def parse(self, response):
        # ক্যাটাগরি পেজ থেকে প্রেজেন্টেশন লিঙ্কগুলো এক্সট্র্যাক্ট করুন
        links = response.css('a.presentation-link::attr(href)').getall()
        for link in links:
            yield response.follow(link, self.parse_presentation)

    def parse_presentation(self, response):
        yield {
            'title': response.css('h1.presentation-title::text').get(strip=True),
            'author': response.css('.author-name::text').get(strip=True),
            'views': response.css('.view-count::text').get(strip=True),
            'transcript': " ".join(response.css('.transcription p::text').getall())
        }

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  
  // বেসিক ফিল্টার বাইপাস করতে হিউম্যান ব্রাউজার অনুকরণ করুন
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36');
  
  await page.goto('https://www.slideshare.net/example-presentation');
  
  // ডাইনামিক কন্টেন্ট লোড হওয়ার জন্য অপেক্ষা করুন
  await page.waitForSelector('.presentation-title');
  
  const data = await page.evaluate(() => {
    const title = document.querySelector('.presentation-title').innerText;
    const slideCount = document.querySelectorAll('.slide_image').length;
    return { title, slideCount };
  });

  console.log(data);
  await browser.close();
})();