Apartments Near Meのスクレイピング方法 | 不動産データスクレイパー

from playwright.sync_api import sync_playwright

def scrape_community_data():
    with sync_playwright() as p:
        # ヘッドレスモードでブラウザを起動
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        page.goto("https://www.apartmentsnearme.biz/community/", wait_until="networkidle")

        # 動的なElementorスライダーコンテンツがロードされるのを待機
        page.wait_for_selector(".elementor-carousel-image-overlay")
        
        # リストされているすべてのコミュニティ名を抽出
        elements = page.query_selector_all(".elementor-carousel-image-overlay")
        for el in elements:
            print("コミュニティ:", el.inner_text())

        browser.close()

scrape_community_data()

import scrapy

class ApartmentsSpider(scrapy.Spider):
    name = 'apartments_spider'
    start_urls = ['https://www.apartmentsnearme.biz/community/']

    def parse(self, response):
        # コミュニティ概要からリスティング名を抽出
        for listing in response.css('.elementor-image-box-wrapper'):
            yield {
                'name': listing.css('.elementor-image-box-title::text').get(),
                'link': listing.css('a::attr(href)').get(),
                'description': listing.css('.elementor-image-box-description::text').get()
            }
        
        # ページネーションまたは個別コミュニティページへの内部リンクの例
        links = response.css('.elementor-button-link::attr(href)').getall()
        for link in links:
            yield response.follow(link, self.parse_details)

    def parse_details(self, response):
        yield {
            'address': response.css('.elementor-icon-list-text::text').get(),
            'phone': response.css('a[href^="tel:"]::text').get()
        }

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  
  // すべての要素がロードされるようにビューポートを設定
  await page.setViewport({ width: 1280, height: 800 });
  await page.goto('https://www.apartmentsnearme.biz/community/', { waitUntil: 'networkidle2' });

  // Elementorカルーセルのオーバーレイからデータを抽出
  const results = await page.evaluate(() => {
    const titles = Array.from(document.querySelectorAll('.elementor-carousel-image-overlay'));
    return titles.map(t => t.textContent.trim());
  });

  console.log('抽出されたコミュニティ:', results);
  await browser.close();
})();