Kleinanzeigenのスクレイピング方法 | ドイツ最大のマーケットプレイス

価格モニタリング、不動産トレンド、リード獲得のために Kleinanzeigen をスクレイピングする方法を学びましょう。ドイツ最大のサイトからタイトルや価格を抽出する方法を解説します。

カバー率:Germany
利用可能なデータ10 フィールド
タイトル価格場所説明画像出品者情報連絡先情報投稿日カテゴリ属性
すべての抽出可能フィールド
出品タイトル価格価格タイプ(固定/交渉可)場所(都市および地区)郵便番号詳細な説明画像 URLカテゴリパス投稿日出品 ID出品者名出品者タイプ(個人/法人)出品者評価走行距離(車両の場合)平方メートル(不動産の場合)
技術要件
JavaScript必須
ログイン不要
ページネーションあり
公式APIなし
ボット対策検出
AkamaiDataDomereCAPTCHARate LimitingIP BlockingTLS Fingerprinting

ボット対策検出

Akamai Bot Manager
デバイスフィンガープリント、行動分析、機械学習による高度なボット検出。最も洗練されたアンチボットシステムの一つ。
DataDome
MLモデルによるリアルタイムボット検出。デバイスフィンガープリント、ネットワーク信号、行動パターンを分析。ECサイトで一般的。
Google reCAPTCHA
GoogleのCAPTCHAシステム。v2はユーザー操作が必要、v3はリスクスコアリングでサイレント動作。CAPTCHAサービスで解決可能。
レート制限
時間あたりのIP/セッションごとのリクエストを制限。ローテーションプロキシ、リクエスト遅延、分散スクレイピングで回避可能。
IPブロック
既知のデータセンターIPとフラグ付きアドレスをブロック。効果的に回避するにはレジデンシャルまたはモバイルプロキシが必要。
ブラウザフィンガープリント
ブラウザの特性でボットを識別:canvas、WebGL、フォント、プラグイン。スプーフィングまたは実際のブラウザプロファイルが必要。

Kleinanzeigenについて

Kleinanzeigenが提供するものと抽出可能な貴重なデータを発見してください。

ドイツ最大のクラシファイド広告ハブ

Kleinanzeigen(旧 eBay Kleinanzeigen)は、ドイツで最も著名なオンラインクラシファイドマーケットプレイスです。毎日数百万人の中核的なユーザーが利用しており、高級不動産や車両から家庭用家具、専門的な地域サービスに至るまで、あらゆる取引を促進しています。その圧倒的な規模とドイツ市場における深い定着により、このプラットフォームは同国の二次流通経済や地域の住宅需要を映し出す鏡としての役割を果たしています。

なぜ Kleinanzeigen のスクレイピングが重要なのか

Kleinanzeigen の構造化データにアクセスすることは、中央ヨーロッパの市場変動を理解しようとする企業にとって極めて重要です。このプラットフォームには、グローバルな小売サイトでは入手できない地域限定の情報が含まれており、地域の価格ベンチマークやトレンド分析の宝庫となっています。電子機器の再販価値の追跡であれ、ベルリンの賃貸価格の高騰の監視であれ、スクレイピングを行うことで、情報に基づいた意思決定に必要な詳細なデータを得ることができます。

Kleinanzeigenについて

なぜKleinanzeigenをスクレイピングするのか?

Kleinanzeigenからのデータ抽出のビジネス価値とユースケースを発見してください。

投資目的で、ドイツの各地域の不動産価格や賃貸トレンドを監視するため。

中古車販売や自動車部品在庫の競合分析を実行するため。

引越業者やリフォーム業者などのサービスプロバイダー向けに、意欲の高いリードを生成するため。

下取り価格戦略を最適化するために、家電製品の再販価値を追跡するため。

飲食、小売、建設などのセクターにおける地域の労働市場トレンドを分析するため。

二次流通市場の経済行動に関する学術研究のための履歴データを収集するため。

スクレイピングの課題

Kleinanzeigenのスクレイピング時に遭遇する可能性のある技術的課題。

強力なアンチボット保護(Akamai および DataDome)が自動化されたブラウザのシグネチャを検出します。

厳格なジオブロッキングポリシーにより、コンテンツへのアクセスには高品質なドイツの residential proxies が必要です。

動的な CSS セレクターと頻繁なレイアウト更新により、従来の静的なスクレイパーが壊れやすくなっています。

適度なリクエストボリュームであっても、複雑な CAPTCHA をトリガーする強力な rate limiting が適用されます。

連絡先情報や出品者の詳細に使用されているデータ難読化技術。

KleinanzeigenをAIでスクレイピング

コーディング不要。AI搭載の自動化で数分でデータを抽出。

仕組み

1

必要なものを記述

Kleinanzeigenから抽出したいデータをAIに伝えてください。自然言語で入力するだけ — コードやセレクターは不要です。

2

AIがデータを抽出

人工知能がKleinanzeigenをナビゲートし、動的コンテンツを処理し、あなたが求めたものを正確に抽出します。

3

データを取得

CSV、JSONでエクスポートしたり、アプリやワークフローに直接送信できる、クリーンで構造化されたデータを受け取ります。

なぜスクレイピングにAIを使うのか

カスタムスクリプトなしで、Akamai などの高度なアンチボット対策を自動的にバイパスします。
ビジュアルなノーコードインターフェースにより、ウェブサイトのセレクターが変更された際も迅速に更新可能です。
クラウドベースの実行により、ローカルのインフラに負荷をかけずに 24時間 365日のデータ監視が可能です。
統合されたプロキシローテーションにより、地理的な制限や IP バンをシームレスに処理します。
コーディング不要で、複雑なページネーションやディープリンクナビゲーションを自動化します。
クレジットカード不要無料プランありセットアップ不要

AIを使えば、コードを書かずにKleinanzeigenを簡単にスクレイピングできます。人工知能搭載のプラットフォームが必要なデータを理解します — 自然言語で記述するだけで、AIが自動的に抽出します。

How to scrape with AI:
  1. 必要なものを記述: Kleinanzeigenから抽出したいデータをAIに伝えてください。自然言語で入力するだけ — コードやセレクターは不要です。
  2. AIがデータを抽出: 人工知能がKleinanzeigenをナビゲートし、動的コンテンツを処理し、あなたが求めたものを正確に抽出します。
  3. データを取得: CSV、JSONでエクスポートしたり、アプリやワークフローに直接送信できる、クリーンで構造化されたデータを受け取ります。
Why use AI for scraping:
  • カスタムスクリプトなしで、Akamai などの高度なアンチボット対策を自動的にバイパスします。
  • ビジュアルなノーコードインターフェースにより、ウェブサイトのセレクターが変更された際も迅速に更新可能です。
  • クラウドベースの実行により、ローカルのインフラに負荷をかけずに 24時間 365日のデータ監視が可能です。
  • 統合されたプロキシローテーションにより、地理的な制限や IP バンをシームレスに処理します。
  • コーディング不要で、複雑なページネーションやディープリンクナビゲーションを自動化します。

Kleinanzeigen用ノーコードWebスクレイパー

AI搭載スクレイピングのポイント&クリック代替手段

Browse.ai、Octoparse、Axiom、ParseHubなどのノーコードツールは、コードを書かずにKleinanzeigenをスクレイピングするのに役立ちます。これらのツールは視覚的なインターフェースを使用してデータを選択しますが、複雑な動的コンテンツやアンチボット対策には苦戦する場合があります。

ノーコードツールでの一般的なワークフロー

1
ブラウザ拡張機能をインストールするかプラットフォームに登録する
2
ターゲットWebサイトに移動してツールを開く
3
ポイント&クリックで抽出するデータ要素を選択する
4
各データフィールドのCSSセレクタを設定する
5
複数ページをスクレイピングするためのページネーションルールを設定する
6
CAPTCHAに対処する(多くの場合手動解決が必要)
7
自動実行のスケジュールを設定する
8
データをCSV、JSONにエクスポートするかAPIで接続する

一般的な課題

学習曲線

セレクタと抽出ロジックの理解に時間がかかる

セレクタの破損

Webサイトの変更によりワークフロー全体が壊れる可能性がある

動的コンテンツの問題

JavaScript多用サイトは複雑な回避策が必要

CAPTCHAの制限

ほとんどのツールはCAPTCHAに手動介入が必要

IPブロック

過度なスクレイピングはIPのブロックにつながる可能性がある

Kleinanzeigen用ノーコードWebスクレイパー

Browse.ai、Octoparse、Axiom、ParseHubなどのノーコードツールは、コードを書かずにKleinanzeigenをスクレイピングするのに役立ちます。これらのツールは視覚的なインターフェースを使用してデータを選択しますが、複雑な動的コンテンツやアンチボット対策には苦戦する場合があります。

ノーコードツールでの一般的なワークフロー
  1. ブラウザ拡張機能をインストールするかプラットフォームに登録する
  2. ターゲットWebサイトに移動してツールを開く
  3. ポイント&クリックで抽出するデータ要素を選択する
  4. 各データフィールドのCSSセレクタを設定する
  5. 複数ページをスクレイピングするためのページネーションルールを設定する
  6. CAPTCHAに対処する(多くの場合手動解決が必要)
  7. 自動実行のスケジュールを設定する
  8. データをCSV、JSONにエクスポートするかAPIで接続する
一般的な課題
  • 学習曲線: セレクタと抽出ロジックの理解に時間がかかる
  • セレクタの破損: Webサイトの変更によりワークフロー全体が壊れる可能性がある
  • 動的コンテンツの問題: JavaScript多用サイトは複雑な回避策が必要
  • CAPTCHAの制限: ほとんどのツールはCAPTCHAに手動介入が必要
  • IPブロック: 過度なスクレイピングはIPのブロックにつながる可能性がある

コード例

import requests
from bs4 import BeautifulSoup

# 注:このサイトは Akamai/DataDome を使用しています。単純なリクエストは 403 Forbidden を返す可能性があります。
url = 'https://www.kleinanzeigen.de/s-berlin/c0-l3331'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/119.0.0.0 Safari/537.36',
    'Accept-Language': 'de-DE,de;q=0.9'
}

try:
    response = requests.get(url, headers=headers, timeout=10)
    response.raise_for_status()
    soup = BeautifulSoup(response.text, 'html.parser')
    
    for item in soup.select('article.aditem'):
        title = item.select_one('.aditem-main--title-line a').text.strip()
        price = item.select_one('.aditem-main--middle--price-shipping--price').text.strip()
        print(f'Ad: {title} | Price: {price}')
except Exception as e:
    print(f'Scraping failed: {e}')

いつ使うか

JavaScriptが最小限の静的HTMLページに最適。ブログ、ニュースサイト、シンプルなEコマース製品ページに理想的。

メリット

  • 最速の実行(ブラウザオーバーヘッドなし)
  • 最小限のリソース消費
  • asyncioで簡単に並列化
  • APIと静的ページに最適

制限事項

  • JavaScriptを実行できない
  • SPAや動的コンテンツで失敗
  • 複雑なアンチボットシステムで苦戦する可能性

コードでKleinanzeigenをスクレイピングする方法

Python + Requests
import requests
from bs4 import BeautifulSoup

# 注:このサイトは Akamai/DataDome を使用しています。単純なリクエストは 403 Forbidden を返す可能性があります。
url = 'https://www.kleinanzeigen.de/s-berlin/c0-l3331'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/119.0.0.0 Safari/537.36',
    'Accept-Language': 'de-DE,de;q=0.9'
}

try:
    response = requests.get(url, headers=headers, timeout=10)
    response.raise_for_status()
    soup = BeautifulSoup(response.text, 'html.parser')
    
    for item in soup.select('article.aditem'):
        title = item.select_one('.aditem-main--title-line a').text.strip()
        price = item.select_one('.aditem-main--middle--price-shipping--price').text.strip()
        print(f'Ad: {title} | Price: {price}')
except Exception as e:
    print(f'Scraping failed: {e}')
Python + Playwright
from playwright.sync_api import sync_playwright

def run():
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=True)
        context = browser.new_context(user_agent='Mozilla/5.0', locale='de-DE')
        page = context.new_page()
        
        # Navigate to a listing page
        page.goto('https://www.kleinanzeigen.de/s-anzeige/beispiel', wait_until='networkidle')
        
        # Extract details
        title = page.locator('h1#viewad-title').inner_text()
        price = page.locator('#viewad-price').inner_text()
        
        print({'title': title.strip(), 'price': price.strip()})
        browser.close()

run()
Python + Scrapy
import scrapy

class KleinanzeigenSpider(scrapy.Spider):
    name = 'kleinanzeigen'
    start_urls = ['https://www.kleinanzeigen.de/s-berlin/c0-l3331']
    
    def parse(self, response):
        for ad in response.css('article.aditem'):
            yield {
                'title': ad.css('.aditem-main--title-line a::text').get(),
                'price': ad.css('.aditem-main--middle--price-shipping--price::text').get(),
                'location': ad.css('.aditem-main--top--left::text').get()
            }
        
        next_page = response.css('a.pagination-next::attr(href)').get()
        if next_page:
            yield response.follow(next_page, self.parse)
Node.js + Puppeteer
const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.setExtraHTTPHeaders({'Accept-Language': 'de-DE'});

  await page.goto('https://www.kleinanzeigen.de/s-berlin/c0-l3331');
  const ads = await page.evaluate(() => {
    return Array.from(document.querySelectorAll('.aditem')).map(el => ({
      title: el.querySelector('.aditem-main--title-line a')?.innerText,
      price: el.querySelector('.aditem-main--middle--price-shipping--price')?.innerText
    }));
  });

  console.log(ads);
  await browser.close();
})();

Kleinanzeigenデータで何ができるか

Kleinanzeigenデータからの実用的なアプリケーションとインサイトを探索してください。

不動産市場インデックスの作成

不動産投資家は賃貸および販売価格を追跡し、過小評価されている地域を特定できます。

実装方法:

  1. 1「Immobilien」(不動産)カテゴリを毎日スクレイピングする。
  2. 2郵便番号と平方メートルあたりの価格を抽出する。
  3. 3データを週次価格インデックスに集約する。
  4. 4政府の公式住宅報告書とトレンドを比較する。

Automatioを使用してKleinanzeigenからデータを抽出し、コードを書かずにこれらのアプリケーションを構築しましょう。

Kleinanzeigenデータで何ができるか

  • 不動産市場インデックスの作成

    不動産投資家は賃貸および販売価格を追跡し、過小評価されている地域を特定できます。

    1. 「Immobilien」(不動産)カテゴリを毎日スクレイピングする。
    2. 郵便番号と平方メートルあたりの価格を抽出する。
    3. データを週次価格インデックスに集約する。
    4. 政府の公式住宅報告書とトレンドを比較する。
  • 自動車在庫モニタリング

    中古車販売店は、競合他社の価格設定や在庫回転率をリアルタイムで監視できます。

    1. 「Auto」セクションで特定の車種やモデルをターゲットにする。
    2. 走行距離、登録年、価格を抽出する。
    3. 長期間掲載されている出品を特定し、価格設定が高すぎるものを探る。
    4. 市場価格を下回る新規出品のアラートを自動化する。
  • サービスリードの獲得

    引越業者や清掃会社は、顧客がサービスを必要としている正確なタイミングでコンタクトできます。

    1. 引っ越しを示唆する家具販売を「Möbel & Wohnen」カテゴリで監視する。
    2. 出品者の市区町村を抽出する。
    3. 「Umzug」(引っ越し)などのキーワードで出品をフィルタリングする。
    4. 地域の営業チームにリード(見込み客)を供給する。
  • 家電製品の価格追跡

    小売業者は、中古テック製品の現在の市場価値を監視することで、下取りオファーを調整できます。

    1. 「Handy & Telecom」や「Konsole」などのカテゴリをスクレイピングする。
    2. 価格文字列から「VB」(交渉可)や「Günstig」(格安)などのマーカーを除去する。
    3. iPhone や PlayStation などの特定モデルの平均再販価値を算出する。
    4. 結果に基づいて、Eコマースの買取価格を動的に更新する。
  • 地域需要分析

    市場調査員は、ドイツのどの州でどのような商品が需要が高いかを特定できます。

    1. ドイツの各都市(例:ミュンヘン vs ベルリン)の出品数をスクレイピングする。
    2. カテゴリ別のボリュームを時系列で比較する。
    3. 「Garten」(庭)や「Wintersport」(ウィンタースポーツ)などのカテゴリにおける季節的な急増を特定する。
    4. 地域の在庫配送を計画する企業向けのレポートを作成する。
プロンプト以上のもの

ワークフローを強化する AI自動化

AutomatioはAIエージェント、ウェブ自動化、スマート統合のパワーを組み合わせ、より短時間でより多くのことを達成するお手伝いをします。

AIエージェント
ウェブ自動化
スマートワークフロー

Kleinanzeigenスクレイピングのプロのヒント

Kleinanzeigenからデータを正常に抽出するための専門家のアドバイス。

海外からのトラフィックによってトリガーされる即時の IP ブロッキングを防ぐため、常にドイツの residential proxies を使用してください。

ウェブサイトが正しく表示され、ボットの疑いを避けるために、ブラウザの言語を 'de-DE' に設定してください。

自然な人間のブラウジング行動をシミュレートするために、10秒から30秒のランダムなスリープタイマーを実装してください。

rate limiting の強度を下げるために、トラフィックが少ない夜間(CET:中央欧州時間)にスクレイピングを行ってください。

Akamai による TLS fingerprinting チェックをバイパスするために、ステルスプラグインを備えた headless browsers を使用してください。

アカウントベースのスクレイピングは非常にバン(禁止)されやすいため、必要な場合を除き、ログインが必要なページのスクレイピングは避けてください。

お客様の声

ユーザーの声

ワークフローを変革した何千人もの満足したユーザーに加わりましょう

Jonathan Kogan

Jonathan Kogan

Co-Founder/CEO, rpatools.io

Automatio is one of the most used for RPA Tools both internally and externally. It saves us countless hours of work and we realized this could do the same for other startups and so we choose Automatio for most of our automation needs.

Mohammed Ibrahim

Mohammed Ibrahim

CEO, qannas.pro

I have used many tools over the past 5 years, Automatio is the Jack of All trades.. !! it could be your scraping bot in the morning and then it becomes your VA by the noon and in the evening it does your automations.. its amazing!

Ben Bressington

Ben Bressington

CTO, AiChatSolutions

Automatio is fantastic and simple to use to extract data from any website. This allowed me to replace a developer and do tasks myself as they only take a few minutes to setup and forget about it. Automatio is a game changer!

Sarah Chen

Sarah Chen

Head of Growth, ScaleUp Labs

We've tried dozens of automation tools, but Automatio stands out for its flexibility and ease of use. Our team productivity increased by 40% within the first month of adoption.

David Park

David Park

Founder, DataDriven.io

The AI-powered features in Automatio are incredible. It understands context and adapts to changes in websites automatically. No more broken scrapers!

Emily Rodriguez

Emily Rodriguez

Marketing Director, GrowthMetrics

Automatio transformed our lead generation process. What used to take our team days now happens automatically in minutes. The ROI is incredible.

Jonathan Kogan

Jonathan Kogan

Co-Founder/CEO, rpatools.io

Automatio is one of the most used for RPA Tools both internally and externally. It saves us countless hours of work and we realized this could do the same for other startups and so we choose Automatio for most of our automation needs.

Mohammed Ibrahim

Mohammed Ibrahim

CEO, qannas.pro

I have used many tools over the past 5 years, Automatio is the Jack of All trades.. !! it could be your scraping bot in the morning and then it becomes your VA by the noon and in the evening it does your automations.. its amazing!

Ben Bressington

Ben Bressington

CTO, AiChatSolutions

Automatio is fantastic and simple to use to extract data from any website. This allowed me to replace a developer and do tasks myself as they only take a few minutes to setup and forget about it. Automatio is a game changer!

Sarah Chen

Sarah Chen

Head of Growth, ScaleUp Labs

We've tried dozens of automation tools, but Automatio stands out for its flexibility and ease of use. Our team productivity increased by 40% within the first month of adoption.

David Park

David Park

Founder, DataDriven.io

The AI-powered features in Automatio are incredible. It understands context and adapts to changes in websites automatically. No more broken scrapers!

Emily Rodriguez

Emily Rodriguez

Marketing Director, GrowthMetrics

Automatio transformed our lead generation process. What used to take our team days now happens automatically in minutes. The ROI is incredible.

関連 Web Scraping

Kleinanzeigenについてのよくある質問

Kleinanzeigenに関するよくある質問への回答を見つけてください