Kleinanzeigen 스크래핑 방법 | 독일 최대의 마켓플레이스
가격 모니터링, 부동산 트렌드 및 리드 생성을 위해 Kleinanzeigen을 스크래핑하는 방법을 알아보세요. 독일 최고의 사이트에서 제목과 가격을 추출하는 법을 가르쳐 드립니다.
봇 방지 보호 감지됨
- Akamai Bot Manager
- 장치 핑거프린팅, 행동 분석, 머신 러닝을 사용한 고급 봇 탐지. 가장 정교한 안티봇 시스템 중 하나.
- DataDome
- ML 모델을 사용한 실시간 봇 탐지. 장치 핑거프린트, 네트워크 신호, 행동 패턴 분석. 전자상거래 사이트에서 흔함.
- Google reCAPTCHA
- Google의 CAPTCHA 시스템. v2는 사용자 상호작용 필요, v3는 위험 점수로 조용히 실행. CAPTCHA 서비스로 해결 가능.
- 속도 제한
- 시간당 IP/세션별 요청 제한. 회전 프록시, 요청 지연, 분산 스크래핑으로 우회 가능.
- IP 차단
- 알려진 데이터센터 IP와 표시된 주소 차단. 효과적인 우회를 위해 주거용 또는 모바일 프록시 필요.
- 브라우저 핑거프린팅
- 브라우저 특성으로 봇 식별: canvas, WebGL, 글꼴, 플러그인. 스푸핑 또는 실제 브라우저 프로필 필요.
Kleinanzeigen 정보
Kleinanzeigen이 제공하는 것과 추출할 수 있는 가치 있는 데이터를 알아보세요.
독일 최고의 분류 광고 허브
이전에는 eBay Kleinanzeigen으로 알려졌던 Kleinanzeigen은 독일에서 가장 영향력 있는 온라인 분류 광고 마켓플레이스입니다. 매일 수백만 명의 활성 사용자에게 서비스를 제공하며 고급 부동산과 자동차부터 가구, 전문 지역 서비스에 이르기까지 모든 거래를 중개합니다. 대규모 규모와 독일 시장에서의 깊은 뿌리 덕분에 이 플랫폼은 독일의 중고 경제와 지역 주택 수요를 투영하는 거울 역할을 합니다.
Kleinanzeigen 스크래핑이 중요한 이유
Kleinanzeigen의 구조화된 데이터에 접근하는 것은 중유럽의 시장 변동을 이해하려는 비즈니스에 매우 중요합니다. 이 플랫폼에는 글로벌 리테일 사이트에서는 찾을 수 없는 현지화된 정보가 포함되어 있어 지역 가격 벤치마킹 및 트렌드 분석을 위한 보고입니다. 전자 제품의 재판매 가치를 추적하든 베를린의 임대료 급증을 모니터링하든, 스크래핑은 정보에 입각한 의사 결정을 내리는 데 필요한 세부 데이터를 제공합니다.

왜 Kleinanzeigen을 스크래핑해야 하나요?
Kleinanzeigen에서 데이터 추출의 비즈니스 가치와 사용 사례를 알아보세요.
투자를 위해 독일 전역의 부동산 가격 및 임대 트렌드를 모니터링합니다.
중고차 판매 및 자동차 부품 재고에 대한 경쟁 분석을 수행합니다.
이사 업체 및 리모델링 팀과 같은 서비스 제공업체를 위한 고의도 리드를 생성합니다.
가전제품의 재판매 가치를 추적하여 보상 판매 가격 책정 전략을 최적화합니다.
음식업, 소매업, 건설업 등 분야의 지역 구인 시장 트렌드를 분석합니다.
중고 시장의 경제적 행동에 대한 학술 연구를 위해 과거 데이터를 수집합니다.
스크래핑 과제
Kleinanzeigen 스크래핑 시 겪을 수 있는 기술적 과제.
공격적인 안티봇 보호 시스템(Akamai 및 DataDome)이 자동화된 브라우저 서명을 탐지합니다.
엄격한 지역 차단 정책으로 인해 콘텐츠에 접근하려면 고품질 독일 주거용 프록시가 필요합니다.
동적 CSS 선택자와 빈번한 레이아웃 업데이트가 기존의 정적 스크래퍼를 무력화합니다.
적은 요청량으로도 복잡한 CAPTCHA를 유발하는 강력한 rate limiting이 적용됩니다.
연락처 정보 및 판매자 상세 정보에 데이터 난독화 기술이 사용됩니다.
AI로 Kleinanzeigen 스크래핑
코딩 불필요. AI 기반 자동화로 몇 분 만에 데이터 추출.
작동 방식
필요한 것을 설명하세요
Kleinanzeigen에서 어떤 데이터를 추출하고 싶은지 AI에게 알려주세요. 자연어로 입력하기만 하면 됩니다 — 코딩이나 셀렉터가 필요 없습니다.
AI가 데이터를 추출
인공지능이 Kleinanzeigen을 탐색하고, 동적 콘텐츠를 처리하며, 요청한 것을 정확히 추출합니다.
데이터 받기
CSV, JSON으로 내보내거나 앱과 워크플로에 직접 전송할 수 있는 깨끗하고 구조화된 데이터를 받으세요.
스크래핑에 AI를 사용하는 이유
AI를 사용하면 코드를 작성하지 않고도 Kleinanzeigen을 쉽게 스크래핑할 수 있습니다. 인공지능 기반 플랫폼이 원하는 데이터를 이해합니다 — 자연어로 설명하기만 하면 AI가 자동으로 추출합니다.
How to scrape with AI:
- 필요한 것을 설명하세요: Kleinanzeigen에서 어떤 데이터를 추출하고 싶은지 AI에게 알려주세요. 자연어로 입력하기만 하면 됩니다 — 코딩이나 셀렉터가 필요 없습니다.
- AI가 데이터를 추출: 인공지능이 Kleinanzeigen을 탐색하고, 동적 콘텐츠를 처리하며, 요청한 것을 정확히 추출합니다.
- 데이터 받기: CSV, JSON으로 내보내거나 앱과 워크플로에 직접 전송할 수 있는 깨끗하고 구조화된 데이터를 받으세요.
Why use AI for scraping:
- 커스텀 스크립트 없이 Akamai와 같은 정교한 안티봇 조치를 자동으로 우회합니다.
- 시각적 노코드 인터페이스를 통해 웹사이트 선택자가 변경될 때 신속하게 업데이트할 수 있습니다.
- 클라우드 기반 실행으로 로컬 인프라에 부담을 주지 않고 24/7 데이터 모니터링이 가능합니다.
- 통합된 프록시 순환 기능을 통해 지역 제한 및 IP 차단을 원활하게 처리합니다.
- 코딩 없이 복잡한 페이지네이션과 딥링크 내비게이션을 자동화합니다.
Kleinanzeigen을 위한 노코드 웹 스크래퍼
AI 기반 스크래핑의 포인트 앤 클릭 대안
Browse.ai, Octoparse, Axiom, ParseHub와 같은 여러 노코드 도구를 사용하면 코드 작성 없이 Kleinanzeigen을 스크래핑할 수 있습니다. 이러한 도구는 일반적으로 시각적 인터페이스를 사용하여 데이터를 선택하지만, 복잡한 동적 콘텐츠나 봇 방지 조치에서는 어려움을 겪을 수 있습니다.
노코드 도구의 일반적인 워크플로
일반적인 문제점
학습 곡선
셀렉터와 추출 로직을 이해하는 데 시간이 걸림
셀렉터 깨짐
웹사이트 변경으로 전체 워크플로우가 깨질 수 있음
동적 콘텐츠 문제
JavaScript가 많은 사이트는 복잡한 해결 방법 필요
CAPTCHA 제한
대부분의 도구는 CAPTCHA에 수동 개입 필요
IP 차단
공격적인 스크래핑은 IP 차단으로 이어질 수 있음
Kleinanzeigen을 위한 노코드 웹 스크래퍼
Browse.ai, Octoparse, Axiom, ParseHub와 같은 여러 노코드 도구를 사용하면 코드 작성 없이 Kleinanzeigen을 스크래핑할 수 있습니다. 이러한 도구는 일반적으로 시각적 인터페이스를 사용하여 데이터를 선택하지만, 복잡한 동적 콘텐츠나 봇 방지 조치에서는 어려움을 겪을 수 있습니다.
노코드 도구의 일반적인 워크플로
- 브라우저 확장 프로그램 설치 또는 플랫폼 가입
- 대상 웹사이트로 이동하여 도구 열기
- 포인트 앤 클릭으로 추출할 데이터 요소 선택
- 각 데이터 필드에 대한 CSS 셀렉터 구성
- 여러 페이지 스크래핑을 위한 페이지네이션 규칙 설정
- CAPTCHA 처리 (주로 수동 해결 필요)
- 자동 실행을 위한 스케줄링 구성
- 데이터를 CSV, JSON으로 내보내기 또는 API로 연결
일반적인 문제점
- 학습 곡선: 셀렉터와 추출 로직을 이해하는 데 시간이 걸림
- 셀렉터 깨짐: 웹사이트 변경으로 전체 워크플로우가 깨질 수 있음
- 동적 콘텐츠 문제: JavaScript가 많은 사이트는 복잡한 해결 방법 필요
- CAPTCHA 제한: 대부분의 도구는 CAPTCHA에 수동 개입 필요
- IP 차단: 공격적인 스크래핑은 IP 차단으로 이어질 수 있음
코드 예제
import requests
from bs4 import BeautifulSoup
# 참고: 이 사이트는 Akamai/DataDome을 사용합니다. 단순 요청은 403 Forbidden을 반환할 수 있습니다.
url = 'https://www.kleinanzeigen.de/s-berlin/c0-l3331'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/119.0.0.0 Safari/537.36',
'Accept-Language': 'de-DE,de;q=0.9'
}
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status()
soup = BeautifulSoup(response.text, 'html.parser')
for item in soup.select('article.aditem'):
title = item.select_one('.aditem-main--title-line a').text.strip()
price = item.select_one('.aditem-main--middle--price-shipping--price').text.strip()
print(f'광고: {title} | 가격: {price}')
except Exception as e:
print(f'스크래핑 실패: {e}')사용 시기
JavaScript가 최소한인 정적 HTML 페이지에 가장 적합합니다. 블로그, 뉴스 사이트, 단순 이커머스 제품 페이지에 이상적입니다.
장점
- ●가장 빠른 실행 속도 (브라우저 오버헤드 없음)
- ●최소한의 리소스 소비
- ●asyncio로 쉽게 병렬화 가능
- ●API와 정적 페이지에 적합
제한 사항
- ●JavaScript 실행 불가
- ●SPA 및 동적 콘텐츠에서 실패
- ●복잡한 봇 방지 시스템에 어려움
코드로 Kleinanzeigen 스크래핑하는 방법
Python + Requests
import requests
from bs4 import BeautifulSoup
# 참고: 이 사이트는 Akamai/DataDome을 사용합니다. 단순 요청은 403 Forbidden을 반환할 수 있습니다.
url = 'https://www.kleinanzeigen.de/s-berlin/c0-l3331'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/119.0.0.0 Safari/537.36',
'Accept-Language': 'de-DE,de;q=0.9'
}
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status()
soup = BeautifulSoup(response.text, 'html.parser')
for item in soup.select('article.aditem'):
title = item.select_one('.aditem-main--title-line a').text.strip()
price = item.select_one('.aditem-main--middle--price-shipping--price').text.strip()
print(f'광고: {title} | 가격: {price}')
except Exception as e:
print(f'스크래핑 실패: {e}')Python + Playwright
from playwright.sync_api import sync_playwright
def run():
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
# 독일어 로케일 및 사용자 에이전트 설정
context = browser.new_context(user_agent='Mozilla/5.0', locale='de-DE')
page = context.new_page()
# 매물 페이지로 이동
page.goto('https://www.kleinanzeigen.de/s-anzeige/beispiel', wait_until='networkidle')
# 세부 정보 추출
title = page.locator('h1#viewad-title').inner_text()
price = page.locator('#viewad-price').inner_text()
print({'title': title.strip(), 'price': price.strip()})
browser.close()
run()Python + Scrapy
import scrapy
class KleinanzeigenSpider(scrapy.Spider):
name = 'kleinanzeigen'
start_urls = ['https://www.kleinanzeigen.de/s-berlin/c0-l3331']
def parse(self, response):
# 광고 아이템 반복 처리
for ad in response.css('article.aditem'):
yield {
'title': ad.css('.aditem-main--title-line a::text').get(),
'price': ad.css('.aditem-main--middle--price-shipping--price::text').get(),
'location': ad.css('.aditem-main--top--left::text').get()
}
# 다음 페이지로 이동
next_page = response.css('a.pagination-next::attr(href)').get()
if next_page:
yield response.follow(next_page, self.parse)Node.js + Puppeteer
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
// 독일어 로케일 설정
await page.setExtraHTTPHeaders({'Accept-Language': 'de-DE'});
await page.goto('https://www.kleinanzeigen.de/s-berlin/c0-l3331');
const ads = await page.evaluate(() => {
return Array.from(document.querySelectorAll('.aditem')).map(el => ({
title: el.querySelector('.aditem-main--title-line a')?.innerText,
price: el.querySelector('.aditem-main--middle--price-shipping--price')?.innerText
}));
});
console.log(ads);
await browser.close();
})();Kleinanzeigen 데이터로 할 수 있는 것
Kleinanzeigen 데이터의 실용적인 응용 프로그램과 인사이트를 탐색하세요.
부동산 시장 지수 산출
부동산 투자자는 임대 및 매매 가격을 추적하여 저평가된 지역을 식별할 수 있습니다.
구현 방법:
- 1'Immobilien'(부동산) 카테고리를 매일 스크래핑합니다.
- 2우편번호와 제곱미터당 가격을 추출합니다.
- 3데이터를 주간 가격 지수로 집계합니다.
- 4정부의 공식 주택 보고서와 트렌드를 비교합니다.
Automatio를 사용하여 Kleinanzeigen에서 데이터를 추출하고 코드 작성 없이 이러한 애플리케이션을 구축하세요.
Kleinanzeigen 데이터로 할 수 있는 것
- 부동산 시장 지수 산출
부동산 투자자는 임대 및 매매 가격을 추적하여 저평가된 지역을 식별할 수 있습니다.
- 'Immobilien'(부동산) 카테고리를 매일 스크래핑합니다.
- 우편번호와 제곱미터당 가격을 추출합니다.
- 데이터를 주간 가격 지수로 집계합니다.
- 정부의 공식 주택 보고서와 트렌드를 비교합니다.
- 자동차 재고 모니터링
중고차 딜러는 경쟁사의 가격 책정과 재고 회전율을 실시간으로 모니터링할 수 있습니다.
- 'Auto'(자동차) 섹션에서 특정 자동차 브랜드와 모델을 타겟팅합니다.
- 주행 거리, 등록 연도 및 가격을 추출합니다.
- 오랫동안 판매되지 않은 매물을 확인하여 고평가된 매물을 찾아냅니다.
- 시장 가치보다 낮게 게시된 새로운 매물에 대해 자동 알림을 설정합니다.
- 서비스 리드 생성
이사 및 청소 업체는 고객이 서비스가 필요한 정확한 시점에 고객을 찾을 수 있습니다.
- 이사를 암시하는 가구 판매가 올라오는 'Möbel & Wohnen' 카테고리를 모니터링합니다.
- 판매자의 구역과 도시를 추출합니다.
- 'Umzug'(이사)와 같은 키워드를 기반으로 매물을 필터링합니다.
- 지역 영업 팀에 잠재 고객 리드를 전달합니다.
- 가전제품 가격 추적
소매업체는 중고 기술 기기의 현재 시장 가치를 모니터링하여 보상 판매 제안 가격을 조정할 수 있습니다.
- 'Handy & Telecom' 또는 'Konsole'과 같은 카테고리를 스크래핑합니다.
- 가격 문자열을 정제하여 'VB'(협상 가능) 또는 'Günstig'(저렴함) 표시를 제거합니다.
- iPhone이나 PlayStation과 같은 특정 모델의 평균 재판매 가치를 계산합니다.
- 결과에 따라 이커머스 보상 판매 가격을 동적으로 업데이트합니다.
- 지역별 수요 분석
시장 조사관은 독일의 특정 주에서 어떤 종류의 상품이 수요가 높은지 파악할 수 있습니다.
- 독일의 여러 도시(예: 뮌헨 vs 베를린) 간의 매물 수를 스크래핑합니다.
- 시간 경과에 따른 카테고리별 물량을 비교합니다.
- 'Garten'(정원) 또는 'Wintersport'(겨울 스포츠)와 같은 카테고리의 계절적 급증을 식별합니다.
- 지역별 재고 유통을 계획하는 기업을 위한 보고서를 생성합니다.
워크플로를 강화하세요 AI 자동화
Automatio는 AI 에이전트, 웹 자동화 및 스마트 통합의 힘을 결합하여 더 짧은 시간에 더 많은 것을 달성할 수 있도록 도와줍니다.
Kleinanzeigen 스크래핑 프로 팁
Kleinanzeigen에서 성공적으로 데이터를 추출하기 위한 전문가 조언.
외국 트래픽으로 인해 즉시 IP가 차단되는 것을 방지하려면 항상 독일 주거용 프록시를 사용하세요.
웹사이트가 올바르게 렌더링되도록 하고 봇 의심을 피하려면 브라우저 언어를 'de-DE'로 설정하세요.
자연스러운 사용자의 브라우징 동작을 시뮬레이션하기 위해 10초에서 30초 사이의 랜덤 대기 타이머를 구현하세요.
rate limiting의 강도를 줄이려면 트래픽이 적은 밤 시간대(CET)에 스크래핑을 수행하세요.
Akamai에서 사용하는 TLS fingerprinting 검사를 우회하려면 stealth 플러그인이 포함된 headless 브라우저를 사용하세요.
계정 기반 스크래핑은 차단될 가능성이 매우 높으므로 필요한 경우가 아니면 로그인 페이지 스크래핑은 피하세요.
후기
사용자 후기
워크플로를 혁신한 수천 명의 만족한 사용자와 함께하세요
Jonathan Kogan
Co-Founder/CEO, rpatools.io
Automatio is one of the most used for RPA Tools both internally and externally. It saves us countless hours of work and we realized this could do the same for other startups and so we choose Automatio for most of our automation needs.
Mohammed Ibrahim
CEO, qannas.pro
I have used many tools over the past 5 years, Automatio is the Jack of All trades.. !! it could be your scraping bot in the morning and then it becomes your VA by the noon and in the evening it does your automations.. its amazing!
Ben Bressington
CTO, AiChatSolutions
Automatio is fantastic and simple to use to extract data from any website. This allowed me to replace a developer and do tasks myself as they only take a few minutes to setup and forget about it. Automatio is a game changer!
Sarah Chen
Head of Growth, ScaleUp Labs
We've tried dozens of automation tools, but Automatio stands out for its flexibility and ease of use. Our team productivity increased by 40% within the first month of adoption.
David Park
Founder, DataDriven.io
The AI-powered features in Automatio are incredible. It understands context and adapts to changes in websites automatically. No more broken scrapers!
Emily Rodriguez
Marketing Director, GrowthMetrics
Automatio transformed our lead generation process. What used to take our team days now happens automatically in minutes. The ROI is incredible.
Jonathan Kogan
Co-Founder/CEO, rpatools.io
Automatio is one of the most used for RPA Tools both internally and externally. It saves us countless hours of work and we realized this could do the same for other startups and so we choose Automatio for most of our automation needs.
Mohammed Ibrahim
CEO, qannas.pro
I have used many tools over the past 5 years, Automatio is the Jack of All trades.. !! it could be your scraping bot in the morning and then it becomes your VA by the noon and in the evening it does your automations.. its amazing!
Ben Bressington
CTO, AiChatSolutions
Automatio is fantastic and simple to use to extract data from any website. This allowed me to replace a developer and do tasks myself as they only take a few minutes to setup and forget about it. Automatio is a game changer!
Sarah Chen
Head of Growth, ScaleUp Labs
We've tried dozens of automation tools, but Automatio stands out for its flexibility and ease of use. Our team productivity increased by 40% within the first month of adoption.
David Park
Founder, DataDriven.io
The AI-powered features in Automatio are incredible. It understands context and adapts to changes in websites automatically. No more broken scrapers!
Emily Rodriguez
Marketing Director, GrowthMetrics
Automatio transformed our lead generation process. What used to take our team days now happens automatically in minutes. The ROI is incredible.
관련 Web Scraping

How to Scrape The AA (theaa.com): A Technical Guide for Car & Insurance Data

How to Scrape CSS Author: A Comprehensive Web Scraping Guide

How to Scrape Biluppgifter.se: Vehicle Data Extraction Guide

How to Scrape Bilregistret.ai: Swedish Vehicle Data Extraction Guide

How to Scrape Car.info | Vehicle Data & Valuation Extraction Guide

How to Scrape GoAbroad Study Abroad Programs

How to Scrape ResearchGate: Publication and Researcher Data

How to Scrape Statista: The Ultimate Guide to Market Data Extraction
Kleinanzeigen에 대한 자주 묻는 질문
Kleinanzeigen에 대한 일반적인 질문에 대한 답변 찾기