Cara Melakukan Scraping Who.is untuk Intelijen Domain dan IP
Pelajari cara melakukan scraping Who.is untuk mengekstrak detail kepemilikan domain, tanggal registrasi, dan info kontak. Dapatkan lead B2B dan intelijen...
Perlindungan Anti-Bot Terdeteksi
- Cloudflare
- WAF dan manajemen bot tingkat enterprise. Menggunakan tantangan JavaScript, CAPTCHA, dan analisis perilaku. Memerlukan otomatisasi browser dengan pengaturan stealth.
- Pembatasan kecepatan
- Membatasi permintaan per IP/sesi dari waktu ke waktu. Dapat dilewati dengan proxy berputar, penundaan permintaan, dan scraping terdistribusi.
- Pemblokiran IP
- Memblokir IP pusat data yang dikenal dan alamat yang ditandai. Memerlukan proxy residensial atau seluler untuk melewati secara efektif.
- Google reCAPTCHA
- Sistem CAPTCHA Google. v2 memerlukan interaksi pengguna, v3 berjalan diam-diam dengan penilaian risiko. Dapat diselesaikan dengan layanan CAPTCHA.
Tentang Who.is
Temukan apa yang ditawarkan Who.is dan data berharga apa yang dapat diekstrak.
Layanan Pencarian Domain Komprehensif
Who.is adalah alat berbasis web utama untuk melakukan pencarian WHOIS dan RDAP guna mengambil informasi registrasi publik untuk nama domain dan alamat IP. Situs ini berfungsi sebagai pusat akses untuk catatan yang dikelola oleh registrar dan registri domain di seluruh dunia, menawarkan wawasan kritis tentang tanggal registrasi, lini masa kedaluwarsa, dan konfigurasi nameserver. Platform ini banyak digunakan oleh profesional IT dan peneliti untuk menyelidiki infrastruktur jaringan dan mengidentifikasi entitas di balik sumber daya internet.
Repositori Data yang Kaya
Situs web ini menampilkan data terstruktur dan tidak terstruktur mengenai kontak administratif, teknis, dan pendaftar yang terkait dengan domain. Meskipun banyak data kontak pribadi sekarang disamarkan untuk mematuhi GDPR dan protokol privasi lainnya, situs ini tetap menyediakan informasi penting seperti nama registrar, status domain, dan berbagai catatan DNS. Situs ini juga menawarkan alat untuk melacak alamat IP dan memantau uptime situs web, menjadikannya sumber daya komprehensif untuk intelijen web.
Nilai Bisnis dari Scraping WHOIS
Melakukan scraping data Who.is sangat berharga bagi peneliti keamanan siber, analis intelijen kompetitif, dan profesional pemasaran. Ini memungkinkan identifikasi bisnis yang baru terdaftar, pelacakan pergerakan portofolio domain, dan investigasi infrastruktur yang digunakan oleh aktor ancaman potensial. Dengan mengotomatiskan ekstraksi data ini, organisasi dapat tetap unggul dalam tren pasar, melindungi aset merek mereka, dan menghasilkan lead B2B berkualitas tinggi secara efisien.
Mengapa Melakukan Scraping Who.is?
Temukan nilai bisnis dan kasus penggunaan untuk ekstraksi data dari Who.is.
Lead generation B2B dengan mengidentifikasi pemilik domain yang baru terdaftar
Intelijen ancaman keamanan siber dan pemetaan infrastruktur domain
Memantau tanggal kedaluwarsa domain untuk peluang akuisisi
Penegakan hak kekayaan intelektual dan mengidentifikasi pelanggar merek dagang
Riset pasar dan pelacakan tren registrasi domain di sektor tertentu
Tantangan Scraping
Tantangan teknis yang mungkin Anda hadapi saat melakukan scraping Who.is.
Perlindungan bot Cloudflare yang agresif dan tantangan browser
Rate limits yang ketat pada jumlah pencarian yang diizinkan per alamat IP
Penyamaran data yang luas karena GDPR dan layanan privasi WHOIS
Pemuatan konten dinamis untuk hasil pencarian tertentu yang memerlukan rendering
Persyaratan parsing yang kompleks untuk blok teks WHOIS mentah yang tidak terstruktur
Scrape Who.is dengan AI
Tanpa koding. Ekstrak data dalam hitungan menit dengan otomatisasi berbasis AI.
Cara Kerjanya
Jelaskan apa yang Anda butuhkan
Beritahu AI data apa yang ingin Anda ekstrak dari Who.is. Cukup ketik dalam bahasa sehari-hari — tanpa kode atau selektor.
AI mengekstrak data
Kecerdasan buatan kami menjelajahi Who.is, menangani konten dinamis, dan mengekstrak persis apa yang Anda minta.
Dapatkan data Anda
Terima data bersih dan terstruktur siap diekspor sebagai CSV, JSON, atau dikirim langsung ke aplikasi Anda.
Mengapa menggunakan AI untuk scraping
AI memudahkan scraping Who.is tanpa menulis kode. Platform berbasis kecerdasan buatan kami memahami data apa yang Anda inginkan — cukup jelaskan dalam bahasa sehari-hari dan AI akan mengekstraknya secara otomatis.
How to scrape with AI:
- Jelaskan apa yang Anda butuhkan: Beritahu AI data apa yang ingin Anda ekstrak dari Who.is. Cukup ketik dalam bahasa sehari-hari — tanpa kode atau selektor.
- AI mengekstrak data: Kecerdasan buatan kami menjelajahi Who.is, menangani konten dinamis, dan mengekstrak persis apa yang Anda minta.
- Dapatkan data Anda: Terima data bersih dan terstruktur siap diekspor sebagai CSV, JSON, atau dikirim langsung ke aplikasi Anda.
Why use AI for scraping:
- Antarmuka tanpa kode memungkinkan pembuatan scraper Who.is dalam hitungan menit tanpa skrip
- Secara otomatis menangani tantangan Cloudflare dan hambatan rendering JavaScript
- Eksekusi cloud menghindari masalah pemblokiran IP lokal dan rate limiting sepenuhnya
- Fitur penjadwalan bawaan untuk pemantauan berkelanjutan terhadap perubahan status domain
- Ekspor data yang mulus ke Google Sheets atau CRM untuk pengelolaan lead
Web Scraper Tanpa Kode untuk Who.is
Alternatif klik-dan-pilih untuk scraping berbasis AI
Beberapa alat tanpa kode seperti Browse.ai, Octoparse, Axiom, dan ParseHub dapat membantu Anda melakukan scraping Who.is tanpa menulis kode. Alat-alat ini biasanya menggunakan antarmuka visual untuk memilih data, meskipun mungkin kesulitan dengan konten dinamis kompleks atau tindakan anti-bot.
Alur Kerja Umum dengan Alat Tanpa Kode
Tantangan Umum
Kurva pembelajaran
Memahami selector dan logika ekstraksi membutuhkan waktu
Selector rusak
Perubahan situs web dapat merusak seluruh alur kerja
Masalah konten dinamis
Situs berbasis JavaScript memerlukan solusi yang kompleks
Keterbatasan CAPTCHA
Sebagian besar alat memerlukan intervensi manual untuk CAPTCHA
Pemblokiran IP
Scraping agresif dapat menyebabkan IP Anda diblokir
Web Scraper Tanpa Kode untuk Who.is
Beberapa alat tanpa kode seperti Browse.ai, Octoparse, Axiom, dan ParseHub dapat membantu Anda melakukan scraping Who.is tanpa menulis kode. Alat-alat ini biasanya menggunakan antarmuka visual untuk memilih data, meskipun mungkin kesulitan dengan konten dinamis kompleks atau tindakan anti-bot.
Alur Kerja Umum dengan Alat Tanpa Kode
- Instal ekstensi browser atau daftar di platform
- Navigasi ke situs web target dan buka alat
- Pilih elemen data yang ingin diekstrak dengan point-and-click
- Konfigurasikan selector CSS untuk setiap field data
- Atur aturan paginasi untuk scraping beberapa halaman
- Tangani CAPTCHA (sering memerlukan penyelesaian manual)
- Konfigurasikan penjadwalan untuk eksekusi otomatis
- Ekspor data ke CSV, JSON atau hubungkan melalui API
Tantangan Umum
- Kurva pembelajaran: Memahami selector dan logika ekstraksi membutuhkan waktu
- Selector rusak: Perubahan situs web dapat merusak seluruh alur kerja
- Masalah konten dinamis: Situs berbasis JavaScript memerlukan solusi yang kompleks
- Keterbatasan CAPTCHA: Sebagian besar alat memerlukan intervensi manual untuk CAPTCHA
- Pemblokiran IP: Scraping agresif dapat menyebabkan IP Anda diblokir
Contoh Kode
import requests
from bs4 import BeautifulSoup
# Who.is menggunakan Cloudflare, jadi header berkualitas tinggi sangat penting
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
'Accept-Language': 'en-US,en;q=0.9'
}
url = 'https://who.is/whois/example.com'
try:
response = requests.get(url, headers=headers)
response.raise_for_status()
soup = BeautifulSoup(response.text, 'html.parser')
# Data WHOIS biasanya berada di dalam tag pre atau class div tertentu
whois_block = soup.find('pre')
if whois_block:
print(f'Data WHOIS: {whois_block.get_text().strip()}')
else:
print('Blok data tidak ditemukan atau diblokir oleh anti-bot.')
except requests.exceptions.RequestException as e:
print(f'Request gagal: {e}')Kapan Digunakan
Terbaik untuk halaman HTML statis di mana konten dimuat di sisi server. Pendekatan tercepat dan paling sederhana ketika rendering JavaScript tidak diperlukan.
Kelebihan
- ●Eksekusi tercepat (tanpa overhead browser)
- ●Konsumsi sumber daya terendah
- ●Mudah diparalelkan dengan asyncio
- ●Bagus untuk API dan halaman statis
Keterbatasan
- ●Tidak dapat mengeksekusi JavaScript
- ●Gagal pada SPA dan konten dinamis
- ●Mungkin kesulitan dengan sistem anti-bot kompleks
How to Scrape Who.is with Code
Python + Requests
import requests
from bs4 import BeautifulSoup
# Who.is menggunakan Cloudflare, jadi header berkualitas tinggi sangat penting
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
'Accept-Language': 'en-US,en;q=0.9'
}
url = 'https://who.is/whois/example.com'
try:
response = requests.get(url, headers=headers)
response.raise_for_status()
soup = BeautifulSoup(response.text, 'html.parser')
# Data WHOIS biasanya berada di dalam tag pre atau class div tertentu
whois_block = soup.find('pre')
if whois_block:
print(f'Data WHOIS: {whois_block.get_text().strip()}')
else:
print('Blok data tidak ditemukan atau diblokir oleh anti-bot.')
except requests.exceptions.RequestException as e:
print(f'Request gagal: {e}')Python + Playwright
from playwright.sync_api import sync_playwright
def scrape_whois(domain):
with sync_playwright() as p:
# Mode headless sebaiknya digunakan dengan stealth plugins jika memungkinkan
browser = p.chromium.launch(headless=True)
context = browser.new_context(user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/110.0.0.0 Safari/537.36')
page = context.new_page()
# Navigasi ke halaman pencarian
page.goto(f'https://who.is/whois/{domain}')
# Tunggu container hasil untuk di-render
page.wait_for_selector('.query-results', timeout=10000)
# Ekstrak inner text dari hasil
results = page.inner_text('.query-results')
print(f'Hasil untuk {domain}:
{results}')
browser.close()
scrape_whois('google.com')Python + Scrapy
import scrapy
class WhoisSpider(scrapy.Spider):
name = 'whois_spider'
def start_requests(self):
# Domain yang akan dicari
domains = ['example.com', 'test.org']
for domain in domains:
yield scrapy.Request(
url=f'https://who.is/whois/{domain}',
callback=self.parse,
meta={'proxy': 'http://your-residential-proxy:port'}
)
def parse(self, response):
# Mengekstrak nama domain dan teks WHOIS mentah
yield {
'domain': response.css('h1::text').get(),
'raw_data': response.css('.query-results pre::text').get(),
'registrar': response.xpath("//div[contains(text(), 'Registrar')]/following-sibling::div/text()").get()
}Node.js + Puppeteer
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch({ headless: true });
const page = await browser.newPage();
// Atur user agent yang realistis
await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36');
await page.goto('https://who.is/whois/example.com');
// Tunggu blok teks utama yang berisi data WHOIS
try {
await page.waitForSelector('pre', { timeout: 5000 });
const whoisData = await page.evaluate(() => {
const pre = document.querySelector('pre');
return pre ? pre.innerText : 'Data tidak ditemukan';
});
console.log(whoisData);
} catch (err) {
console.log('Timeout atau pemblokiran terdeteksi:', err.message);
}
await browser.close();
})();Apa yang Dapat Anda Lakukan Dengan Data Who.is
Jelajahi aplikasi praktis dan wawasan dari data Who.is.
Outreach Penjualan B2B
Tim penjualan dapat mengidentifikasi pengambil keputusan di balik domain yang baru terdaftar untuk menawarkan layanan seperti desain web atau hosting.
Cara mengimplementasikan:
- 1Pantau daftar harian registrasi domain baru.
- 2Ekstrak nama pendaftar dan detail organisasi dari Who.is.
- 3Filter lead berdasarkan kata kunci terkait industri yang ditemukan dalam nama domain.
- 4Impor kontak dengan niat tinggi ke dalam platform pemasaran email otomatis.
Gunakan Automatio untuk mengekstrak data dari Who.is dan membangun aplikasi ini tanpa menulis kode.
Apa yang Dapat Anda Lakukan Dengan Data Who.is
- Outreach Penjualan B2B
Tim penjualan dapat mengidentifikasi pengambil keputusan di balik domain yang baru terdaftar untuk menawarkan layanan seperti desain web atau hosting.
- Pantau daftar harian registrasi domain baru.
- Ekstrak nama pendaftar dan detail organisasi dari Who.is.
- Filter lead berdasarkan kata kunci terkait industri yang ditemukan dalam nama domain.
- Impor kontak dengan niat tinggi ke dalam platform pemasaran email otomatis.
- Pemetaan Ancaman Keamanan Siber
Analis keamanan menggunakan data WHOIS untuk memetakan infrastruktur yang digunakan oleh aktor jahat atau kampanye phishing.
- Masukkan domain berbahaya yang diketahui ke dalam scraper.
- Ekstrak nameserver terkait dan ID organisasi pendaftar.
- Cari domain lain yang berbagi pengidentifikasi infrastruktur yang sama.
- Blokir rentang jaringan yang teridentifikasi dalam firewall keamanan korporat.
- Pemantauan Akuisisi Domain
Investor dapat melacak domain yang ingin mereka beli dengan memantau tanggal kedaluwarsa dan perubahan statusnya.
- Kumpulkan daftar domain target bernilai tinggi untuk akuisisi.
- Jadwalkan scraping harian untuk memeriksa 'Tanggal Kedaluwarsa' dan 'Status Domain'.
- Atur peringatan otomatis untuk domain yang memasuki 'Masa Penebusan'.
- Lakukan backorder profesional segera setelah domain dilepas ke pasar.
- Analisis Perlindungan Merek
Perusahaan dapat memantau typosquatting atau situs web penipuan yang menggunakan merek dagang mereka untuk melindungi pelanggan.
- Lakukan pencarian otomatis untuk variasi dan kesalahan ketik umum (typosquatting) dari nama merek.
- Ekstrak info pendaftar dan registrar untuk setiap domain yang cocok dan mencurigakan.
- Analisis nameserver untuk menentukan penyedia hosting dari situs penipuan tersebut.
- Ajukan permintaan penghapusan (takedown) legal kepada registrar dan perusahaan hosting yang teridentifikasi.
Tingkatkan alur kerja Anda dengan Otomatisasi AI
Automatio menggabungkan kekuatan agen AI, otomatisasi web, dan integrasi cerdas untuk membantu Anda mencapai lebih banyak dalam waktu lebih singkat.
Tips Pro untuk Scraping Who.is
Saran ahli untuk ekstraksi data yang sukses dari Who.is.
Gunakan rotasi residential proxies berkualitas tinggi untuk melewati pemblokiran berbasis IP dan rate limits dari Cloudflare.
Gunakan headless browser seperti Playwright atau Puppeteer untuk menangani rendering dinamis dari hasil dan tantangan JS.
Terapkan interval jeda acak (jitter) di antara pencarian untuk menyimulasikan perilaku penjelajahan manusia yang alami.
Gunakan regular expressions (regex) untuk melakukan parsing blok teks mentah menjadi data JSON terstruktur agar lebih mudah digunakan.
Pantau kolom 'Expires' secara khusus untuk memicu peringatan bagi domain bernilai tinggi yang memasuki fase penebusan (redemption phase).
Periksa bagian RDAP jika WHOIS disamarkan, karena terkadang menyediakan data konektivitas yang lebih terstruktur.
Testimoni
Apa Kata Pengguna Kami
Bergabunglah dengan ribuan pengguna puas yang telah mengubah alur kerja mereka
Jonathan Kogan
Co-Founder/CEO, rpatools.io
Automatio is one of the most used for RPA Tools both internally and externally. It saves us countless hours of work and we realized this could do the same for other startups and so we choose Automatio for most of our automation needs.
Mohammed Ibrahim
CEO, qannas.pro
I have used many tools over the past 5 years, Automatio is the Jack of All trades.. !! it could be your scraping bot in the morning and then it becomes your VA by the noon and in the evening it does your automations.. its amazing!
Ben Bressington
CTO, AiChatSolutions
Automatio is fantastic and simple to use to extract data from any website. This allowed me to replace a developer and do tasks myself as they only take a few minutes to setup and forget about it. Automatio is a game changer!
Sarah Chen
Head of Growth, ScaleUp Labs
We've tried dozens of automation tools, but Automatio stands out for its flexibility and ease of use. Our team productivity increased by 40% within the first month of adoption.
David Park
Founder, DataDriven.io
The AI-powered features in Automatio are incredible. It understands context and adapts to changes in websites automatically. No more broken scrapers!
Emily Rodriguez
Marketing Director, GrowthMetrics
Automatio transformed our lead generation process. What used to take our team days now happens automatically in minutes. The ROI is incredible.
Jonathan Kogan
Co-Founder/CEO, rpatools.io
Automatio is one of the most used for RPA Tools both internally and externally. It saves us countless hours of work and we realized this could do the same for other startups and so we choose Automatio for most of our automation needs.
Mohammed Ibrahim
CEO, qannas.pro
I have used many tools over the past 5 years, Automatio is the Jack of All trades.. !! it could be your scraping bot in the morning and then it becomes your VA by the noon and in the evening it does your automations.. its amazing!
Ben Bressington
CTO, AiChatSolutions
Automatio is fantastic and simple to use to extract data from any website. This allowed me to replace a developer and do tasks myself as they only take a few minutes to setup and forget about it. Automatio is a game changer!
Sarah Chen
Head of Growth, ScaleUp Labs
We've tried dozens of automation tools, but Automatio stands out for its flexibility and ease of use. Our team productivity increased by 40% within the first month of adoption.
David Park
Founder, DataDriven.io
The AI-powered features in Automatio are incredible. It understands context and adapts to changes in websites automatically. No more broken scrapers!
Emily Rodriguez
Marketing Director, GrowthMetrics
Automatio transformed our lead generation process. What used to take our team days now happens automatically in minutes. The ROI is incredible.
Terkait Web Scraping
How to Scrape The AA (theaa.com): A Technical Guide for Car & Insurance Data
How to Scrape CSS Author: A Comprehensive Web Scraping Guide
How to Scrape Biluppgifter.se: Vehicle Data Extraction Guide
How to Scrape Bilregistret.ai: Swedish Vehicle Data Extraction Guide
How to Scrape Car.info | Vehicle Data & Valuation Extraction Guide
How to Scrape GoAbroad Study Abroad Programs
How to Scrape ResearchGate: Publication and Researcher Data
How to Scrape Statista: The Ultimate Guide to Market Data Extraction
Pertanyaan yang Sering Diajukan tentang Who.is
Temukan jawaban untuk pertanyaan umum tentang Who.is