چگونه دادههای Who.is را برای هوش دامنه و IP استخراج کنیم
بیاموزید چگونه از Who.is برای استخراج جزئیات مالکیت دامنه، تاریخهای ثبت و اطلاعات تماس استفاده کنید. به راحتی B2B leads ارزشمند و هوش امنیت سایبری دریافت...
حفاظت ضد ربات شناسایی شد
- Cloudflare
- WAF و مدیریت ربات در سطح سازمانی. از چالشهای JavaScript، CAPTCHA و تحلیل رفتاری استفاده میکند. نیاز به اتوماسیون مرورگر با تنظیمات مخفی دارد.
- محدودیت نرخ
- درخواستها را بر اساس IP/جلسه در طول زمان محدود میکند. با پراکسیهای چرخشی، تأخیر درخواستها و اسکرپینگ توزیعشده قابل دور زدن است.
- مسدودسازی IP
- IPهای شناختهشده مراکز داده و آدرسهای علامتگذاریشده را مسدود میکند. نیاز به پراکسیهای مسکونی یا موبایل برای دور زدن مؤثر دارد.
- Google reCAPTCHA
- سیستم CAPTCHA گوگل. نسخه 2 نیاز به تعامل کاربر دارد، نسخه 3 بیصدا با امتیازدهی ریسک اجرا میشود. با خدمات CAPTCHA قابل حل است.
درباره Who.is
کشف کنید Who.is چه چیزی ارائه میدهد و چه دادههای ارزشمندی میتوان استخراج کرد.
سرویس جامع جستجوی دامنه
Who.is یک ابزار برتر مبتنی بر وب برای انجام جستجوهای WHOIS و RDAP جهت بازیابی اطلاعات ثبت عمومی نامهای دامنه و آدرسهای IP است. این سایت به عنوان یک مرکز واحد برای دسترسی به سوابق نگهداری شده توسط Registrarها و Registryهای دامنه در سراسر جهان عمل میکند و بینشهای حیاتی در مورد تاریخ ثبت، زمان انقضا و پیکربندی nameserverها ارائه میدهد. این پلتفرم به طور گسترده توسط متخصصان IT و محققان برای بررسی زیرساختهای شبکه و شناسایی نهادهای پشت منابع اینترنتی استفاده میشود.
مخزن غنی از داده
این وبسایت دادههای ساختاریافته و غیرساختاریافته مربوط به مخاطبین اداری، فنی و ثبتکننده مرتبط با یک دامنه را نمایش میدهد. اگرچه بسیاری از دادههای تماس شخصی اکنون برای مطابقت با GDPR و سایر پروتکلهای حریم خصوصی پنهان (redacted) شدهاند، سایت همچنان اطلاعات اساسی مانند نام Registrar، وضعیت دامنه و رکوردهای مختلف DNS را ارائه میدهد. همچنین ابزارهایی برای ردیابی آدرسهای IP و مانیتورینگ آپتایم وبسایت ارائه میدهد که آن را به یک منبع جامع برای هوش وب تبدیل میکند.
ارزش تجاری استخراج داده از WHOIS
استخراج دادههای Who.is برای محققان امنیت سایبری، تحلیلگران هوش رقابتی و متخصصان بازاریابی بسیار ارزشمند است. این کار امکان شناسایی کسبوکارهای تازه ثبت شده، ردیابی جابجایی سبد دامنهها و بررسی زیرساختهای مورد استفاده توسط عوامل تهدید بالقوه را فراهم میکند. سازمانها با خودکارسازی استخراج این دادهها میتوانند از روندهای بازار جلوتر بمانند، داراییهای برند خود را محافظت کنند و به طور موثر B2B leads با کیفیت بالا تولید کنند.
چرا Who.is را اسکرپ کنیم؟
ارزش تجاری و موارد استفاده برای استخراج داده از Who.is را کشف کنید.
تولید B2B lead با شناسایی مالکان دامنههای تازه ثبت شده
هوش تهدیدات امنیت سایبری و نقشهبرداری از زیرساخت دامنه
مانیتور کردن تاریخ انقضای دامنهها برای فرصتهای خرید و سرمایهگذاری
اجرای حقوق مالکیت معنوی و شناسایی نقضکنندگان علائم تجاری
تحقیق بازار و ردیابی روندهای ثبت دامنه در بخشهای خاص
چالشهای اسکرپینگ
چالشهای فنی که ممکن است هنگام اسکرپ Who.is با آنها مواجه شوید.
سیستمهای حفاظتی تهاجمی ضد ربات Cloudflare و چالشهای مرورگر
محدودیتهای نرخ (rate limits) سختگیرانه برای تعداد جستجوهای مجاز به ازای هر IP
پنهانسازی گسترده دادهها به دلیل GDPR و سرویسهای حریم خصوصی WHOIS
بارگذاری محتوای پویا برای برخی نتایج جستجو که نیاز به رندرینگ دارند
الزامات پیچیده پارس کردن برای بلوکهای متنی خام و غیرساختاریافته WHOIS
استخراج داده از Who.is با هوش مصنوعی
بدون نیاز به کدنویسی. با اتوماسیون مبتنی بر هوش مصنوعی در چند دقیقه داده استخراج کنید.
نحوه عملکرد
نیاز خود را توصیف کنید
به هوش مصنوعی بگویید چه دادههایی را میخواهید از Who.is استخراج کنید. فقط به زبان طبیعی بنویسید — بدون نیاز به کد یا سلکتور.
هوش مصنوعی دادهها را استخراج میکند
هوش مصنوعی ما Who.is را مرور میکند، محتوای پویا را مدیریت میکند و دقیقاً آنچه درخواست کردهاید را استخراج میکند.
دادههای خود را دریافت کنید
دادههای تمیز و ساختاریافته آماده برای صادرات به CSV، JSON یا ارسال مستقیم به برنامههای شما دریافت کنید.
چرا از هوش مصنوعی برای استخراج داده استفاده کنید
هوش مصنوعی استخراج داده از Who.is را بدون نوشتن کد آسان میکند. پلتفرم ما با هوش مصنوعی میفهمد چه دادههایی میخواهید — فقط به زبان طبیعی توصیف کنید و هوش مصنوعی به طور خودکار استخراج میکند.
How to scrape with AI:
- نیاز خود را توصیف کنید: به هوش مصنوعی بگویید چه دادههایی را میخواهید از Who.is استخراج کنید. فقط به زبان طبیعی بنویسید — بدون نیاز به کد یا سلکتور.
- هوش مصنوعی دادهها را استخراج میکند: هوش مصنوعی ما Who.is را مرور میکند، محتوای پویا را مدیریت میکند و دقیقاً آنچه درخواست کردهاید را استخراج میکند.
- دادههای خود را دریافت کنید: دادههای تمیز و ساختاریافته آماده برای صادرات به CSV، JSON یا ارسال مستقیم به برنامههای شما دریافت کنید.
Why use AI for scraping:
- رابط کاربری بدون کد (no-code) امکان ساخت اسکرپرهای Who.is را در چند دقیقه بدون نیاز به اسکریپت فراهم میکند
- مدیریت خودکار چالشهای Cloudflare و موانع رندرینگ JavaScript
- اجرای ابری (Cloud execution) که از مسدود شدن IP محلی و مشکلات محدودیت نرخ کاملاً جلوگیری میکند
- زمانبندی داخلی برای مانیتورینگ مداوم تغییرات وضعیت دامنه
- خروجی داده یکپارچه به Google Sheets یا CRMها برای مدیریت لیدها
اسکرپرهای وب بدون کد برای Who.is
جایگزینهای کلیک و انتخاب برای اسکرپینگ مبتنی بر AI
چندین ابزار بدون کد مانند Browse.ai، Octoparse، Axiom و ParseHub میتوانند به شما در اسکرپ Who.is بدون نوشتن کد کمک کنند. این ابزارها معمولاً از رابطهای بصری برای انتخاب داده استفاده میکنند، اگرچه ممکن است با محتوای پویای پیچیده یا اقدامات ضد ربات مشکل داشته باشند.
گردش کار معمول با ابزارهای بدون کد
چالشهای رایج
منحنی یادگیری
درک انتخابگرها و منطق استخراج زمان میبرد
انتخابگرها خراب میشوند
تغییرات وبسایت میتواند کل جریان کار را خراب کند
مشکلات محتوای پویا
سایتهای پر از JavaScript نیاز به راهحلهای پیچیده دارند
محدودیتهای CAPTCHA
اکثر ابزارها نیاز به مداخله دستی برای CAPTCHA دارند
مسدود شدن IP
استخراج تهاجمی میتواند منجر به مسدود شدن IP شما شود
اسکرپرهای وب بدون کد برای Who.is
چندین ابزار بدون کد مانند Browse.ai، Octoparse، Axiom و ParseHub میتوانند به شما در اسکرپ Who.is بدون نوشتن کد کمک کنند. این ابزارها معمولاً از رابطهای بصری برای انتخاب داده استفاده میکنند، اگرچه ممکن است با محتوای پویای پیچیده یا اقدامات ضد ربات مشکل داشته باشند.
گردش کار معمول با ابزارهای بدون کد
- افزونه مرورگر را نصب کنید یا در پلتفرم ثبتنام کنید
- به وبسایت هدف بروید و ابزار را باز کنید
- عناصر دادهای مورد نظر را با کلیک انتخاب کنید
- انتخابگرهای CSS را برای هر فیلد داده پیکربندی کنید
- قوانین صفحهبندی را برای استخراج چندین صفحه تنظیم کنید
- CAPTCHA را مدیریت کنید (اغلب نیاز به حل دستی دارد)
- زمانبندی اجرای خودکار را پیکربندی کنید
- دادهها را به CSV، JSON صادر کنید یا از طریق API متصل شوید
چالشهای رایج
- منحنی یادگیری: درک انتخابگرها و منطق استخراج زمان میبرد
- انتخابگرها خراب میشوند: تغییرات وبسایت میتواند کل جریان کار را خراب کند
- مشکلات محتوای پویا: سایتهای پر از JavaScript نیاز به راهحلهای پیچیده دارند
- محدودیتهای CAPTCHA: اکثر ابزارها نیاز به مداخله دستی برای CAPTCHA دارند
- مسدود شدن IP: استخراج تهاجمی میتواند منجر به مسدود شدن IP شما شود
نمونه کدها
import requests
from bs4 import BeautifulSoup
# سایت Who.is از Cloudflare استفاده میکند، بنابراین هدرهای باکیفیت ضروری هستند
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
'Accept-Language': 'en-US,en;q=0.9'
}
url = 'https://who.is/whois/example.com'
try:
response = requests.get(url, headers=headers)
response.raise_for_status()
soup = BeautifulSoup(response.text, 'html.parser')
# دادههای WHOIS معمولاً داخل تگهای pre یا کلاسهای div خاص هستند
whois_block = soup.find('pre')
if whois_block:
print(f'WHOIS Data: {whois_block.get_text().strip()}')
else:
print('Data block not found or blocked by anti-bot.')
try:
# مدیریت خطا
except requests.exceptions.RequestException as e:
print(f'Request failed: {e}')زمان استفاده
بهترین گزینه برای صفحات HTML ایستا که محتوا در سمت سرور بارگذاری میشود. سریعترین و سادهترین روش وقتی رندر JavaScript لازم نیست.
مزایا
- ●سریعترین اجرا (بدون سربار مرورگر)
- ●کمترین مصرف منابع
- ●به راحتی با asyncio قابل موازیسازی
- ●عالی برای API و صفحات ایستا
محدودیتها
- ●قادر به اجرای JavaScript نیست
- ●در SPA و محتوای پویا ناموفق است
- ●ممکن است با سیستمهای ضد ربات پیچیده مشکل داشته باشد
How to Scrape Who.is with Code
Python + Requests
import requests
from bs4 import BeautifulSoup
# سایت Who.is از Cloudflare استفاده میکند، بنابراین هدرهای باکیفیت ضروری هستند
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
'Accept-Language': 'en-US,en;q=0.9'
}
url = 'https://who.is/whois/example.com'
try:
response = requests.get(url, headers=headers)
response.raise_for_status()
soup = BeautifulSoup(response.text, 'html.parser')
# دادههای WHOIS معمولاً داخل تگهای pre یا کلاسهای div خاص هستند
whois_block = soup.find('pre')
if whois_block:
print(f'WHOIS Data: {whois_block.get_text().strip()}')
else:
print('Data block not found or blocked by anti-bot.')
try:
# مدیریت خطا
except requests.exceptions.RequestException as e:
print(f'Request failed: {e}')Python + Playwright
from playwright.sync_api import sync_playwright
def scrape_whois(domain):
with sync_playwright() as p:
# حالت Headless باید در صورت امکان با پلاگینهای stealth استفاده شود
browser = p.chromium.launch(headless=True)
context = browser.new_context(user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/110.0.0.0 Safari/537.36')
page = context.new_page()
# رفتن به صفحه جستجو
page.goto(f'https://who.is/whois/{domain}')
# انتظار برای رندر شدن کانتینر نتایج
page.wait_for_selector('.query-results', timeout=10000)
# استخراج متن داخلی نتایج
results = page.inner_text('.query-results')
print(f'Results for {domain}:
{results}')
browser.close()
scrape_whois('google.com')Python + Scrapy
import scrapy
class WhoisSpider(scrapy.Spider):
name = 'whois_spider'
def start_requests(self):
# دامنهها برای جستجو
domains = ['example.com', 'test.org']
for domain in domains:
yield scrapy.Request(
url=f'https://who.is/whois/{domain}',
callback=self.parse,
meta={'proxy': 'http://your-residential-proxy:port'}
)
def parse(self, response):
# استخراج نام دامنه و متن خام WHOIS
yield {
'domain': response.css('h1::text').get(),
'raw_data': response.css('.query-results pre::text').get(),
'registrar': response.xpath("//div[contains(text(), 'Registrar')]/following-sibling::div/text()").get()
}Node.js + Puppeteer
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch({ headless: true });
const page = await browser.newPage();
// تنظیم یک user agent واقعی
await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36');
await page.goto('https://who.is/whois/example.com');
// انتظار برای بلوک متنی اصلی حاوی دادههای WHOIS
try {
await page.waitForSelector('pre', { timeout: 5000 });
const whoisData = await page.evaluate(() => {
const pre = document.querySelector('pre');
return pre ? pre.innerText : 'Data not found';
});
console.log(whoisData);
} catch (err) {
console.log('Timeout or blocking detected:', err.message);
}
await browser.close();
})();با دادههای Who.is چه کارهایی میتوانید انجام دهید
کاربردهای عملی و بینشها از دادههای Who.is را بررسی کنید.
تعاملات فروش B2B
تیمهای فروش میتوانند تصمیمگیرندگان پشت دامنههای تازه ثبت شده را شناسایی کنند تا خدماتی مانند طراحی وب یا میزبانی ارائه دهند.
نحوه پیادهسازی:
- 1مانیتور کردن لیستهای روزانه ثبت دامنههای جدید.
- 2استخراج نام ثبتکنندگان و جزئیات سازمان از Who.is.
- 3فیلتر کردن لیدها بر اساس کلمات کلیدی مرتبط با صنعت در نام دامنهها.
- 4وارد کردن مخاطبین با پتانسیل بالا به یک پلتفرم بازاریابی ایمیلی خودکار.
از Automatio برای استخراج داده از Who.is و ساخت این برنامهها بدون نوشتن کد استفاده کنید.
با دادههای Who.is چه کارهایی میتوانید انجام دهید
- تعاملات فروش B2B
تیمهای فروش میتوانند تصمیمگیرندگان پشت دامنههای تازه ثبت شده را شناسایی کنند تا خدماتی مانند طراحی وب یا میزبانی ارائه دهند.
- مانیتور کردن لیستهای روزانه ثبت دامنههای جدید.
- استخراج نام ثبتکنندگان و جزئیات سازمان از Who.is.
- فیلتر کردن لیدها بر اساس کلمات کلیدی مرتبط با صنعت در نام دامنهها.
- وارد کردن مخاطبین با پتانسیل بالا به یک پلتفرم بازاریابی ایمیلی خودکار.
- نقشهبرداری از تهدیدات امنیت سایبری
تحلیلگران امنیتی از دادههای WHOIS برای نقشهبرداری از زیرساختهای مورد استفاده توسط عوامل مخرب یا کمپینهای فیشینگ استفاده میکنند.
- وارد کردن یک دامنه مخرب شناخته شده به اسکرپر.
- استخراج nameserverهای مرتبط و شناسه سازمانهای ثبتکننده.
- جستجو برای دامنههای دیگر که از همین شناسههای زیرساختی استفاده میکنند.
- مسدود کردن محدودههای شبکه شناسایی شده در فایروالهای امنیتی شرکت.
- مانیتورینگ تصاحب دامنه
سرمایهگذاران میتوانند دامنههایی را که قصد خریدشان را دارند با مانیتور کردن تاریخ انقضا و تغییرات وضعیت ردیابی کنند.
- تهیه لیستی از دامنههای باارزش هدف برای خرید.
- برنامهریزی استخراج روزانه برای بررسی تاریخ 'Expires' و 'Domain Status'.
- تنظیم هشدارهای خودکار برای دامنههایی که وارد 'Redemption Period' میشوند.
- ثبت سفارشهای خرید (backorder) حرفهای به محض آزاد شدن دامنه در بازار.
- تحلیل حفاظت از برند
شرکتها میتوانند برای محافظت از مشتریان، دامنههای مشابه (typosquatting) یا وبسایتهای جعلی که از علائم تجاری آنها استفاده میکنند را مانیتور کنند.
- انجام جستجوهای خودکار برای انواع نوشتارها و اشتباهات تایپی رایج نام برند.
- استخراج اطلاعات ثبتکننده و Registrar برای هر دامنه مشکوک مشابه.
- تحلیل nameserverها برای تعیین ارائهدهنده میزبانی سایت جعلی.
- ارسال درخواستهای قانونی حذف (takedown) به Registrarها و شرکتهای میزبانی شناسایی شده.
گردش کار خود را با اتوماسیون AI
Automatio قدرت عاملهای AI، اتوماسیون وب و ادغامهای هوشمند را ترکیب میکند تا به شما کمک کند در زمان کمتر بیشتر انجام دهید.
نکات حرفهای برای اسکرپ Who.is
توصیههای تخصصی برای استخراج موفق داده از Who.is.
برای دور زدن محدودیتهای IP و سیستمهای امنیتی Cloudflare، از residential proxies با کیفیت و چرخشی استفاده کنید.
برای مدیریت رندرینگ پویا (dynamic rendering) و چالشهای JS، از یک headless browser مانند Playwright یا Puppeteer استفاده کنید.
بین جستجوها، فواصل زمانی تصادفی (jitter) ایجاد کنید تا رفتار طبیعی انسان شبیهسازی شود.
از regular expressions (regex) برای تبدیل بلوکهای متنی خام به دادههای ساختاریافته JSON استفاده کنید تا کاربرد بیشتری داشته باشند.
فیلد 'Expires' را به طور ویژه مانیتور کنید تا برای دامنههای باارزشی که وارد مرحله redemption میشوند، هشدار (alert) دریافت کنید.
اگر اطلاعات WHOIS پنهان شده است، بخش RDAP را بررسی کنید؛ چرا که گاهی دادههای ساختاریافتهتری برای اتصال فراهم میکند.
نظرات
کاربران ما چه میگویند
به هزاران کاربر راضی که گردش کار خود را متحول کردهاند بپیوندید
Jonathan Kogan
Co-Founder/CEO, rpatools.io
Automatio is one of the most used for RPA Tools both internally and externally. It saves us countless hours of work and we realized this could do the same for other startups and so we choose Automatio for most of our automation needs.
Mohammed Ibrahim
CEO, qannas.pro
I have used many tools over the past 5 years, Automatio is the Jack of All trades.. !! it could be your scraping bot in the morning and then it becomes your VA by the noon and in the evening it does your automations.. its amazing!
Ben Bressington
CTO, AiChatSolutions
Automatio is fantastic and simple to use to extract data from any website. This allowed me to replace a developer and do tasks myself as they only take a few minutes to setup and forget about it. Automatio is a game changer!
Sarah Chen
Head of Growth, ScaleUp Labs
We've tried dozens of automation tools, but Automatio stands out for its flexibility and ease of use. Our team productivity increased by 40% within the first month of adoption.
David Park
Founder, DataDriven.io
The AI-powered features in Automatio are incredible. It understands context and adapts to changes in websites automatically. No more broken scrapers!
Emily Rodriguez
Marketing Director, GrowthMetrics
Automatio transformed our lead generation process. What used to take our team days now happens automatically in minutes. The ROI is incredible.
Jonathan Kogan
Co-Founder/CEO, rpatools.io
Automatio is one of the most used for RPA Tools both internally and externally. It saves us countless hours of work and we realized this could do the same for other startups and so we choose Automatio for most of our automation needs.
Mohammed Ibrahim
CEO, qannas.pro
I have used many tools over the past 5 years, Automatio is the Jack of All trades.. !! it could be your scraping bot in the morning and then it becomes your VA by the noon and in the evening it does your automations.. its amazing!
Ben Bressington
CTO, AiChatSolutions
Automatio is fantastic and simple to use to extract data from any website. This allowed me to replace a developer and do tasks myself as they only take a few minutes to setup and forget about it. Automatio is a game changer!
Sarah Chen
Head of Growth, ScaleUp Labs
We've tried dozens of automation tools, but Automatio stands out for its flexibility and ease of use. Our team productivity increased by 40% within the first month of adoption.
David Park
Founder, DataDriven.io
The AI-powered features in Automatio are incredible. It understands context and adapts to changes in websites automatically. No more broken scrapers!
Emily Rodriguez
Marketing Director, GrowthMetrics
Automatio transformed our lead generation process. What used to take our team days now happens automatically in minutes. The ROI is incredible.
مرتبط Web Scraping
How to Scrape The AA (theaa.com): A Technical Guide for Car & Insurance Data
How to Scrape CSS Author: A Comprehensive Web Scraping Guide
How to Scrape Biluppgifter.se: Vehicle Data Extraction Guide
How to Scrape Bilregistret.ai: Swedish Vehicle Data Extraction Guide
How to Scrape Car.info | Vehicle Data & Valuation Extraction Guide
How to Scrape GoAbroad Study Abroad Programs
How to Scrape ResearchGate: Publication and Researcher Data
How to Scrape Statista: The Ultimate Guide to Market Data Extraction
سوالات متداول درباره Who.is
پاسخ سوالات رایج درباره Who.is را بیابید