ربات‌های هوش مصنوعی و دسترسی به سایت

دو گونه ربات

ربات‌های هوش مصنوعی به دو گروه تقسیم می‌شوند و اشتباه گرفتنشان به بهای دیده‌شدن تمام می‌شود:

1. 1ربات‌های استنادکنندهوقتی کاربر پرسشی می‌پرسد وارد سایت می‌شوند. مسدود کردنشان یعنی واقعاً از پاسخ بیرون می‌افتید.
2. 2ربات‌های آموزشیمحتوا را برای آموزش مدل‌ها گرد می‌آورند. مسدود کردنشان استنادها را نمی‌گیرد - این تصمیمی جداگانه و بیشتر اصولی است.

مسدودسازی‌ها از کجا می‌آیند

بیشتر از پرونده robots.txt یا از حفاظت‌های میزبانی که کسی آگاهانه روشنشان نکرده است. پنل نشان می‌دهد دقیقاً چه چیزی دسترسی را می‌بندد و چه باید تغییر کند.