بررسی robots.txt و نقشه سایت

دامنه این بررسی

حداکثر دو فایل اصلی بررسی می‌شود: robots.txt و یک Sitemap. قوانین خزش استخراج می‌شوند؛ اجازه خزش تک‌تک مسیرها شبیه‌سازی نمی‌شود. URLهای داخل Sitemap و فایل‌های زیرمجموعه آن دریافت نمی‌شوند. این گزارش تأیید ایندکس گوگل یا سلامت کامل خزش نیست.

بدون نشانی اختیاری، اولین Sitemap قابل بررسی همان دامنه از robots.txt انتخاب می‌شود؛ در غیر این صورت /sitemap.xml بررسی می‌شود.