OrbitalSEOBot

این ربات چیست

OrbitalSEOBot ابزار سئوی داخلی استودیو اوربیتال است. صفحه‌های عمومی وب را به دو دلیل می‌خواند:

• برای بررسی سلامت فنی سایت خودمان و سایت مشتری‌هایی که نگهداری‌شان با ماست: لینک‌های خراب، ریدایرکت‌ها، عنوان صفحه‌ها، داده‌های ساختاریافته، سرعت و دسترس‌پذیری.
• برای اینکه فهرست کوتاهی از سایت‌های عمومی کسب‌وکارهای دیگر را هفته‌ای یک بار ببینیم و بدانیم بازار چطور تغییر می‌کند: صفحه‌های تازه، عنوان‌های عوض‌شده و قیمت‌هایی که روی خود صفحه نوشته شده است.

چه چیزی می‌خواند و چه چیزی نگه می‌دارد

robots.txt، نقشه سایت و صفحه‌های عمومی را می‌خواند. وارد حساب کاربری نمی‌شود، فرمی را پر نمی‌کند، به سبد خرید و پرداخت دست نمی‌زند و چیزی را که robots.txt بسته باشد نمی‌خواند.

از هر صفحه فقط اطلاعات آن را نگه می‌دارد، نه خود صفحه را: عنوان، سرتیترها، تعداد کلمه‌ها، یک اثرانگشت از متن، نوع داده‌های ساختاریافته، تعداد لینک‌ها و قیمت‌هایی که روی صفحه نوشته شده است. متن شما را کپی نمی‌کنیم و جایی منتشرش نمی‌کنیم. این اطلاعات فقط برای این است که بفهمیم از هفته‌ای به هفته بعد چه چیزی عوض شده.

با چه ادبی کار می‌کند

• در شروع هر بازدید اول robots.txt را می‌خواند و از آن پیروی می‌کند، از جمله Crawl-delay. اگر برای OrbitalSEOBot قاعده‌ای نوشته باشید، بر قاعده‌ی همه (*) مقدم است.
• هر بار فقط یک درخواست می‌فرستد. روی سایت‌هایی که مال ما نیستند بین دو درخواست دست‌کم ۳ ثانیه (معمولاً ۴ ثانیه) صبر می‌کند و هفته‌ای یک بار، حداکثر چند صد صفحه را می‌بیند.
• اول می‌پرسد و بعد دانلود می‌کند: صفحه‌ای که از دفعه قبل تغییر نکرده با یک پاسخ کوچک «تغییر نکرده» تمام می‌شود و صفحه‌ای که تاریخ آن در نقشه سایت از بازدید اخیر عوض نشده اصلاً درخواست نمی‌شود.
• اگر سرور شما بگوید «درخواست زیاد است»، «دسترسی ممنوع» یا صفحه‌ی چالش نشان بدهد، می‌ایستد، دست‌کم یک هفته برنمی‌گردد و اگر دوباره ردش کنید مدت انتظارش بیشتر می‌شود. دور مسدودسازی نمی‌گردد، آدرسش را عوض نمی‌کند، خودش را جای مرورگر جا نمی‌زند و کپچا را حل نمی‌کند.
• روی سایت‌های خودمان ممکن است چند صفحه را در یک مرورگر بدون نمایشگر باز کند تا ببیند با جاوااسکریپت درست کار می‌کنند و برای همه قابل استفاده‌اند. نامش همان است و تصویر، فونت و ویدیو بارگذاری نمی‌کند.

کندش کنید یا متوقفش کنید

این خط‌ها را به robots.txt سایت خود اضافه کنید. از بازدید بعدی ربات اثر می‌کند، چون هر بار robots.txt را دوباره می‌خواند.

User-agent: OrbitalSEOBot
Disallow: /

یا فقط بخواهید آهسته‌تر بیاید یا یک پوشه را نبیند

مقدار Crawl-delay به ثانیه است. Disallow برای هر مسیری کار می‌کند.

User-agent: OrbitalSEOBot
Crawl-delay: 30
Disallow: /private/

مسدودسازی یعنی مسدودسازی: اگر به‌جای robots.txt ربات را در فایروال رد کنید، عقب می‌کشد و تیم ما مطلع می‌شود.

داده‌ی عمومی دیگری که استفاده می‌کنیم

برای اینکه ببینیم کدام سایت‌ها به کدام سایت‌ها لینک داده‌اند، از گراف لینک عمومی Common Crawl هم استفاده می‌کنیم. فایل‌های آن‌ها را دانلود می‌کنیم؛ برای این کار صفحه‌های شما را درخواست نمی‌کنیم.