قبل از هر چیز اجازه دهید مکالمه آشنایی که در ذهن خیلی از سئوکارها تکرار میشود را به نوشتار تبدیل کنیم:
سئوکار: من هر وقت که محتوای جدیدی تو سایتم میزارم یا یک بخشی رو به‌روزرسانی میکنم، تازه بعد چند هفته متوجه میشم که گوگل این تغییرات رو هنوز ایندکس نکرده!
گوگل: مگه نگفتم بودجه سایت ات رو بیهوده سرِ ریدایرکت ها و صفحات 404 هدر نده!
سئوکار: کدوم بودجه؟
گوگل: همون بودجه ای که باید برای ایندکس کردن صفحات ازش استفاده میکنم، بودجه خزش.
سئوکار: مگه خزش هم بودجه داره؟ از کجا بفهمم چه کارهایی باعث میشه بودجه خزش سایتم کم شه؟
این جاست که داستان شکل گیری مفهومی به نام Crawl Budget برای ما شروع میشود.