به نظر شما چگونه است که موتورهای جستجو در عرض تنها چند میلی ثانیه میلیون ها وب سایت را جستجو می کنند و به ما نتیجه کار را نمایش می دهند ؟ آیا به محض اینکه شما کلید واژه ای را در موتور جستجو وارد کنید تمامی صفحات وب جستجو می شوند ؟ جواب این مسئله قطعا خیر است ، اگر چنین مسئله ای وجود داشت زمان پاسخگویی موتورهای جستجو به شدت بالا می رفت.
موتورهای جستجو در واقع تمامی صفحات موجود در اینترنت را برای شما در پایگاه داده خود ایندکس یا Index می کنند و بعد از اینکه شما جستجویی را انجام می دهید در واقع موتور جستجو در این پایگاه داده و صفحات ایندکس شده خود به دنبال نتیجه می گردد نه در وب سایت ها . اما سئوال اصلی اینجا پیش می آید که چگونه این صفحات در پایگاه داده های موتورهای جستجو قرار می گیرند و چگونه این پایگاه داده بروز می شود ؟ جواب این مسئله در واقع همان تعریفی است که ما از Spider ها یا Crawler ها می خواهیم در این مقاله ارائه دهیم.