فایل robots.txt در ریشه اصلی یک وب سایت قرار می گیرد "http://your-site/robots.txt" و با استفاده از آن می توان دسترسی موتورهای جستجو به صفحات وب سایت را محدود کرد (برای crawl کردن) برای مثال اجازه crawl کردن یک صفحه خاص یا تمام صفحات درون یک فولدر خاص را به موتورهای جستجو نداد.
فایل robots.txt یک ساختار خاص دارد که می توانید در این لینک مشاهده کنید.
