فایل robots.txt چیست و چه مزیتی برای یک وب سایت به همراه دارد؟ آیا یک وب سایت می تواند فایل robots.txt نداشته باشد؟
فایل robots.txt در ریشه اصلی یک وب سایت قرار می گیرد "http://your-site/robots.txt" و با استفاده از آن می توان دسترسی موتورهای جستجو به صفحات وب سایت را محدود کرد (برای crawl کردن) برای مثال اجازه crawl کردن یک صفحه خاص یا تمام صفحات درون یک فولدر خاص را به موتورهای جستجو نداد.
فایل robots.txt یک ساختار خاص دارد که می توانید در این لینک مشاهده کنید.
تبلیغات در جواب یاب
اخبار
سیستم امتیازدهی
دسترسی کاربران
داغ ترین سوال ها
پربازدیدترین سوال ها
جاوا
وب-سایت
پزشکی
اندروید
موبایل
ماشین
لینوکس
اینترنت
نرم-افزار
برنامه-نویسی-اندروید
ویندوز
لپ-تاپ
پایگاه-داده
php
سخت-افزار
اوبونتو