فایل robots.txt چیست و چه مزیتی برای یک وب سایت به همراه دارد؟

0 رأی
میانگین بازدید روزانه 0.06212 بازدید

فایل robots.txt چیست و چه مزیتی برای یک وب سایت به همراه دارد؟ آیا یک وب سایت می تواند فایل robots.txt نداشته باشد؟

سوال 9 سال قبل در تالار کامپیوتر و اینترنت توسط Saeed Zarinfam (1,044 امتیاز)

1 جواب

0 رأی

فایل robots.txt در ریشه اصلی یک وب سایت قرار می گیرد "http://your-site/robots.txt" و با استفاده از آن می توان دسترسی موتورهای جستجو به صفحات وب سایت را محدود کرد (برای crawl کردن) برای مثال اجازه crawl کردن یک صفحه خاص یا تمام صفحات درون یک فولدر خاص را به موتورهای جستجو نداد.

فایل robots.txt یک ساختار خاص دارد که می توانید در این لینک مشاهده کنید.

جواب 9 سال قبل توسط Saeed Zarinfam (1,044 امتیاز)

سوال های مشابه

0 رأی
2 جواب میانگین بازدید روزانه 0.33157 بازدید
0 رأی
9 جواب میانگین بازدید روزانه 0.62752 بازدید
+1 رأی
4 جواب میانگین بازدید روزانه 0.48312 بازدید
+1 رأی
1 جواب میانگین بازدید روزانه 0.39273 بازدید
سوال 1 سال قبل در تالار کامپیوتر و اینترنت توسط zahraomidiseo (10 امتیاز)
0 رأی
4 جواب میانگین بازدید روزانه 0.27455 بازدید
0 رأی
1 جواب میانگین بازدید روزانه 0.26954 بازدید
سوال 10 سال قبل در تالار کامپیوتر و اینترنت توسط شاکر (690 امتیاز)
0 رأی
0 جواب میانگین بازدید روزانه 0.1876 بازدید
0 رأی
5 جواب میانگین بازدید روزانه 0.38261 بازدید
کانال تلگرام جواب یاب
...