0 امتیاز
قبل در کامپیوتر و اینترنت توسط (1.1هزار امتیاز)

فایل robots.txt چیست و چه مزیتی برای یک وب سایت به همراه دارد؟ آیا یک وب سایت می تواند فایل robots.txt نداشته باشد؟

1 پاسخ

0 امتیاز
قبل توسط (1.1هزار امتیاز)

فایل robots.txt در ریشه اصلی یک وب سایت قرار می گیرد "http://your-site/robots.txt" و با استفاده از آن می توان دسترسی موتورهای جستجو به صفحات وب سایت را محدود کرد (برای crawl کردن) برای مثال اجازه crawl کردن یک صفحه خاص یا تمام صفحات درون یک فولدر خاص را به موتورهای جستجو نداد.

فایل robots.txt یک ساختار خاص دارد که می توانید در این لینک مشاهده کنید.

سوالات مشابه

0 امتیاز
2 پاسخ 218 بازدید
0 امتیاز
11 پاسخ 1.2هزار بازدید
+1 امتیاز
2 پاسخ 400 بازدید
0 امتیاز
4 پاسخ 516 بازدید
0 امتیاز
1 پاسخ 1.0هزار بازدید
...