robot.txt چیست و چه کاربردی دارد

| دسته بندی: آموزش سئو و بهینه سازی |
robot.txt چیست و چه کاربردی دارد

در این بخش از سری مقالات آموزش سئو به یکی از مهمترین و البته ساده‌ترین مواردی که در سئو هر سایتی می‌تواند بسیار حیاتی و مهم باشد خواهیم پرداخت تا تمامی وب مستر ها با واژه robot.txt چیست و چه کاربردی دارد بیشتر آشنا شده و بتوانند از آن به طور مناسب استفاده نمایند. robot.txt چیست و چه کاربردی دارد ؟ فایل Robots.txt فایلی برای گزارش ساختار صفحات وب سایت به ربات‌های کراولر (crawler) موتورهای جستجو است تا بتوانند متوجه شوند که کدام صفحات باید در موتورهای جستجو نمایش داده شوند و کدام صفحات نمایش داده نشوند. این فایل کاملا فایل دسترسی است و می‌توانید اطلاعات داخل آن را بخوانید و یا ویرایش کنید و افراد مختلف نیز صرفا با...