بخش خطاهای Crawler گوگل وب مستر و یا همان خطاهای خزنده گوگل در سرچ کنسول گوگل وب مستر یکی از مهمترین بخش‌های گوگل وب مستر است که به شما اطلاعاتی از خطاهایی که بر روی سایت شما در هنگام خزیدن ربات گوگل است ، می‌دهد.
حال در این مطلب به بررسی انواع خطاهای Crawler گوگل وب مستر پرداخته تا بیش از پیش با آن آشنا شوید.
خطاهای Crawler گوگل وب مستر
در واقع گوگل از دو طریق سایت شما را اسکن و ایندکس می‌کند.
- از طریق خزیدن یا همان Crawling در سایت شما
- از طریق بک لینک خارجی و یا داخلی
Crawler گوگل با ورود به سایت شما شروع به باز کردن صفحات کرده و با بررسی هر یک از صفحات و محتوای آن ، اطلاعات و داده‌های سایت شما را در دیتابیس موتور جستجو ثبت کرده و کاربران پس از جستجو موضوعی مرتبط با سایت شما ، به سایت شما ارجاع داده می‌شوند.
حال در هنگام خزیدن یا همان Crawling ، ممکن است برخی صفحات به دلایل مختلف همراه با خطا شود و یا خزنده نتواند محتوای را به هر دلیلی بخواند ، در بخش crawl errors نمایش داده می‌شود.
حال در ادامه با محیط Crawl errors گوگل وب مستر بیشتر آشنا خواهیم شد.
پس از ورود شما به سرچ کنسول گوگل وب مستر در منوی سمت چپ گزینه Crawl و در ادامه گزینه Crawl errors را انتخاب کنید.
صفحه‌ای که مشاهده خواهید کرد به شکل زیر خواهد بود.
در صفحه Crawl Errors دو نوع خطا نمایش داده شود که به شرح زیر می‌باشند.
Site Errors: این خطا هنگامی رخ می‌دهد که Crawler یا همان روبات گوگل به محتوای سایت شما به صورت کلی دسترسی نداشته باشد و با خزنده در هنگام باز کردن سایت با خطا روبه‌رو شود.
خطاهای Site Errors شامل سرویس DNS ، برقراری ارتباط سرور و فایل Robot.txt است.
URL Errors: خطای URL Errors در هنگامی رخ خواهد داد که خزنده در هنگام باز کردن صفحه‌ای از سایت شما با خطا روبه‌رو شود.
خطاهای URL Errors شامل دو بخش اصلی Desktop و Smartphone است که در سربرگ Desktop شما خطاهایی را خواهید دید که خزنده سایت شما را در حالت دسکتاپ باز می‌کند و در بخش Smartphones خطاهایی که از دید موبایل باز شده قابل رویت است.
در این سربرگ‌ها خطاها به بخش‌هایی تقسیم بندی شده که به شرح زیر هستند.
سربرگ Server errors : این خطاها هنگامی رخ داده که خزنده با server timeout برخورد داشته است.
سربرگ soft 404 : این دسته از خطاها مربوط به هنگامی است که URL پیدا نشده ولی سرور سایت شما ، خزنده را به صفحه 404 ارجاع نداده است.
سربرگ Access Denied : در هنگامی که از ورود خزنده به صفحاتی جلوگیری شود ، این خطا رخ خواهد داد.
سربرگ Not Found : همانطور که از نام آن پیداست به معنی پیدا نشدن یک URL خاص از سایت شما خواهد بود.
سربرگ Others : سایر خطاهایی که در این 4 بخش قرار نگیرد ، شامل این دسته خواهد شد.
خطاهای خزنده گوگل در این 5 دسته طبقه بندی شده که در ادامه همین صفحه نیز ، شما خطاهای سایت خود را با جزئیات خواهید دید.
نکته : خطاهای نمایش داده شده به ترتیب تاریخ رخ دادن خطاها نیست و به ترتیب اهمیت آن نمایش داده می‌شود.
حال در ادامه مبحث خطاهای Crawler گوگل وب مستر به نحوه رفع خطاها خواهیم پرداخت.
رفع خطاهای Crawler گوگل وب مستر
- برای دیدن نوع و اطلاعات هر خطا ، بر روی آن کلیک کنید.
- خطا به شکل زیر نمایش داده می‌شود.
همانطور که در صفحه خطا مشاهده می‌نمایید ، این صفحه شامل 6 بخش اصلی است که به شرح زیر می‌باشد.
- نوع خطایی که رخ داده است در این بخش نمایش داده خواهد شد.
- آدرس صفحه‌ای که خزنده به آن مراجعه کرده و با خطا روبه‌رو شده است.
- بخش Error details ، اطلاعات کاملی از نوع خطای رخ داده را به شما نمایش خواهد داد.
- این قسمت آدرس آدرس URL خطا داده شده در Sitemaps را نمایش می‌دهد.
- در این سربرگ ، لینک تمام صفحاتی که به این صفحه لینک زده‌اند را نمایش می‌دهد.
- گزینه Fetch as google به گوگل درخواست خواهید کرد که این صفحه را مورد بازبینی مجدد قرار داده تا ایندکس شود.
پس از مشاهده خطا ، بهتر است این مراحل را برای رفع آن طی کنید.
آموزش رفع خطاهای خزنده گوگل وب مستر
ابتدا بر روی آدرس صفحه خطا داده شده ، کلیک کنید و ببینید این خطا بدرستی بوده و یا به صورت موقت آن صفحه برای خزنده به نمایش در نیامده است.
اگر صفحه بدرستی باز شد و هیچ مشکلی در نمایش آن نبود ، بر روی Fetch as Google کلیک کنید تا از لیست خطاها پاک شود ئ درخواستی جهت ایندکس شدن مجدد صفحه ارسال شود.
اگر صفحه باز نشد پیشنهاد می‌گردد ، آن صفحه را در سایت خود درست کنید و یا اگر به کل آن صفحه حذف شده است از لیست Sitemaps خود آن را حذف کنید تا دیگر خطا برای این صفحه ثبت نشود.
نکته بسیار مهم در مورد خطاهای Crawler گوگل وب مستر
خطاهای Crawler گوگل وب مستر به صورت پیش فرض ممکن است بارها برای سایت شما ایجاد شود و نیازی به وسواس نیست که همیشه و مداوم به رفع و حذف آن از این لیست بپردازید.
در کل این لیست تنها برای اطلاع به شماست تا به بهترین شکل وب سایت خود را در دسترسی کاربران قرار دهید و وسواس در حذف کردن آنها تنها زمان زیادی از شما خواهد گرفت.
امیدواریم مطلب خطاهای Crawler گوگل وب مستر و رفع آن برای شما مفید واقع شده باشد.
