راهنمای آموزش خطاهای خزش یا کراول (Crawl error)

ایجاد رتبه بندی بالای در نتایج جستجو، با اطمینان از اینکه Google می تواند محتوای شما را بررسی کند، شروع می شود. وقتی گوگل نتواند به درستی صفحه ای را باز کند یا از یک صفحه به صفحه دیگر منتقل شود، نمی تواند محتوا را ایندکس کند. این موارد به عنوان خطاهای خزش یا کراول شناخته می شوند. Crawl errors به خطاهایی گفته می شود که خزنده های گوگل حین بررسی محتوای یک سایت به آن برمی خورند و در پنل وبمسترتولز نیز به نمایش در می آید.

کنسول جستجوی گوگل به شما کمک می‌کند تا شیوه عملکرد گوگل نسبت به سایت خود را بررسی کنید، عملکرد این ابزار اینگونه است که هر آنچه را که خزنده‌های گوگل بدست می‌آورند را نمایش می‌دهد پس می‌توانید اطلاعات کاملی از سایت خود داشته باشید. یکی از بخش‌های بسیار مهم و کاربردی این ابزار، بخشی تحت عنوان Crawl Errors وجود دارد که در آن خطاهایی که خزنده‌های گوگل هنگام بررسی سایت شما با آن‌ها مواجه شده است را به نمایش می‌گذارد.
ویکی دمی در این مقاله موارد زیر را به شما آموزش می دهد:

⦁ خطای کراول چیست؟
⦁ خطاهای سایت چیست؟
⦁ خطاهای URL چیست؟
⦁ ابزار بازرسی URL چیست؟
⦁ مشکل خطاهای خزنده چیست؟خطای خزش (Crawl) چیست؟

خطاهای خزشی، مشکلاتی است که موتورهای جستجو هنگام دستیابی به صفحات شما با آن روبرو می شوند. این خطاها مانع از خواندن محتوای ربات های موتور جستجو و فهرست بندی صفحات شما می شوند.
Crawl Errors همچنین می تواند به گزارشی موجود در نسخه قدیمی Google Search Console اشاره کند.

گزارش خطاهای خزنده دارای دو بخش اصلی است:

⦁ خطاهای سایت: این خطاها از دسترسی Googlebot به کل وب سایت شما جلوگیری می کنند. در واقع در این قسمت خطاهای پیش آمده در سایت شما که از دسترسی به گوگل بات جلوگیری کرده است نشان داده می شود.
در واقع این خطاها مانع خزنده‌های گوگل می‌شوند، تا به ‌کل وب‌ سایت شما دسترسی داشته باشند.
⦁ خطاهای URL: این خطاها هنگامی رخ می دهد که Googlebot قادر به دسترسی به URL خاصی نیست. یعنی این بخش هنگامی که خزنده های دسکتاپ یا گوشی های هوشمند موقع بررسی یک لینک به بن بست رسیده باشند، نمایش داده می شوند.
البته در نسخه جدید سرچ کنسول گوگل، این خطاها بر اساس هر URL و در Index Coverage گزارش می‌شوند.

در بخش جدید Index Coverage در Search Console با مرور زمان موارد زیر مورد بررسی قرار می گیرد:

⦁ خطاهایی که با آنها روبرو شده اند. (و تعدادی از آنها را که برطرف کرده اید)

⦁ صفحات معتبری که Google ایندکس کرده است.

⦁ صفحاتی که Google با آنها روبرو شده است اما ایندکس نشده است.

⦁ صفحات معتبری که با Google ایندکس شده است، اما برخی از خطاها را در آن پیدا کرده است.

به منظور پوشش دادن خطاهای خزش، فقط در مورد خطاها بحث خواهیم کرد، زیرا این موارد باعث می شود صفحات شما توسط Google خزیده یا ایندکس نشوند.
با توجه به این‌ که موارد ذکرشده مانع می‌شوند تا صفحات شما توسط خزنده‌های گوگل ایندکس شوند، در ادامه به بررسی آن‌ها خواهیم پرداخت.

⦁ خطاهای سایت

خطاهای سایت مشکلاتی است که در سطح سایت رخ می دهد. خطاهای سایت به این معنی است که کاربران و Google قادر به دسترسی به هیچ یک از صفحات شما نیستند.

بنابراین از این خطاها صرف نظر نکنید. در کل خطاهای سایت همه خطاهای کروال هستند که از دسترسی ربات موتور جستجو به وب سایت شما جلوگیری می‌کنند.
خطاهای سایت می‌توانند دلایل مختلفی داشته باشند که شایع‌ترین آنها موارد زیر هستند:

سه خطای سایت وجود دارد که Google آنها را خطای خزیدن می داند.

⦁ خطای DNS

DNS مخفف عبارات domain name system است. IP یک سایت را به کمک رشته‌ای از اعداد به حروف و اعداد قابل کاربرد ترجمه می‌کند. به‌طورکلی دی‌ان‌اس پلتفرمی است که ما را قادر می‌سازد بدون این‌که  آدرس IP هر سایتی را بدانیم در اینترنت مسیریابی کنیم. خطای DNS در خطای کروال به این معناست که موتور جستجو قادر به برقراری ارتباط با سرور شما نیست. به عنوان مثال ممکن است DNS خراب شده باشد و در نهایت سایت شما توسط مخاطبان بازدید نشود.
یعنی موتور جستجو قادر نیست با سرور شما ارتباط برقرار کند. برای مثال ممکن است خراب باشد و به عبارتی وب‌ سایت شما قابل بازدید نیست. این معمولا یک مسئله موقتی است. به هرحال گوگل پس از آن به وب‌سایت شما بازمی‌گردد و سایتتان را کراول می‌کند. اگر در برنامه Google Search Console خود متوجه این اخطار خطای کراول شدید، می‌تواند به این معنی باشد که گوگل چندین بار سعی کرده اما موفق به کراول آن نشده است.

سیستم domain name system یا دی‌ان‌اس به ترتیب زیر کار می‌کند:

⦁ شما یک نام دامنه را در مرورگر خود تایپ می کنید.

⦁ مرورگر بررسی می کند که آیا اطلاعات مربوط به آن دامنه به صورت محلی در رایانه شما ذخیره شده است یا خیر.

⦁ در غیر اینصورت، مرورگر درخواستی را به سرور محلی DNS شما ارسال می کند. (که معمولاً توسط ISP شما ارائه می شود).

⦁ سرور محلی DNS به دنبال جزئیات نام دامنه است. اگر هیچ اطلاعاتی ندارد، باید سرور نام ریشه دامنه را پیدا کند.

⦁ برای یافتن سرور، سرور DNS آدرس URL را به چند قسمت تقسیم کرده و از راست به چپ می رود. بنابراین برای www.example.com URL را به “com” ، “example” و “www” تبدیل می کند.

⦁ سرور DNS به سرور نام ریشه DNS متصل می شود، تا محل سرور قسمت اول دامنه را بیاموزد: “.com”. این به عنوان سرور نام سطح دامنه سطح بالا (TLD) شناخته می شود.

⦁ سرور DNS به سرور TLD متصل می شود.

⦁ سرور دی‌ان‌اس از TLD name server، جزئیات name server را خواهد پرسید که شامل جزئیات نام دامین یعنی “example” باشد.

⦁ دراین مرحله ، سرور DNS از سرور نام اطلاعات مربوط به example.com را می خواهد و نام سرور با آدرس IP دامنه برمی گردد.

ایجاد اتصال DNS بسیار مهم است زیرا اولین قدم برای دسترسی به یک وب سایت است. اگر Google نتواند اتصال DNS برقرار کند، دسترسی به وب سایت شما را نمی تواند پیدا کند.

Google دو نوع خطای DNS دارد:

⦁ مهلت زمانی DNS : (DNS Timeout)
سرور DNS شما به سرعت به درخواست Google پاسخ ندهد.

⦁ جستجوی DNS: ( DNS Lookup)
Google قادر به دسترسی به وب سایت شما نبوده است، زیرا سرور DNS شما نتوانسته نام دامنه شما را پیدا کند.

ویکی دمی توصیه می کند اگر Google نمی تواند سایت شما را با استفاده از ابزارFetch as جستجو یا خزش کند، با ارائه دهنده DNS و به سراغ DNS Provider بروید و با آنها تماس بگیرید.

در مجموع اولین روشی که گوگل برای رفع خطای DNS پیشنهاد می‌دهد استفاده از Fetch as Google هست که به شما می‌گه Googlebot چطور در صفحات سایت شما جستجو و خزش می‌کند. حالا وقتی که شما فقط دنبال خطای DNS با سرعت بالا هستین می‌توانید عمل fetch رو بدون render انجام بدهید.

⦁ خطاهای سرور

خطاهای سرور با خطاهای DNS متفاوت است. منظور آنها این است که Google توانسته است URL شما را در سرور DNS جستجو کند. با این وجود، به دلیل مشکل سرور، نمی تواند صفحه را بارگیری کند.

این معمولاً به این معنی است که پاسخ دادن به سرور شما خیلی طولانی شده و درخواست Google به پایان رسیده است. Google فقط زمان مشخصی را به انتظار پاسخ سرور اختصاص خواهد داد، و اگر این انتظار خیلی طولانی شود ، ربات گوگل تسلیم می شود.

مانند خطاهای DNS ، خطای سرور برای وب سایت شما یک معضل بزرگ است. این بدان معنی است که مشکلی در سرور شما رخ داده است که مانع دسترسی کاربران و ربات ها به وب سایت شما می شود.

انواع مختلفی از خطاهای سرور وجود دارد:

⦁ وقفه زمانی (Timeout):

پاسخگویی به درخواست Googlebot به سرور خیلی طولانی شود.یعنی وقفه‌ای در ارتباط به وجود آمده و سرور شما در زمان مقرر به درخواست گوگل پاسخ نداده است.

⦁ سرصفحه یا هدرهای ناقص (Truncated headers):

سرور شما اتصال خود را قبل از ارسال سرصفحه های کامل، قطع کرد. در واقع گوگل می‌تواند به سرور شما متصل شود اما اتصال قبل از ارسال‌های headers قطع شد.

⦁ تنطیم مجدد اتصال ( Connection reset):

Google توانست به سایت شما متصل شود، اما چیزی دریافت نکرد، زیرا اتصال در اواسط پاسخ بازنشانی شد.

⦁ پاسخ ناقص (Truncated response):

سرور شما قبل از اینکه گوگل بتواند اطلاعات را کامل دریافت کند، قطع‌شده است.

⦁ اتصال رد شد (Connection refused):

سرور شما از اتصال با Googlebot خودداری کرد.  گوگل نمی‌تواند به سرور سایت شما دسترسی پیدا کند زیرا هاست شما ممکن است Googlebot را مسدود کرده باشد و یا مشکلی با تنظیمات فایروال داشته باشد.

⦁ اتصال ناموفق بود (Connect failed):

شبکه سرور شما از کار افتاده یا غیرقابل دسترسی است و گوگل قادر به اتصال به سرور سایت شما نیست.

⦁ وقفه اتصال (Connect timeout):

پردازش اتصال نیز طول کشید و گوگل نمی‌تواند با سرور سایت شما اتصال برقرار کند.

⦁ بدون پاسخ (No response):

قبل از ارسال هرگونه پاسخ، ارتباط با سرور شما پایان یافت. گوگل می‌تواند به سرور شما وصل گردد اما قبل از ارسال داده‌های موردنیاز، ویکی دمی پیشنهاد می کند که برای یافتن منابعی درباره نحوه عیب یابی هر نوع خطای سرور، به مقاله راهنمای Google مراجعه کنید.