از گزارش‌های Index Coverage برای پیدا کردن مشکلات ایندکس صفحات و حل آن استفاده کنید

اگر همه چیز در وبسایت شما درست باشید آنوقت گوگل کارهای زیر را انجام خواهد داد:

۱) پیدا کردن صفحه شما
۲) افزودن سریع آن به فهرست ایندکس صفحات

اما بعضی وقت‌ها اوضاع اینطور پیش نمی‌رود. اتفاقاتی می‌افتد که شما باید آنها را رفع کنید تا گوگل آن صفحات را index کند.

و اینجا است که Index Coverage و گزارش‌های آن به کمک ما می‌آیند.

اجازه بدهید بطور عمیق این مورد را بررسی کنیم.

گزارش Index Coverage در سرچ کنسول جدید چیست؟

گزارش‌های Index Coverage به شما اجازه می‌دهد تا متوجه شوید کدام یک از صفحات شما index شده و کدام صفحه‌ی شما بدلیل وجود مشکلات فنی index نشده‌اند. شما در سرچ کنسول جدید می‌توانید به صورت دقیق این موارد و ارور هایی که دارید را برسی کنید و آنها را برطرف کنید.

Index Coverage بخش جدید google search console است و جایگزین Index Status گوگل سرچ کنسول قدیم است.

توجه: بخش Index Coverage جدید بسیار پیچیده است.

و من فقط می توانم لیستی از ویژگی ها را برای شما تهیه کنم و برای شما آرزوی موفقیت کنم.

(در حقیقت این بخش خودش به یک راهنمای کامل و جامع جداگانه نیاز دارد)

درعوض، میخواهم شما را گام به گام با آنالیز واقعی یک وبسایت آشنا کنم (این سایت)

به این ترتیب می توانید من را مشاهده کنید که از گزارش Index Coverag برای پیدا کردن مشکلات استفاده می کنم … و آن‌ها را رفع می‌کنم.

چطور خطاها را با استفاده از گزارش Index Coverag پیدا کنیم

در بالای بخش Index Coverage report ما 4 تب را مشاهده می‌کنیم:

1. Error
2. Valid with warnings
3. Valid
4. Excluded

الان می‌خواهیم بر روی Error تمرکز کنیم.

همانطور که می‌بینید این سایت 54 خطا دارد.نمودار نشان می دهد که این شماره چگونه با گذشت زمان تغییر کرده است

اگر شما به سمت پایین صفحه اسکرول کنید می‌توانید جزئیات هر یک از خطاها را ببینید.

کارهای زیادی هست که اینجا باید انجام دهیم.

بنابراین برای کمک به شما در درک هریک از این مشکلات ابتدا بطور مختصر هریک را تعریف می‌کنیم.

“Submitted URL seems to be a Soft 404”

به این معنی که این صفحه not found بوده ولی کدی غیرصحیح در header تنظیم شده است.

“Redirect error”

به این معنی که این صفحه ریدایرکت شده (302/301) اما به درستی کار نمی‌کند.

“Submitted URL not found (404)”

صفحه پیدا نشده و سرور کد http درست را برمی‌گرداند. (404) 

“Submitted URL has crawl issue”

این مورد می‌تواند 100ها دلیل داشته باشد.

باید صفحه را ببینیم تا دلیل را پیدا کنیم.

“Server errors (5xx)”

ربات‌های گوگل نمی‌توانند به سرور دسترسی داشته باشند. این مشکل می‌تواند به علت خراب شدن سرور، Time Out، یا حتی از کارافتادن ربات‌های گوگل باشد.

و وقتی شما بر روی یکی از این خطاها کلیک می‌کنید می‌توانید صفحاتی که آن خطا را دارند را مشاهده کنید.

به نظر می‌رسد رفع خطای 404 آسان باشد پس، از آن شروع می‌کنیم.

بر روی یکی از صفحات کلیک می‌کنیم. حال منویی در سمت راست صفحه برای ما نمایش داده می‌شود که دارای 4 گزینه است.

اما اول اجازه دهید این آدرس را دوباره در مرورگر باز کنیم تا مطمئن شویم که این صفحه از دسترس خارج است.

بله ،‌ صفحه از دسترس خارج است.

پس روی Fetch as Google در منو باز شده در سرچ کنسول گوگل کلیک می‌کنیم.

حال روی گزینه Fetch کلیک می‌کنیم

با این کار ربات گوگل سریعا صفحه شما را چک می‌کند.

مطمئنا، این صفحه هنوز کد  404 (Not found) را به من نمایش می‌دهد.

حال چطور این مورد را درست کنیم؟

خب ما 2 راه داریم:

1- آن را به حال خودش رها کنیم. در اینصورت گوگل بطور خودکار آن صفحه را deindex کرده و از جست و جو حذف می‌کند زیرا این درک را دارد که شما آن صفحه را از دست داده‌اید. (مثل زمانی که دیگر نمی‌خواهید محصولی را به فروش برسانید)

2- آن را یه صفحه‌ی دیگر مثل محصول، دسته بندی یا مقاله‌ای در سایت ریدایرکت کنیم.

چطور خطای Soft 404 را برطرف کنیم؟

حال نوبت برطرف کردن این خطای مزاحم است. یعنی خطای Soft 404.

دوباره آدرس هایی که دارای این خطا هستند را بررسی می کنیم.

سپس، هر یک از آنها را در مرورگر مشاهده می‌کنیم.

به نظر می‌رسد که صفحه اول این لیست به درستی بازگذاری می‌شود و خطایی ندارد.

ببینیم که آیا گوگل نیز به این صفحه به درستی دسترسی دارد؟ پس دوباره روی Fetch as Google کلیک می‌کنیم.

ولی این بار روی Fetch and Render کلیک می‌کنیم. با این کار ربات گوگل به صفحه شما خواهد رفت و هرآنچه که می‌بیند را شما نیز می‌توانید ببینید.

به نظر می‌رسد اینبار گوگل توانسته این صفحه را ببینید و پیدا کند.

حال ببینیم ربات گوگل این صفحه را چطور دیده است؟

به نظر می‌رسد به همان اندازه که یک بازدید کننده از سایت می‌بیند او نیز دیده است. این خیلی خوب است.

بعد به سمت پایین اسکرول می‌کنیم. در اینجا گوگل به شما مواردی را نشان می‌دهد که کاربر آن را در آن صفحه می‌بیند … ولی گوگل نمی‌تواند آن را کامل ببنید.

بعضی اوقات دلیل خوبی برای مسدود کردن منابع خاصی از Googlebot وجود دارد.

اما گاهی اوقات این منابع مسدود شده می توانند به خطاهای Soft 404 منجر شوند.

در این مورد، این 5 چیز بلاک شده‌اند. پس ادامه میدهیم …

درآخر روی تب Fetching کلیک می‌کنیم تا از وضعیت کد http آگاه شویم.

خیلی خوبه!  وضعیت 200 یعنی گوگل اینبار این صفحه را پیدا کرده و قابلیت index شدن را دارد.

چطور خطاهای دیگر را برطرف کنیم؟

شما می‌توانید از همان فرآیند بالا که برای رفع خطای Soft 404 استفاده کردم برای رفع دیگر خطاها استفاده کنید.

1- صفحه را در مرورگر بازکنید

2- روی Fetch and Render کلیک کنید

3- در مورد آن خطایی که google search console به شما می گوید مطالعه کنید

4- وضعیت کد http آن صفحه را ببنید.

مثال‌های کمی را برای شما آماده کرده‌ام:

خطای انتقال (Redirect)

همه چیز اینجا خوب پیش میره

خطای خزنده (Crawl)

در اینجا هم مشکلی را نمی‌بینیم

خطای سرور (Server)

خطای سرور نیز به خودی خود ناپدید شده است.

حتما یک خطای موقت از سمت هاست بوده است.

با کمی کار شما به راحتی می توانید اکثر خطاهای مربوط به این بخش ها را یرطرف کنید.

چطور هشدارها (Warning) ها را در Index Coverage Report برطرف کنیم؟

شما را نمیدانم …

… اما من دوست ندارم هیچ شانسی در سئو را از دست بدهم.

این بدان معناست که وقتی یک نارنجی روشن “اخطار” را می بینم ، تعجب نمی‌کنم.

بنابراین به تب Valid with warnings در Index Coverage Report می‌رویم.

این بار فقط یک هشدار داریم و آن Indexed, though blocked by robots.txt می‌باشد.

همراه من باشید تا به شما بگویم.

گوگل سرچ کنسول به ما می‌گوید دسترسی به این صفحه توسط فایل robot.txt مسدود شده است. پس به جای کلیک بر روی Fetch As Google بر روی Test Robots.txt Blocking کلیک می‌کنیم.

با کلیک بر روی این گزینه ما به robot.txt tester ورژن قدیمی گوگل سرچ کنسول میرویم.

همانطور که می‌بینید، این آدرس توسط robot.txt مسدود شده است.

پس مشکل چیست؟

خب اگر شما بخواهید صفحه‌تان در گوگل index شود، شما باید این آدرس را unblock کنید.

اما اگر نمی‌خواهید این صفحه index شود، 2 راه پیش روی شماست:

1- تگ noindex,follow را به صفحه‌تان اضافه کنید و آن را در فایل robot.txt آزادسازی کنید.

2- با استفاده از URL Removal Tool برای همیشه از آن صفحه خلاص شوید.

اما چطور باید از ابزار URL Removal Tool استفاده کنیم؟ 

برای مطالعه مقاله استفاده از url removal tool بر روی لینک زیر کلیک کنید.

آموزش url removal tool در گوگل سرچ کنسول