ابزار URL Removal Tool سریع‌ترین و راحت‌ترین راه برای حذف یک صفحه از index گوگل می‌باشد.

بر روی Google Index در سایدبار گوگل سرچ کنسول قدیم کلیک کنید و سپس بر روی Remove URLs کلیک کنید.

در آخر آدرس صفحه ای را که می‌خواهید از index گوگل حذف شود وارد کنید.

دوباره بررسی کنید که URL را درست وارد کرده اید ، سپس روی Submit Request کلیک کنید.

توجه: با استفاده از این ابزار آدرس‌هایی که وارد می‌کنید فقط 90 روز حذف می‌شوند و بعد از آن ربات گوگل دوباره به آن سر می‌زند.

اما اگر دسترسی آن صفحه را از طریق robot.txt مسدود کنید …

… بزودی آن صفحه از بین خواهد رفت

بررسی صفحات index شده برای خطاهای احتمالی

حال به سراغ تب Valid می‌رویم.

این تب به ما می‌گوید کدام یک از صفحات سایت ما index شده اند.

اما، در این صفحه باید به دنبال چه چیزی بگردیم؟ 2 مورد : 

1- افت غیر منتظره (یا افزایش) صفحات index شده

به کاهش ناگهانی تعداد صفحات index شده توجه می کنید؟

این می تواند نشانه ای از اشتباه بودن چیزی باشد:

• شاید تعداد زیادی از صفحات دسترسی Googlebot  را مسدود کرده‌اند.
• یا شاید شما به طور اشتباه  تگ noindex اضافه کرده باشید.

به هرحال

شاید شما صفحات خود را تغییر داده باشید و شما باید این موضوع را بررسی کنید

حال به آن روی سکه برویم

اگر متوجه افزایش ناگهانی صفحات ایندکس شده باشید ، چه می کنید؟

دوباره، این ممکن است نشانه ای از اشتباه بودن چیزی باشد.

(به عنوان مثال ، شما ممکن است صفحات زیادی که مسدود شده بودند، آزاد کنید)

2- تعداد غیر منتظره ای از صفحات ایندکس شده

در حال حاضر 41 پست در Backlinko وجود دارد.

وقتی نگاهی به بخش valid در Index Coverage بیندازید قطعا انتظار دارید که با تعداد زیادی صفحات ایندکس شده روبرو شوید.

اما اگر بالای 41  صفحه بود؟ پس مشکلی است و من میروم که این مشکلات را برطرف کنم.

اوه! غیرقابل باور است … این چیزی است که من میبینم

نگران من نباشید چیزی نیست  ؛)

مطمئن باشید که موارد حذف شده واقعا حذف شده باشند

حالا:

دلایل زیاد و خوبی وجود دارد تا موتو‌ جستجو از ایندکس کردن برخی از صفحات خود داری کنند.

شاید یک صفحه ورود باشد.

شاید صفحه‌ای باشد که محتوای تکراری دارد.

یا شاید هم صفحه‌ای باشد که کیفیت مناسبی ندارد.

توجه: منظورم از کیفت پایین این نیست که آن صفحه بدردنخور است. شاید آن صفحه برای کاربر مناسب باشد ولی برای موتور جست و جو خیر.

این میگه:

شما می‌خواهید مطمئن شوید صفحاتی که می‌خواهید ایندکس شود را گوگل حذف نمی‌کند.

در این مورد ما صفحات حذف شده بسیاری داریم.

و وقتی به پایین صفحه scroll کنیم لیستی از صفحاتی را می‌بینیم که به دلایل مشخصی توسط گوگل ایندکس نشده است.

حال بطور خیلی ریز هریک از این دلایل را بررسی می‌کنیم:

“Page with redirect”

صفحه به صفحه‌ی دیگری منتقل شده است.

در مجموع اتفاق خوبی است. مگر این بک لینک یا لینک‌های داخلی وجود داشته باشد که به این صفحه برسند. در اینصورت آنها دیگر ارزشی ندارند و ایندکس نمی‌شوند.

“Alternate page with proper canonical tag”

گوگل یک جایگزین مناسب برای این صفحه در جای دیگر پیدا کرده است.

این همان کاری است که تگ Canonical انجام می‌دهد. پس این هم اوکی هست.

“Crawl Anomaly”

این مورد می‌تواند دلایل زیادی داشته باشد و باید بررسی کنیم.

مثلا در مورد ما صفحات خطای 404 را برمی‌گردانند.

“Crawled – currently not indexed”

هوووووم! …

این صفحه توسط خزنده‌های گوگل بررسی شده ولی به دلایلی ایندکس نشده.

و گوگل هم به شما علت دقیق آن را نمی‌گوید.

اما بر اساس تجربه‌ی من: این صفحات ویژگی و دلایلی ندارند که گوگل آنها را ایندکس کند.

پس برای حل این مشکل باید چه کاری انجام دهیم؟

پیشنهاد می‌کنم: کیفیت آن صفحات را افزایش دهید.

مثلا اگر آن صفحه، صفحه‌ی دسته بندی شما است به آن دسته بندی توضیحات اضافه کنید. اگر آن صفحه خیلی زیاد محتوای تکراری دارد آن محتوا را برای آن صفحه منحصر به فرد کنید. اگر محتوای کمی در صفحه دارید آن محتوا را افزایش دهید.

در یک جمله، آن صفحه را شایسته‌ی ایندکس شدن در گوگل کنید

“Submitted URL not selected as Canonical”

در واقع گوگل می‌گوید:

این صفحه دارای محتوای تکراری از سایر صفحات است و ما فکر می‌کنیم دیگر صفحات بهتر هستند.

در نتیجه ما آن را از ایندکس گوگل حذف کرده‌ایم.

پیشنهاد میکنم:

اگر محتوای تکراری از یک صفحه در خیلی از صفحات دیگر دارید به آن صفحات تگ noindex را اضافه کنید تا آن صفحه‌ای که برایتان مهم است و محتوای آن خاص است ایندکس شود.

“Blocked by robots.txt”

اینها صفحاتی هستند که در robot.txt دسترسی خزنده‌های گوگل به آنها بسته شده است.

دوباره این خطاها را بررسی کنید تا مطمئن شوید این صفحات را به درستی مسدود کرده‌اید.

اگر robot.txt را بررسی کردید و همه چیز درست بود پس جای نگرانی نیست.

“Duplicate page without canonical tag”

این صفحه دارای بخشی از صفحات تکراری است و تگ canonical هم ندارد.

در مورد ما، خیلی راحت می‌توانیم مشاهده کنیم که چه خبر است :

ما تعداد زیادی کتاب الکترونیکی که داریم محتوای آنها از دیگر صفحات سایت است.

این هشدار بزرگی نیست ولی اگر میخواهید این مورد هم برطرف شود به توسعه دهنده سایت خود بگویید این فایل‌ها را در فایل robot.txt قرار دهد و دسترسی ربات‌های گوگل را به آنها مسدود کند. در اینصورت گوگل فقط محتوای اصلی را ایندکس می‌کند.

“Discovered – currently not indexed”

گوگل آن صفحات را Crawl کرده ولی هنوز آنها را ایندکس نکرده است.

“Excluded by ‘noindex’ tag”

همه چیز خوب است و تگ noindex کار خود را به خوبی انجام می‌دهد

این بود بخش گزارش‌های Index Coverage. مطمئنم که الان به حیاتی بودن این ابزار پی بردید.