ایندکس نشدن صفحات در گوگل

صفحات شما ایندکس نمی شوند؟ سایت و صفحات خود را در نتایج جستجو نمی بینید؟ بدانید که تنها نیستید! خیلی از سایت ها این مشکل را دارند. برای حل آن ابتدا باید دلایل آن را متوجه شوید و سپس به فکر حل آن ها باشید. برخی از آنها ممکن است به خاطر یک سهل انگاری ایجاد شده باشد و به راحتی حل شود اما برخی از آنها مشکلات جدی تری و پیچیده هستند. ما در این مقاله به طور جامع دلایل ایندکس نشدن صفحات یک وبسایت و راه های حل آن ها را بیان می کنیم.

قبل از بررسی دلایل عدم نمایش سایت در صفحه نتایج جستجو (serp)؛ ابتدا بررسی کنید صفحات سایت در گوگل ایندکس شده است یا خیر! برای بررسی این موضوع مانند مثال زیر عمل کنید.

عبارت  site:wikidemy.ir  را در گوگل جستجو کنید شما به جای ویکی دمی آدرس سایت خود را قرار دهید و سپس مانند تصویر زیر عمل کنید:

دلایل ایندکس نشدن سایت در گوگل

در این بخش به بررسی علل ایندکس نشدن یا دیر ایندکس شدن سایت در گوگل می پردازیم، پس با ما همراه باشید:

1-ایندکس نشدن صفحات به دلیل تگ noindex در کد های سایت

وجود متاتگ robots با مقدار noindex در صفحه یکی از دلایل ایندکس نشدن صفحات سایت می باشد. برای اینکه از وجود آن مطلع شوید کافی است صفحه ای که در serp نمایش داده نمی شود را در مرورگرتان باز کنید:

• بر روی صفحه کلیک راست کنید و عبارت View Page Source را انتخاب نمایید. (بجای این کار هم میتوانید از دکمه های Ctrl + U استفاده نمایید)
• بدنبال عبارت “meta name=”robots” بگردید مانند تصویر زیر:

2-عدم نمایش صفحه در نتایج گوگل به خاطر کد disallow در فایل robots.txt

از دیگر علل ایندکس نشدن صفحه سایت وجود دستور disallow در کدهای فایل robots.txt است. اگر با این فایل آشنایی ندارید، به مقاله آموزش جامع فایل  robots.txt مراجعه نمایید. این دستور به موتور های جستجو می گوید که اجازه دسترسی به این صفحات را ندارند.

راه حل:

• برای اینکه به فایل robots.txt دسترسی داشته باشید آدرس زیر را در مرورگرتان وارد نمایید به جای wikidemy آدرس دامنه خود را وارد کنید: https://wikidemy.ir/robots.txt 

این آدرس فایل robots.txt سایت ویکی دمی را به ما نمایش میدهد که تصویر آن را در پایین می بینید.

در قسمت detail روی هر یک از خطاها کلیک کنید تا لیست صفحاتی که آن error را دارند را بیابید.

راه حل:

• یکی از راه های گوگل برای یافتن  صفحات جدید، لینک داخلی است که شما در دیگر صفحاتتان قرار داده اید. پس چک کنید صفحه ای که کرال نشده آیا لینکی از دیگر صفحات به آن وارد شده است؟ اگر خیر پس حتما به آن لینک دهید. فراموش نکنید  در لینک داخلی این صفحات باید follow باشند.
• دومین مسیری که گوگل صفحات شما را پیدا می کند از طریق نقشه سایت است. اگر آدرس صفحه را در نقشه سایت قرار نداده باشید ممکن است گوگل صفحه را کم ارزش بداند و آن را کرال نکند. پس حتما صفحه ای که نمایش آن در نتایج جستجو برایتان مهم است را در سایت مپ تعریف کنید.
• فایل .htaccess را بررسی کنید. اگر سایت یا صفحه شما از طریق robots.txt و یا meta robots مسدود نشده باشد ولی همچنان امکان کرال آن وجود ندارد این فایل را هم بررسی کنید. چون ممکن است دسترسی ربات های گوگل را از این طریق بسته باشید.

4-ایندکس نشدن سایت به دلیل خطاهای DNS و سرور

در این بخش به معرفی دو خطا میپردازیم که امکان index نشدن سایت در گوگل را به ما نشان میدهد:

خطای DNS

عدم برقراری ارتباط سرور DNS با سایت یکی دیگر از علل ایندکس نشدن صفحه می باشد. برای اینکه بفهمید با چه خطایی رو به رو هستید طبق تصویر زیر عمل کنید:

سپس در کادر (قسمت 5)  آدرس صفحه مورد نظر را وارد کنید و بر گزینه FETCH AND RENDER کلیک کنید. اگر مشکلی باشد در مقابل آدرسی که وارد کرده اید تیک قرمز می خورد. در غیر این صورت کلمه  complete را می ببنید. خطاهایی که ممکن است ایجاد شود:

• خطای Lookup: وقتی سرور DNS نام دامنه را شناسایی نکرده است این ارور ایجاد می شود. بررسی کنید که دامنه وب سایت شما با https://XXX.XXX… شروع می شود یا خیر؟ چون ممکن است شخصی به جایه نام دامنه از IP استفاده کرده باشد. برای مثال نباید آدرس دامنه به شکل زیر باشد:

• خطای Timeout: یعنی سرور DNS نتوانسته در یک زمان مشخص به درخواست گوگل پاسخ دهد و این ممکن است مشکلی در پیکربندی سرور با وبسایت شما باشد.

راه حل:

اگر با خطا مواجه شدید ابتدا مطمئن شوید صفحه شما با ارور 404  یا 500 مواجه نیست. اگر این ارورها نبود سپس با پشتیبانی هاست ارتباط بگیرید تا تنظیمات DNS سایت را بررسی کند.

وجود خطاهای سرور

خطاهای سرور باعث می شوند درخواست ها پاسخ داده نشوند و یا خیلی دیر پاسخ داده شود. اگر هاست شما مدام قطع و وصل شود ممکن است زمانی که خزنده گوگل به صفحه شما می آید سرور قطع باشد و امکان کرال وجود نداشته باشد. درنتیجه ایندکس نیز اتفاق نمی افتد.

راه حل:

هاست خود را تعویض و از یک سرویس با کیفیت استفاده کنید!

5- مناسب نبودن سایت برای موبایل

اگر صفحه شما ایندکس نمی شود نسخه موبایلی آن را چک کنید چون از زمانی که mobile first indexing ایجاد شده است، گوگل برای رتبه بندی صفحات از ورژن موبایل آنها استفاده می کند. پس مطئمن شوید هر محتوایی که میخواهید در نتایج گوگل دیده شود، باید در نسخه موبایل وب سایت شما نیز وجود داشته باشد؛در واقع باید برای خزنده های موبایل هم قابل مشاهده باشد تا گوگل آن را ایندکس کند.

همچنین مهم نیست تا چه حد محتوای خوب و با کیفیت دارید اگر صفحه شما مناسب موبایل نباشد و به اصطلاح موبایل فرندلی نباشد رتبه و ترافیک را از دست می دهید؛ پس باید تجربه کاربری ضعیفی ایجاد نکنید.

راه حل:

برای حل این مشکل با استفاده از ابزار Google’s Mobile-Friendly Testing نسخه موبایلی را بررسی کنید اگر کلمه passed reading را ندیدید باید خطاهای آن را بررسی و حل کنید.

6-ایندکس نشدن سایت به خاطر لینک شکسته

صفحاتی که وجود ندارند لینک شکسته  یا همان Broken link محسوب می شوند و همان خطای 404 را به ما ارائه می دهند. گوگل نمیتواند این صفحات را بخواند زیرا عملا صفحه ای وجود ندارد که بخواهد بررسی و ایندکس کند. حال باید این خطا را رفع کنید.

راه حل:

1. اگر محتوای آن صفحه را به صفحه دیگر منتقل کرده اید پس از ریدایرکت 301 برای رفع آن استفاده کنید.
2. هر جایی که لینک را قرار داده اید بررسی کنید شاید به خاطر تایپ اشتباه url این مشکل ایجاد شده است.

7-سرعت پایین وب سایت

دلایل مختلفی برای سرعت پایین یک صفحه وجود دارد. ممکن است محتوا صفحه خیلی زیاد باشد و مرورگر کاربر، قادر به نمایش آن نباشد و یا از یک سرور قدیمی با منابع محدود استفاده می کنید که باعث پایین آمدن سرعت سایت می شود. در کل اگر سرعت لود صفحه از حد استاندارد خیلی پایین تر باشد ممکن است گوگل آن را ایندکس نکند به 2 دلیل:

1.  شاید گوگل در حین خزیدن صفحات سایت خسته شود و قبل از بررسی صفحات دیگر از سایت شما خارج شود. به این شکل یکسری از صفحات شما خزیده نمی شوند و در نتیجه رتبه بندی نمی شوند.
2. شاید لود صفحه آنقدر طول بکشد که زمان آن به پایان برسد. در این حالت گوگل به خاطر به وجود آمدن یک تجربه کاربری ضعیف آن را ایندکس نمی کند.

راه حل:

از ابزارهای زیر استفاده کنید تا هم بفهمید مشکل از کجاست و هم از پیشنهادات آن ها استفاده کنید.

• Google Page Speed Insights: از ابزار گوگل page speed استفاده کنید . این ابزار سرعت سایت را از 5 جهت بررسی میکند. مثلا سایت را از جهت به حداقل رساندن اتصالات، کاهش حجم و استفاده از حافظه پنهان مرورگر و  غیره، تجزیه و تحلیل می کند و به شما پیشنهاد میدهد که برای بهبود هر یک چه اقدامی انجام دهید.
• webpagetest.org:

این ابزار اطلاع میدهد که وب سایت شما از سرعت کافی برخوردار است یا خیر. همچنین با جزئیات عواملی که باعث ایجاد این مشکلات شده اند را نشان می دهد. این ابزار قبل از اینکه مشکل جدی از نظر سرعت صفحه برای شما ایجاد شود آنها را شناسایی می کند.

• مجدد از گوگل page speed  استفاده کنید:

بخش هایی را پیدا کنید که می تواند در بهبود سرعت شما موثر باشند. منظور این است شاید ارور بابت آن دریافت نکرده باشد اما با بهبود آن ها به افزایش سرعت خود کمک کنید. برای مثال ممکن است بتوانید یک هاست با منابع بیشتر تهیه کنید. معمولا سرورهای اختصاصی خیلی بهتر از سرور های اشتراکی هستند.

 یا از سرویس CDN استفاده کنید. این سرور های وب در مکانهای مختلف جغرافیایی توزیع شده اند که باعث می شوند اطلاعات خیلی سریع بین سرور ها جا به جا شود و به سرور نزدیک کاربر منتقل شود. همین اقدام باعث افزایش سرعت بارگذاری اطلاعات می شود. اعداد سرعت در page speed به 70 و بالاتر از آن برسد عالی است.

• نکته! حوزه با حوزه متفاوت است. ممکن است شما یک سایت فروشگاهی داشته باشید یا یک سایت خدماتی و خبری. در سایت فروشگاهی بدیهی است که میزان استفاده از عکس های باکیفیت بسیار زیاد باشد و ناخودآگاه بر کاهش سرعت اثر گذارد؛ در این حالت نگران نباشید، چرا که گوگل در هنگام بررسی کردن، فاکتورهای مشترک بین شما و رقبا را در نظر می گیرد. مثلا اگر همه سایت ها در یک حوزه خاص دارای سرعت 50 تا 60 باشند این دیگر برای شما مشکل محسوب نمی شود.

8- ایندکس نشدن صفحه به دلیل محتوا کم یا تکراری

گوگل به دنبال بهترین پاسخ برای نیاز کاربران است. در نتیجه چرا باید صفحه ای که محتوای تکراری از صفحات دیگر است و قبلا ایندکس شده اند را نمایش بدهد؟ اگر چند صفحه تکراری داشته باشید گوگل به دلخواه یک صفحه را انتخاب و به آن رتبه می دهد در صورتی که شاید صفحه هدف شما نباشد.

یا از طرف دیگر یک صفحه با محتوای بسیار کم در ایندکس شدن به مشکل می خورد. البته میزان محتوا آن با دیگر رقبا بررسی میشود. فرض کنید در خصوص یک سرچ رقبا محتوایی حداقل 2000 کلمه ای نوشته اند و شما با 200 کلمه آن را پوشش داده اید. این اتفاق گوگل را به شک می اندازد که شاید محتوای شما مناسب نیست و یک محتوا بی ارزش است.

راه حل:

• اگر صفحات تکراری، بیهوده ایجاد شده است پس باید آنها را پاک کنید. اما اگر وجود آنها هدفمند است و یا به خاطر ساختار سایت می باشد پس همه را به صفحه مهم تر با تگ کنونیکال ارجاع دهید.
• محتواهای بی ارزش و کم را بهبود دهید. با توجه به نیاز کاربر مطالب با کیفیت و جامع به آن ها اضافه کنید.

9- وجود حلقه ریدایرکت ها

معمولا این مشکل فقط به خاطر یک سهل انگاری کوچک ایجاد می شود. شما یک صفحه را ریدایرکت کرده اید به صفحه X و مجدد از صفحه x به صفحه قبلی ریدایرکت شده است.

راه حل:

صفحه ای که این حلقه را ایجاد کرده پیدا کنید. اگر از وردپرس استفاده می کنید HTML source صفحه را پیدا کنید و یا در فایل .htaccess file دستور ریدایرکت 301 را پیدا کنید. تا ببینید به چه صفحه ای ریدایرکت شده است و دستور را اصلاح کنید.

10- ایندکس نشدن صفحات سایت وردپرس در گوگل

بسیاری از کاربران با مشکل نوایندکس صفحات در وردپرس مواجه میشوند. جدا از مواردی که در بالا گفتیم ممکن است این مشکل از افزونه yoast seo هم باشد. شما در این افزونه میتوانید مشخص کنید که کدام صفحات سایت وردپرسی شما در گوگل قابل نمایش شود و کدام صفحات در حالت noindex قرار بگیرند. اگر دستور نوایندکس را انتخاب کرده باشید باید آن را اصلاح کنید.

• برای اینکه این تنظیمات را بررسی کنید به صفحه ی مورد نظرتان بروید و  سپس وارد بخش سئو شوید. به تب سوم تنظیمات (علامت چرخ دنده) مراجعه کنید. در این بخش شما میتوانید مشخص کنید که دوست دارید صفحه در گوگل ایندکس شود یا نه. در صورتی که دستور noindex را انتخاب نموده بودید آن را غیرفعال کنید.

11- به دلیل مشکلات Javascript و Ajax

گوگل زبان html را به راحتی میخواند و برعکس صفحاتی که به زبان javascript و ajax نوشته شده اند را سخت می خواند. به همین دلیل کوچترین مشکلی در نحوه پیکربندی و نوشتن آن ممکن است باعث شود گوگل نتواند آنها را بخواند.

برای اینکه بررسی کنید که آیا ربات گوگل میتواند صفحات سایت شما را به درستی بخواند یا نه به سرچ کنسول جدید گوگل بخش coverage بروید و در پایین صفحه عبارت “Submitted URL has crawl issue” را بررسی کنید که آیا همچنین اروری دارید یا نه. اگر داشتید باید با برنامه نویس سایت خود در میان بگذارید.

12- وارد نکردن نسخه اصلی به سرچ کنسول

نسخه www با نسخه https دو دامنه جدا هستند. ممکن است شما تنها یکی از این ها مثلا www را به سرچ کنسول اضافه کرده باشید در این صورت صفحاتی که با دامنه https هستند برای ایندکس شدن به مشکل می خورند.

راه حل:

1. هر دو دامنه را به سرچ کنسول اضافه کنید.
2. راه بهتر این است که همه دامنه ها را به یک دامنه ریدایرکت کنید و دامنه اصلی را به سرچ کنسول اضافه کنید.

13- ایندکس نشدن سایت به خاطر پنالتی سایت

یکی از سخت ترین جریمه های گوگل، خارج کردن یک سایت از نتایج جستجو است. این نوع از جریمه گوگل بدترین و شدیدترین نوع جریمه توسط گوگل است. البته این مشکل برای هر سایتی پیش نمی آید و شما باید در سایتتان خیلی سئو کلاه سیاه انجام داده باشید تا با این جریمه مواجه شوید. در این جریمه صفحات سایت شما به مرور از حالت ایندکس بودن خارج میشوند و دیگر در نتایج جستجو نمایش داده نمی شوند .

راه حل:

اینگونه از جریمه ها از طریق Search Console در بخش Manual Actions report به اطلاع شما می رسد. در این گزارش معمولا جزئیات و نحوه حل آن بیان شده است. شما باید مشکلات را به طور کامل حل کنید و  مجددا به گوگل درخواست دهید که سایت شما را بررسی کند. اگر مشکل حل شده باشد سایت شما قابل بررسی مجدد قرار میگیرد. 
گوگل میگوید به همان اندازه ای که برای ورود به یک پنالتی زمان برده است برای خارج شدن از آن هم ممکن است همین مقدار زمان ببرد.

14-  فعال بودن تنظیمات حریم خصوصی

ممکن است تنظیمات حریم خصوصی سایت را فعال کرده باشید. این اقدام عامل دیگری در ایندکس نشدن صفحات سایت است. البته این مشکل خیلی کم پیش می آید اما ذکر آن در این قسمت خالی از لطف نیست چون ممکن است به طور تصادفی تیک آن را فعال کرده باشید.

راه حل:

به قسمت پنل مدیریت سایت بروید سپس به قسمت تنظیمات، گزینه خواندن را انتخاب کنید و مطمئن شوید بخش نمایش به موتورهای جستجو غیر فعال است.

راهکار پیشنهادی برای ایندکس بهتر

1. سایت مپ را در سرچ کنسول تعریف کنید.
2. سایت مپ را با لینک sitemap در فوتر قرار دهید.
3. به صورت منظم و در ساعت مشخص محتوا منتشر کنید
4. در شبکه های اجتماعی قوی مانند فیس بوک، توییتر، لینکدین و… مطلب منتشر کنید و لینک سازی انجام دهید.
5. سرعت را بهبود دهید و مشکلات تکنیکالی را رفع کنید.
6. مقالات و صفحات مهم را در فوتر قرار دهید.

سخن آخر

ما در این مقاله به صورت جامع درباره ی علت ایندکس نشدن صفحات سایت صحبت کردیم. همه این دلایل را به دقت در صفحاتی که در نتایج یافت نمی شوند بررسی کنید. سئو تکنیکال، محتوا و لینک ها باید به خوبی اجرا شده باشند. هر چه گوگل بتواند راحت تر صفحات شما را پیدا و بررسی کند، راحت تر می تواند ایندکس کند.

به یاد داشته باشید بخش به بخش سئو مانند یک زنجیر به هم متصل هستند. یک اشتباه کوچک در هر بخشی، مابقی بخش ها را هم در گیر میکند. مثلا تعریف نکردن آدرس در سایت مپ، مانع از پیدا شدن صفحه میشود و همین امر مانع از ایندکس شدن آن می گردد. پس شما در حین پیاده سازی استراتژی سئو باید گام به گام پیش بروید و از همان ابتدا خشت اول را صاف بچینید تا در ادامه با مشکلات کمتری مواجه شوید.