بهینه سازی بودجه خزش (crawl budget)، با روش های طلایی | تاثیر کرال باجت بر سئو

چرا crawl budget  برای سئو مهم است؟

به صورت خلاصه: اگر گوگل نتواند صفحه ای را ایندکس کند، نمی تواند به آن صفحه رتبه ای نیز دهد. حال اگر تعداد صفحات شما از بودجه خزش شما بیشتر باشد، تعدادی از صفحات شما ایندکس نخواهند شد.

طبق گفته بالا، نباید نگران crawl budget باشید، چرا که گوگل یکی از بهترین موتورهای جستجو برای پیدا کردن و ایندکس کردن صفحات یک سایت می باشد.

گفته می شود، مواردی وجود دارد که به هنگام کرال باجت باید به آن توجه داشت:

• اداره کردن یک سایت بزرگ: اگر شما دارای یک سایت بزرگ با +۱۰K هستید مانند سایت های ecommerce، ممکن است گوگل، در پیدا کردن تمامی صفحات دچار مشکل شود.
• اضافه کردن دسته ای از صفحات: اگر اخیرا بخش جدیدی به سایت خود اضافه کرده اید که دارای تعداد زیادی صفحه است، قطعا شما میخواهید بدانید  که آیا این صفحات ایندکس شده اند یا خیر.
• داشتن تعداد زیادی ریدایرکت: داشتن ریدایرکت زیاد، باعث از دست رفتن crawl budget می شود.

در ادامه مطالب، مواردی که برای بهینه سازی بودجه کرال و افزایش رنک سایت باید به آن توجه داشت را بیان خواهیم نمود.

معرفی فاکتورهای مهم crawl budget

Gary Illyes در مقاله what crawl budget means for googlebot، اعلام کرده است که فرآیند پیچیدگی خزیدن، به ربات های گوگل نیاز دارد که بتواند لیستی از آدرس هایی که تمایل به دیدن دارد، ایجاد کند. با این روش، لیستی از آدرس ها در صف انتظار قرار می گیرند که به هیچ عنوان، این لیست ها تصادفی نیستند. حال، به کل این فرایند  (زمانبندی) یاscheduling گفته می شود که طبق اولویت URLs، گوگل از یک مکانیسم پیچیده ای به نام Crawl demand ( تقاضای خزیدن) استفاده می کند و حتی برای افزایش سرعت سایت هم از مکانیسم دیگری به نام crawl rate limit که در ادامه آن را توضیح می دهیم، استفاده می نماید.

تقاضای خزیدن یا Crawl Demand

این فاکتور بیانگر این موضوع است که چه تعداد صفحه در طول یک بار خزیدن، باید دیده شود. اگر ربات گوگل به URL  خاصی اهمیت بدهد، آن آدرس در جدول زمانی، جایگاه بالاتری خواهد داشت. طبق گوگل، اهمیت ارزیابی URL ها به موارد زیر بستگی دارد:

• محبوبیت: اغلب آدرس هایی که در طول اینترنت به اشتراک گذاشته می شوند و یا به آن ها لینک داده می شود، از نظر گوگل دارای اهمیت بوده و شانس crawl کردن آن ها توسط ربات های گوگل، بیشتر خواهد شد. همانطور که متوجه شدید، محبوبیت (popularity) ارتباط بسیار نزدیکی به اعتبار یک صفحه (authority of page) و رتبه صفحه (page rank) نیز دارد.
• ثبات: به صورت کلی، محتواهایی که تازه نوشته شده اند، نسبت به محتواهایی که یکسال قبل نوشته شده اند، از اولویت بالاتری برخوردار هستند.

موارد ذکر شده، دارای مفاهیم گسترده و عظیمی در سئو دارد. از نظر گوگل، محتواهای محبوب و محتواهای تازه (fresh) دارای crawl demand بالاتری نسبت به دیگر محتواها دارند.

تعریفی که گوگل از crawl budget ارائه می کند این است که” برای اینکه نرخ خزش و crawl demand را با هم داشته باشید، باید تعداد URL هایی که گوگل بات آن ها را crawl می کند را در نظر بگیرید. “

محدودیت نرخ خزش یا Crawl rate limit

Crawl rate limit، به گونه ای معرفی شده است که گوگل نباید تعداد زیادی از صفحات یک وب سایت را خزش کند، چرا که این امر باعث خسته شدن سرور نیز می شود. محدود کردن نرخ خزش، به گوگل اجازه نمی دهد که درخواست های زیادی به سمت سایت ارسال کند، چرا که این عمل باعث کندتر شدن سرعت سایت میشود.

Crawl rate limit، طبق موارد زیر امکان افزایش و یا کاهش را دارد:

• سرعت سایت: اگر سرعت سایت کاهش یابد یا زمان درخواست سرور کم شود، حد نرخ خزش نیزکاهش می یابد و googlebot فقط می تواند تعداد کمی از صفحات را خزش نماید. حال اگر درخواست های ارسالی به سایت افزایش یابد، مطمئنا crawl rate limit  هم افزایش پیدا خواهد کرد.
• شما می توانید حد crawl rate را در سرچ کنسول، تنظیم کنید. اما بدانید که افزایش حد نرخ، ضمانتی برای افزایش نرخ خزش نیست.

به صورت کلی، google نمیخواهد سایت را به خاطر خزش های زیاد، سربار نماید و علت استفاده از crawl rate limit هم به منظور کاهش ارسال درخواست ها می باشد. حال اگر استفاده از سایت کاهش یابد، این مورد به googlebot انتقال داده شده و به تعداد خزش ها افزوده می شود.

چگونه بودجه خزش، می تواند افزایش و تاثیر گذار باشد؟

برای بهینه سازی بودجه خزیدن، معمولا از ۲ عامل استفاده می شود: اولین، افزایش بودجه کلی خزش در دسترس و دومین، استفاده از بودجه خزش موجود با روشی کارآمد تر.

در ادامه، استراتژی های مربوط به این دوعامل را شرح می دهیم:

چطور crawl budget را افزایش دهیم؟

• • بهبود  زمان درخواست سرور و سرعت صفحه:  اگر سرور به سرعت به درخواست های صفحه پاسخ دهد، ربات گوگل می تواند از چندین اتصال به صورت همزمان  جهت خزیدن، استفاده نماید. حال، این عمل باعث افزایش نرخ خزش و همچنین بودجه کلی available crawl خواهد بود. سرعت صفحات سایت یکی از مهمترین فاکتورهای رتبه بندی به حساب می آید که با بهینه سازی سایت میتوان به آن دست یافت. یکی از مهمترین کارها برای بهینه سازی بودجه خزش، کاهش دادن تعداد درخواست های HTTP  به سرور، جهت لود کردن صفحه می باشد. این عمل شامل درخواست هایی برای منابع فایل ها مانند CSS یا Javascript خواهد بود.

• کاهش خطاهای سرور: اطمینان حاصل نمایید که زیرساخت های فنی سایت بدون هیچ خطایی بوده  که گوگل هم بتواند تمامی URL های یک سایت را بازیابی نماید. همچنین اطمینان پیدا کنید که  همه صفحات دارای کد ۲۰۰ یا ریدایرکت ۳۰۱ باشند.

• افزایش crawl demand: برای بازدید گوگل از سایت خود، حتما به طراحی سایت و جذاب بودن آن توجه داشته باشید. البته برای جذاب بودن می توانید به ساخت بک لینک بپردازید. سیگنالی که از بک لینک ها به گوگل ارسال می شود، بیانگر داشتن محتوای خوب و پیشنهاد دادن به دیگر سایت ها میباشد. با وجودی که گوگل، چنین محتواهایی را در فهرست خود به روز نگاه می دارد، ربات های گوگل هم به خاطر تعداد زیادی backlink، مدام به چنین صفحاتی سر می زنند.  راه دیگری که برای افزایش crawl demand وجود دارد، افزایش درگیر بودن کاربر با محتوا بوده است که کاربران مدت زمان بیشتری را در سایت به خصوص در آن صفحه بگذرانند. همچنین با افزایش اشتراک گذاری در صفحات اجتماعی می توانید، ارزش محتوای خود را به دیگران انتقال دهید. برای افزایش بازدید گوگل از سایت، می توانید از محتواهای تازه نوشته شده در سایت خود استفاده نمایید. برای آشنایی با نوشتن محتواهای تازه، حتما مقاله الگوریتم freshness را مطالعه نمایید.

روش های بهینه سازی  بودجه کرال (crawl budget) کدام است؟

هرچند که شما می توانید بودجه خزش خود را افزایش دهید اما این را باید بدانید که کرال را باید برای کارهای مهم تر و کارآمدتر نیز مورد استفاده قرار دهید. در ادامه با راهکارهای جدید بیشتری آشنا می شوید:

حذف کردن محتواهای بی ربط از crawl budget

در اولین قدم، باید صفحات و محتواهایی که برای موتورهای جستجو بی ربط هستند را حذف کنید. برای این کار می توانید از robots.txt استفاده نمایید. این موارد بی ربط می تواند صفحات ورود به سیستم ، فرم های تماس ، پارامترهای URL و موارد مشابه باشند.

این نکته را هم به یاد داشته باشید: اگر صفحاتی را از robots.txt  حذف کردید، ربات های گوگل نمی توانند توضیحات متا مانند برچسب های کنونیکال یا دستورات noindex که ممکن است در آن صفحات باشند را اجرا کنند.

استفاده از نوفالو (nofollow)

اگر چه خیلی از صاحبان وب سایت ها تمایلی ندارند که لینک های داخلی خود را نوفالو کنند، اما با این روش می توان رباتهای گوگل را از صفحات بی ربط دور نگه داشت. برای مثال، مواردی مانند انکر تکست”ماه بعد” را می توان نوفالو کرد، اما این را هم باید بدانید که با این کار ارزش آن لینک پایین می آید. پس استفاده از robots,txt یا nofollow کردن، بسته به نوع صفحات شما و استراتژی که برای آن به کار می گیرید، می تواند متفاوت باشد.

اجتناب از پارامترهای URL

از پارامترهای url باید اجتناب کنید. اگر این امکان ندارد می توانید آن را از سرچ کنسول حذف نمایید.؛ به شرطی که برای بازیابی محتوا به آن صفحات نیاز نداشته باشید.

معماری سایت مسطح

با یک معماری سایت مسطح می توانید اطمینان حاصل کنید که تمامی زیرصفحه های وب سایت شما تنها با چند کلیک از صفحه اصلی شما فاصله دارند. این نه تنها برای کاربران بلکه برای ربات های موتور جستجو نیز عالی خواهد بود؛ در غیر این صورت ، این خطر وجود دارد که خزنده ها از صفحات وب سایت شما بازدید نکنند ، چرا که  سلسله مراتب سایت شما نادرست چیده شده است. ساده ترین راه برای پیاده سازی معماری سایت تخت، استفاده از نقشه سایت HTML است که تمامی زیر صفحه های مهم وب سایت را لیست می کند. اگر همه پیوندها در یک صفحه HTML قرار نداشتند، می توانستید نقشه سایت خود را در چندین سلسله مراتب توزیع کنید و آنها را به ترتیب حروف الفبا مرتب نمایید.

بهینه سازی لینک های داخلی

ربات موتورهای جستجو، از طریق لینک های داخلی که در هر صفحه موجود است می توانند به کل سایت، دسترسی داشته باشند. بنابراین، شما می توانید با استفاده از این لینک ها به ان ها اجازه خزش در کل سایت را بدهید. برای مثال، می توانید صفحاتی را که باید بیشتر خزیده شوند ، به صفحاتی پیوند دهید که قبلاً دارای بک لینک های زیادی بوده اند و بیشتر توسط Googlebot بازدید شده اند. همچنین باید لینک های داخلی زیادی را به زیرمجموعه های مهم اضافه کنید تا ارتباط آنها با Google را نشان دهد. علاوه بر این ، چنین صفحاتی نباید از صفحه اصلی شما فاصله زیادی داشته باشند.

تهیه نقشه سایت (sitemap.xml)

استفاده از نقشه سایت به گوگل کمک می کند تا بتوانید کل سایت را رصد نمایید. استفاده از سایت مپ به افزایش خزیدن در سایت کمک می کند و احتمال ندیدن محتواهای با کیفیت را نیز کاهش می دهد.

در ریدایرکت ها، لینک تنظیم نکنید

هر دو پیوند داخلی و خارجی که به وب سایت منتهی می شوند، هرگز نباید به URL هدایت کننده مراجعه کنند. برخلاف مرورگرهای وب ، Googlebot ریدایرکت ها را بلافاصله دنبال نمی کند، بلکه گام به گام آن ها را دنبال می کند. بنابراین اگر سروری، URL را به Googlebot بازگرداند، ربات، آن URL را ذخیره کرده و بعداً از آن بازدید می کند. با این کار، خطر از بین رفتن محتوای مهم را در انبوه URL هایی که باید خزیده شوند افزایش می دهد.

اجتناب از زنجیره ریدایرکت

مطابق با توضیحات بالا، با زنجیره ریدایرکت، تعداد درخواست ها به سمت سرور بیشتر می شود و بودجه خزش زیادی نیز مصرف می شود. برای کاهش این مشکل، باید به صورت مستقیم ریدایرکت را به آدرس مقصد انجام دهید.

چک کردن محتواها به صورت مکرر

اگر وب سایت شما دارای زیر مجموعه های بسیاری است، باید محتواها را مجددا مورد بررسی قرار دهید و آن ها را حذف یا ادغام نمایید. این به شما کمک می کند تا از محتواهای تکراری جلوگیری به عمل آورید و اطمینان حاصل کنید که هر زیر صفحه، محتوای مرتبط و منحصر به فردی را ارائه می دهد.

افزایش سرعت صفحات سایت

یکی از فاکتورهای مهمی که میتواند بر روی بودجه خزش یک سایت موثر باشد. سرعت پایین لود صفحات است. به هنگام خزش یا کرال ربات ها از صفحات سایت ما اگر سرعت صفحات به قدری کند باشد که اصلا هم باز نشود این پیام به گوگل ارسال میشود سرور های سایت نمیتوانند درخواست ربات ها را به خوبی انجام دهند درنتیجه گوگل نرخ خزش را کاهش می دهد تا دریافت و انتقال درخواست به درستی صورت بگیرد.

چگونه بودجه خزیدن سایت را بهینه نماییم؟

به صورت کلی، موارد مهم و دارای اهمیتی وجود دارد که شاید اصلا ربطی به یکسری از موضوعات crawl budget نداشته باشد، اما باید مورد بررسی قرار گیرد. در ادامه، روش هایی که می توانید با آن ها بودجه کرال خود را بهینه نمایید را به شما آموزش می دهیم.

1- اجازه خزش و کرال کردن را به صفحات مهم در robots.txt بدهید.

اولین گام که جز مهمترین ها برای بررسی و بهینه کردن crawl budget  به حساب می آید،  همان مدیریت درست Robots.txt، به صورت دستی و یا با استفاده از پلاگین ها می باشد. برای مدیریت بهتر، ترجیح ما استفاده از ابزار و پلاگین هایی است که کار را راحت تر و آسانتر نموده  و نسبت به حالت دستی نیز مطمئن تر و تاثیر گذار ترهستند

در مرحله اول، پلاگین را نصب کنید و سپس آدرس Robots.txt را به آن معرفی نمایید. خود ابزار به شما این امکان را می دهد که صفحاتی را بلاک یا اجازه دسترسی به خزنده ها را بدهید. در مرحله آخر، می توانید داکیومنتی را ویرایش یا آپلود نمایید. واضح است که تمامی این کارها را می توان به صورت دستی انجام داد. اما این نکته را هم در نظر بگیرید که اگر دارای یک سایت بزرگ باشید، مدیریت و پیگیری تمامی این صفحات، کار آسانی نخواهد بود.

2- مراقب زنجیره ریدایرکت ها نیز باشید.

روش دوم، یکی از روش های رایج برای داشتن سلامت سایت به حساب می آید. در حالت ایده آل، می توانید از داشتن حتی یک زنجیره تغییر مسیر در کل دامنه خود جلوگیری کنید. راستش را بخواهید، اگر دارای یک وب سایت واقعاً بزرگ باشید و بخواهید تعداد صفحات زیادی را ریدایرکت کنید، و یا مشخص کنید که ریدایرکت ها 301 یا 302 باشد، کار بسیار پیچیده تر و خسته کننده تر خواهد شد. اما اگر، دسته ای از آنها به یکدیگر زنجیر شده باشند، همین امر می تواند به کرال شما آسیب برساند. البته این مورد، تا جایی پیش می رود که خزنده موتور جستجو، بدون دسترسی به صفحه مورد نیاز برای indexing ، به راحتی خزیدن را متوقف نماید. اگر تعداد محدودی ریدایرکت داشته باشید، مشکلی پیش نمی آید اما اگر تعداد ریدایرکت ها زیاد باشد، باید خیلی مراقب باشید.

3. هر زمان که ممکن است از HTML استفاده کنید.

ما به صورت کلی درباره گوگل و خزنده های آن صحبت می کنیم و همانطور که می دانید، خزنده های گوگل خیلی راحت تر می توانند کدهای HTML را بخوانند اما جدیدا کدهای جاوا اسکریپت نیز برای آن ها نیز قابل فهم شده است. ربات های گوگل به راحتی نمی توانند مطالبی که به صورت XML و Flash است را مورد بررسی و ایندکس قرار دهند. اگر سایت شما به جز از اچ تی ام ال، از برنامه نویسی دیگری استفاده کرده باشد، امکان اینکه دیگر موتورهای جستجو نتوانند آن مطالب را ایندکس کنند، بسیار زیاد خواهد بود.

4- اجازه ندهید، خطاهای HTML، مقدار بودجه کرال شما را به هدر دهد.

شاید باورتان نشود که صفحات 404 و 410 نیز می توانند از بودجه خزش سایت نیز استفاده نمایند و همین امر می تواند در آسیب رساندن به تجربه کاربری تاثیر داشته باشد. پس حتما صفحات خود را با توجه به وضعیت های 4xx و 5xx نیز مورد ارزیابی قرار دهید.

از ابزارهایی که خیلی کمک می کند تا راحتر بتوانید چنین صفحاتی را پیدا کنید و آن را درست نمایید، اسفااده از ابزارهایی مانند SE Ranking  و  Screaming Frog می باشد. این ابزارها بهترین، ابزار برای بررسی صفحات سایت و سئو به حساب می آیند.

5- مراقب پارامترهای  URL سایت باشید.

همیشه این موضوع را به خاطر داشته باشید که داشتن آدرس های مجزا برای هر صفحه ای، یک بودجه خزش برای آن در نظر گرفته می شود و ممکن است که با داشتن صفحات کپی یا بی اهمیت، باعث از دست دادن crawl budget خود شوید. بعد از ایجاد هر صفحه و مشخص کردن URL، حتما آن را به سرچ کنسول معرفی نمایید تا از URL های تکراری و کسر بودجه در امان باشید.

6- سایت مپ خود را آپدیت نمایید.

یکی دیگر از راه هایی که می توانید بودجه خزش خود را بهینه کنید، استفاده از sitemap.xml می باشد. با استفاده از این روش، بات های گوگل (خزنده های گوگل) به آسانی می توانند از وجود لینک های داخلی با خبر شوند. حتما از لینک هایی استفاده کنید که دارای پارامترهای درستی نیز می باشند و یادتان باشد که از آخرین نسخه robots.txt نیز استفاده کرده باشید.

7- تگ Hreflang را جدی بگیرید.

به منظور آنالیز و تحلیل صفحات محلی، باید از تگ hreflangs نیز استفاده شود. با این کار، ربات های گوگل راحت تر می توانند به بررسی صفحات بپردازند. برای این کار بهتر است که از دستور زیر استفاده کنید و قبل از هر کاری آن را در هدر سایت خود، جایی که “lang_code” قرار دارد، بگذارید.

<link rel=”alternate” hreflang=lang_code” href=”url_of_page”>

برای بهینه سازی بهتر، حتما از المان <loc> برای url های خود استفاده نمایید. این یکی از بهترین روشها برای بهینه و محلی کردن صفحات به حساب می آید.

8- جلوگیری از به وجود آمدن صفحات بدون لینک ( orphan page)

وجود صفحات داخلی سایت که بدون هیچکونه لینک داخلی هستند موجب صرف وقت و انرژی بیشتری برای ربات های گوگل می شوند. چرا که گوگل باید زمان بسیار زیادی رو برای یافتن صفحات یتیم صرف کند. در نتیجه اگر سعی دارید تا بوجه خزش سایتتان را به درستی استفاده کنید حتما از وجود لینم های داخلی در تمام صفحات سایت اطمینان حاصل کنید.

9- رفع مشکلات مربوط به سرور

اگر بروز خطای سرور و میزان تایم اوت سرور سایتتان بیش از حد نرمال باشد این بدان معناست که سرعت وبسایت به قدری پایین است که موجب کند شدن روند خزش ربات های گوگل میشود. در نتیجه گوگل این برداشت را میکند که سایت شما نمیتواند برای ورود کاربران بعدی مناسب باشد. برای این حالت میتوانید بخش لاگ ( Log) را بررسی کنید که دارای کد وضعیت و تعداد بایت های دانلود شده هستند. بنابراین اگر خیلی برایتان اهمیت دارد که محتواهایتان به سرعت ایندکس شوند، بهتر است به جای هاست اشتراکی سراغ سرور مجازی یا سرور اختصاصی بروید.

10- قسمت هایی از بخش سایت را مسدود کنید

یکی از راه های موثر برای افزایش بودجه خرش این است که بخش هایی از سایت خود را که نیاز به کرال کردن ربات های گوگل ندارد را مسدود کنید. برای این کار میتوانید این صفحاتی که میخواهید مسدود شوند رو در فایل Robot.txt قرار دهید. برای مثال مسدود کردن صفحات فروشگاهی که با اعمال فیلتر های مختلف ایجاد شده اند را میتوانید از دسترس کرال ربات های گوگل مخفی کنید.

عمده ترین سوالاتی که ممکن است درباره بودجه خزش برای شما پیش آید:

در این بخش می خواهیم به یکسری از سوالاتی که برای شما پیش آمده و از ما پرسیده اید، پاسخ دهیم، البته اگر هنوز سوالی درباره crawl budget دارید، می توانید در بخش دیدگاه برای ما پیام بزارید. قطعا این سوالات در حال آپدیت شدن خواهد بود.

سوال اول: چطور می تونم نرخ خزش یک سایت را افزایش دهم؟

در پاسخ به این سوال می توان گفت که باید page authority  یا همان اعتبار صفحه خود را افزایش دهید. البته گوگل اعلام کرده است که رابطه مستقیم بین اعتبار صفحه و نرخ خزش وجود دارد. اگر هنوز نمی دانید منظور از اعتبار صفحه یا  اعتبار دامنه چیست حتما مقاله راههای افزایش PA و DA را مطالعه کنید.

سوال دوم: آیا Crawl یک فاکتور قوی در سئو و بهینه سازی سایت به حساب می آید؟

اگر با 220 فاکتور گوگل آشنایی داشته باشید، می دانید که نرخ کراول تاثیری در گرفتن رتبه و افزایش جایگاه در نتایج گوگل را ندارد ولی می تواند یک فاکتور بسیار مهم نیز تلقی شود.

سوال سه: آیا سرعت سایت و یا داشتن خطا در سایت، تاثیری در بودجه کراول ایجاد می کند؟

همانطور که قبلا هم ذکر کردیم، سرعت سایت یکی از مهمترین فاکتورهای رتبه دهی و نشانه سالم بودن سرور است. اگر سرعت سایت کم باشد یا اینکه به هنگام ارسال درخواست به سمت سرور، با خطاهایی مواجه شود، قطعا crawl budget نیز پایین می آید.

امیدوارم این مقاله توانسته باشد، به تعدادی از سوالات شما عزیزان درباره نرخ خزش پاسخی داده باشد، در صورت داشتن سوال و نظر، حتما در دیدگاه پیام خود را برای ما ارسال نمایید. اگر به دنبال آموزش سئو به صورت رایگان می گردید، حتما مقاله مربوطه را از ویکی دمی مطالعه نمایید و با ما در تماس باشید.

آزمون تستی کراول باجت