بهینه سازی بودجه خزش (crawl budget)، با روش های طلایی | تاثیر کرال باجت بر سئو

شبکه جهانی وب دارای تعداد زیادی از اطلاعات در دهه اخیر بوده  که همچنان هم به آن اضافه می شود. بنابراین برای موتورهای جستجو مانند گوگل، ذخیره این حجم از اطلاعات، تقریبا کاری غیر ممکن است و عموما قادر است که تعدادی از url های هر سایت را crawl نماید. بنابراین در اینجا بحث crawl budget یا بودجه خزش به میان می آید که یک مفهوم حیاتی برای سئو بوده و اغلب نادیده گرفته می شود.

از آنجا که یک کارشناس سئو باید، تعداد زیادی کار و موضوعات مختلف را در ذهن خود نگه دارد، متاسفانه جرقه ای چون بودجه کرال باجت را فراموش می کند. مهمترین مسائلی که قصد داریم در این مقاله مطرح کنیم شامل موارد زیر می باشد:

• Crawl budget چیست؟
• چرا بودجه خزش برای سئو مهم است؟
• معرفی فاکتورهای مهم کرال باجت
• منظور از Crawl demand چیست؟
• منظور از Crawl rate limit چیست؟
• چگونه بودجه خزش، می تواند افزایش و تاثیر گذار باشد؟
• چطور crawl budget را افزایش دهیم؟
• روش های بهینه سازی  بودجه کرال (crawl budget) کدام است؟

Crawl budget چیست؟

در گذشته عبارت بودجه خزش، یک عمل چرخش در قلمروی SEO بوده است، به طوری که هیچ کس تعریف درستی از این عبارت را تا سال ۲۰۱۷، نمی دانست. در سال ۲۰۱۷، آقای Gary Illyes، در بلاگ خود، معنی کرال باجت را به ۲ فاکتور مهم مانند crawl demand  و crawl limit وابسته دانست که در ادامه به توضیح آن ها می پردازیم.

به صورت کلی، بودجه crawl به تعدادی از صفحاتی که ربات گوگل (googlebot)، آن ها را برای ایندکس کردن در بازه زمانی مشخصی خزش می کند، گفته می شود.  

بهینه سازی crawl budget، به مجموعه ای از گام ها  گفته می شود که می توانید به صورت خاص، جهت افزایش نرخ بازدید ربات های موتورهای جستجو در آن صفحات، انجام دهید. هر چه تعداد بازدید صفحه ای بیشتر باشد، آپدیت و بروزرسانی آن صفحه جهت خزیدن نیز بیشتر می شود. 

چرا crawl budget  برای سئو مهم است؟

به صورت خلاصه: اگر گوگل نتواند صفحه ای را ایندکس کند، نمی تواند به آن صفحه رتبه ای نیز دهد. حال اگر تعداد صفحات شما از بودجه خزش شما بیشتر باشد، تعدادی از صفحات شما ایندکس نخواهند شد.

طبق گفته بالا، نباید نگران crawl budget باشید، چرا که گوگل یکی از بهترین موتورهای جستجو برای پیدا کردن و ایندکس کردن صفحات یک سایت می باشد.

گفته می شود، مواردی وجود دارد که به هنگام کرال باجت باید به آن توجه داشت:

• اداره کردن یک سایت بزرگ: اگر شما دارای یک سایت بزرگ با +۱۰K هستید مانند سایت های ecommerce، ممکن است گوگل، در پیدا کردن تمامی صفحات دچار مشکل شود.
• اضافه کردن دسته ای از صفحات: اگر اخیرا بخش جدیدی به سایت خود اضافه کرده اید که دارای تعداد زیادی صفحه است، قطعا شما میخواهید بدانید  که آیا این صفحات ایندکس شده اند یا خیر.
• داشتن تعداد زیادی ریدایرکت: داشتن ریدایرکت زیاد، باعث از دست رفتن crawl budget می شود.

در ادامه مطالب، مواردی که برای بهینه سازی بودجه کرال و افزایش رنک سایت باید به آن توجه داشت را بیان خواهیم نمود.

معرفی فاکتورهای مهم crawl budget

 Gary Illyes در مقاله what crawl budget means for googlebot، اعلام کرده است که فرآیند پیچیدگی خزیدن، به ربات های گوگل نیاز دارد که بتواند لیستی از آدرس هایی که تمایل به دیدن دارد، ایجاد کند. با این روش، لیستی از آدرس ها در صف انتظار قرار می گیرند که به هیچ عنوان، این لیست ها تصادفی نیستند. حال، به کل این فرایند  (زمانبندی) یاscheduling گفته می شود که طبق اولویت URLs، گوگل از یک مکانیسم پیچیده ای به نام Crawl demand ( تقاضای خزیدن) استفاده می کند و حتی برای افزایش سرعت سایت هم از مکانیسم دیگری به نام crawl rate limit که در ادامه آن را توضیح می دهیم، استفاده می نماید.

تقاضای خزیدن یا Crawl Demand

این فاکتور بیانگر این موضوع است که چه تعداد صفحه در طول یک بار خزیدن، باید دیده شود. اگر ربات گوگل به URL  خاصی اهمیت بدهد، آن آدرس در جدول زمانی، جایگاه بالاتری خواهد داشت. طبق گوگل، اهمیت ارزیابی URL ها به موارد زیر بستگی دارد:

• محبوبیت: اغلب آدرس هایی که در طول اینترنت به اشتراک گذاشته می شوند و یا به آن ها لینک داده می شود، از نظر گوگل دارای اهمیت بوده و شانس crawl کردن آن ها توسط ربات های گوگل، بیشتر خواهد شد. همانطور که متوجه شدید، محبوبیت (popularity) ارتباط بسیار نزدیکی به اعتبار یک صفحه (authority of page) و رتبه صفحه (page rank) نیز دارد.
• ثبات: به صورت کلی، محتواهایی که تازه نوشته شده اند، نسبت به محتواهایی که یکسال قبل نوشته شده اند، از اولویت بالاتری برخوردار هستند.

موارد ذکر شده، دارای مفاهیم گسترده و عظیمی در سئو دارد. از نظر گوگل، محتواهای محبوب و محتواهای تازه (fresh) دارای crawl demand بالاتری نسبت به دیگر محتواها دارند.

تعریفی که گوگل از crawl budget ارائه می کند این است که” برای اینکه نرخ خزش و crawl demand را با هم داشته باشید، باید تعداد URL هایی که گوگل بات آن ها را crawl می کند را در نظر بگیرید. “

محدودیت نرخ خزش یا Crawl rate limit

Crawl rate limit، به گونه ای معرفی شده است که گوگل نباید تعداد زیادی از صفحات یک وب سایت را خزش کند، چرا که این امر باعث خسته شدن سرور نیز می شود. محدود کردن نرخ خزش، به گوگل اجازه نمی دهد که درخواست های زیادی به سمت سایت ارسال کند، چرا که این عمل باعث کندتر شدن سرعت سایت میشود.

Crawl rate limit، طبق موارد زیر امکان افزایش و یا کاهش را دارد:

• سرعت سایت: اگر سرعت سایت کاهش یابد یا زمان درخواست سرور کم شود، حد نرخ خزش نیزکاهش می یابد و googlebot فقط می تواند تعداد کمی از صفحات را خزش نماید. حال اگر درخواست های ارسالی به سایت افزایش یابد، مطمئنا crawl rate limit  هم افزایش پیدا خواهد کرد.
• شما می توانید حد crawl rate را در سرچ کنسول، تنظیم کنید. اما بدانید که افزایش حد نرخ، ضمانتی برای افزایش نرخ خزش نیست.

به صورت کلی، google نمیخواهد سایت را به خاطر خزش های زیاد، سربار نماید و علت استفاده از crawl rate limit هم به منظور کاهش ارسال درخواست ها می باشد. حال اگر استفاده از سایت کاهش یابد، این مورد به googlebot انتقال داده شده و به تعداد خزش ها افزوده می شود.

چگونه بودجه خزش، می تواند افزایش و تاثیر گذار باشد؟

برای بهینه سازی بودجه خزیدن، معمولا از ۲ عامل استفاده می شود: اولین، افزایش بودجه کلی خزش در دسترس و دومین، استفاده از بودجه خزش موجود با روشی کارآمد تر.

در ادامه، استراتژی های مربوط به این دوعامل را شرح می دهیم:

چطور crawl budget را افزایش دهیم؟

• • بهبود  زمان درخواست سرور و سرعت صفحه:  اگر سرور به سرعت به درخواست های صفحه پاسخ دهد، ربات گوگل می تواند از چندین اتصال به صورت همزمان  جهت خزیدن، استفاده نماید. حال، این عمل باعث افزایش نرخ خزش و همچنین بودجه کلی available crawl خواهد بود. سرعت صفحات سایت یکی از مهمترین فاکتورهای رتبه بندی به حساب می آید که با بهینه سازی سایت میتوان به آن دست یافت. یکی از مهمترین کارها برای بهینه سازی بودجه خزش، کاهش دادن تعداد درخواست های HTTP  به سرور، جهت لود کردن صفحه می باشد. این عمل شامل درخواست هایی برای منابع فایل ها مانند CSS یا Javascript خواهد بود.

• کاهش خطاهای سرور: اطمینان حاصل نمایید که زیرساخت های فنی سایت بدون هیچ خطایی بوده  که گوگل هم بتواند تمامی URL های یک سایت را بازیابی نماید. همچنین اطمینان پیدا کنید که  همه صفحات دارای کد ۲۰۰ یا ریدایرکت ۳۰۱ باشند.

• افزایش crawl demand: برای بازدید گوگل از سایت خود، حتما به طراحی سایت و جذاب بودن آن توجه داشته باشید. البته برای جذاب بودن می توانید به ساخت بک لینک بپردازید. سیگنالی که از بک لینک ها به گوگل ارسال می شود، بیانگر داشتن محتوای خوب و پیشنهاد دادن به دیگر سایت ها میباشد. با وجودی که گوگل، چنین محتواهایی را در فهرست خود به روز نگاه می دارد، ربات های گوگل هم به خاطر تعداد زیادی backlink، مدام به چنین صفحاتی سر می زنند.  راه دیگری که برای افزایش crawl demand وجود دارد، افزایش درگیر بودن کاربر با محتوا بوده است که کاربران مدت زمان بیشتری را در سایت به خصوص در آن صفحه بگذرانند. همچنین با افزایش اشتراک گذاری در صفحات اجتماعی می توانید، ارزش محتوای خود را به دیگران انتقال دهید. برای افزایش بازدید گوگل از سایت، می توانید از محتواهای تازه نوشته شده در سایت خود استفاده نمایید. برای آشنایی با نوشتن محتواهای تازه، حتما مقاله الگوریتم freshness را مطالعه نمایید.