meta robots چیست؟ کاربرد متا تگ ربات در سئو

متا تگ ها از کدهای HTML و عناصر یک وبسایت هستند که ضرورت وجود آن ها بسته به ماهیت و عملکرد آن ها است. این تگ ها در قسمت هدر سایت قرار گرفته و توسط موتورهای جستجو خوانده می شوند. هدف اصلی از نوشتن متا تگ ها، توصیف بهتر محتوا است. از آن جایی که بعضی از این تگ ها برای موتورهای جستجو اهمیت زیادی دارند، در رتبه بندی سایت نیز تاثیر بسزایی می گذارند.
یکی از این متا تگ های مهم، متا تگ ربات (meta robots) است که با استفاده از این تگ، می توانید موتور جستجو گوگل را کنترل کنید تا فقط صفحاتی را ایندکس کند که به آن اجازه می دهید.

این موارد شبیه به فایل Robots.txt هستند که در ادامه متوجه تفاوت میان آن با متا تگ ها خواهید شد.

تفاوت میان Meta Robots و فایل Robots.txt چیست؟

همانطور که بالاتر اشاره کردیم، meta robots تگ های HTML هستند که دستورالعمل هایی را برای خزنده های گوگل آماده می کنند. این تگ فایل Robots.txt را به crawler گوگل ارائه داده و مشخص می کند که این خزنده اجازه ایندکس کدام صفحات را دارد.

برای دیدن این متا تگ ها بر روی یک صفحه از سایت راست کلیک کرده، گزینه View Source را انتخاب کنید، و سپس در قسمت بالای صفحه ای که باز شده به دنبال Robots بگردید. هدر صفحه باید چنین شکلی داشته باشد:

<meta name="robots" content="noindex" />

<meta name="googlebot" content="noindex" />

<meta name="googlebot-news" content="noindex" />

<meta name="slurp" content="noindex" />

<meta name="msnbot" content="noindex" />

در مثال بالا، خط اول برای همه موتورهای جستجو نوشته شده است، در حالی که 4 مورد دیگر برای ربات هایی خاص هستند. در این مثال، متا تگ Robots به موتورهای جستجو اعلام می کند که اجازه ایندکس این صفحه را ندارند. لازم به ذکر است که خزنده های گوگل می توانند لینک های داخل این صفحه را تشخیص داده و آن ها را دنبال کنند.

یکی از تفاوت های meta robots با فایل Robots.txt این است که یک لایه محافظتی بیشتر به فایل متنی Robots اضافه می کند. وقتی crawler یک لینک خارجی را دنبال کرده و به یکی از صفحات سایت وارد می شود، حتی اگر این صفحه در لیست No Index شما باشد، می تواند آن را خزش کند، چرا که هنوز فایل Robots.txt سایت شما را ندیده است. متا تگ های Robots می توانند از این خزش و indexing جلوگیری نمایند.

نحوه عملکرد Meta Robots

همانطور که در مثال بالا نشان داده شده است، هر متا تگ از دو بخش “=name” و “=content” تشکیل شده است. در قسمت نام تگ، مانند فایل robots.txt، باید User Agent مورد نظر را مشخص کنید. برخلاف فایل robots.txt که باید اسم خاصی برای موتورهای جستجو نوشته شود، در اینجا کافیست کلمه “Robots” را بنویسید تا اسم متا تگ مورد نظر مشخص شود. در قسمت content، وظیفه ربات های جستجو را به آن ها اعلام می کنید.

کد های دستوری قسمت Content در Meta Robots

عبارت های مختلفی می توانند در این قسمت قرار بگیرند که هر کدام عملکرد متفاوتی دارند. این عبارت ها شامل موارد زیر می شوند:

Index

این عبارت به موتورهای جستجو اعلام می کند که اجازه ایندکس صفحه را دارند. ممکن است استفاده از این تگ بیهوده به نظر برسد، چرا که این کار به طور پیش فرض توسط ربات های خزنده موتورهای جستجو انجام می شود، اما اگر بخواهید فقط به موتور جستجو خاصی اجازه ایندکس صفحه را بدهید، استفاده از این کد و دستور به کار شما می آید.

NoIndex

همانطور که از اسم آن پیدا است، این عبارت به کراولرها اعلام می کند که اجازه ایندکس این صفحه را نداشته و در نتیجه این صفحه در SERP نمایش داده نمی شود.

NoImageIndex

این دستور اعلام می کند که تصاویر موجود در صفحه ایندکس نشوند. لازم به ذکر است که اگر این تصاویر در سایتی دیگر مورد استفاده قرار بگیرند، ایندکس شده و در SERP گوگل نمایش داده می شوند.

Follow

این عبارت به خزنده دستور می دهد تا لینک هایی که در داخل صفحه هستند را دنبال کند. مانند “Index”، این مورد به شکل پیش فرض تعریف شده و لینک های صفحه به طور خودکار توسط ربات ها دنبال می شوند.

NoFollow

به موتورهای جستجو اعلام می کند که به هیچ وجه لینک های موجود در این صفحه را دنبال نکند. می توانید از این دستور برای فقط یک لینک نیز استفاده نمایید.

None

این دستور در واقع یک میانبر است که به جای دستورهای “NoIndex” و “NoFollow” استفاده شده و به ربات های موتورهای جستجو اعلام می کند که این صفحه را به طور کامل نادیده بگیرند.

NoArchive

با استفاده از این کد به ربات های موتور جستجو اعلام می کنید که نسخه های مختلف ذخیره شده از این صفحه را به کاربران نشان ندهند.

NoCache

کاربردی مانند دستور NoArchive دارد که فقط برای MSN و Live مورد استفاده قرار می گیرد.

NoSnippet

این دستور، از ایندکس کردن Snippet موجود در صفحه و نمایش آن در صفحه نتایج موتور جستجو جلوگیری می کند.

NoTranslate

این دستور به ربات ها اعلام می کند که نسخه ترجمه شده صفحه را در SERP نشان ندهند.

Unavailable_after

در صورت استفاده از این دستور، به موتورهای جستجو اعلام می کنید که این صفحه را پس از یک تاریخ مشخص در صفخه نتایج خود نشان ندهند.

NoYDir

این کد دستوری به موتور جستجو اعلام می کند که در Snippet از توضیحات صفحه دایرکتوری یاهو (Yahoo!) استفاده نکند.

NoODP

ODP نام انجمنی است که دایرکتوری های DMOZ را نگهداری می کند. این دستور نیز از نشان دادن توضیحات مربوط به DMOZ در Snippet موتورهای جستجو جلوگیری می کند.

از آن جایی که دایرکتوری Yahoo و DMOZ دیگر وجود ندارند و ممکن است فقط اثراتی از آن ها در وب مانده باشد، امروزه دو دستور NoYDir و NoODP نیز مورد استفاده قرار نمی گیرند.

لازم به ذکر است که تمام موتورهای جستجو از این دستورات پشتیبانی نمی کنند. این موضوع ممکن است باعث گیج شدن شما شود و به همین منظور، جدول زیر برای شفاف سازی و نشان دادن عبارت های مورد استفاده هر موتور جستجو به وجود آمده است:

مقادیر	گوگل Google	بینگ Bing	یاندکس Yandex
Index	بله	بله	بله
NoIndex	بله	بله	بله
NoImageIndex	بله	خیر	خیر
None	بله	نامعلوم	بله
Follow	بله	نامعلوم	بله
NoFollow	بله	بله	بله
NoArchive/ NoCache	بله	بله	بله
NoSnippet	بله	خیر	خیر
NoTranslate	بله	خیر	خیر
Unavailable_after	بله	خیر	خیر
NoYDir	خیر	خیر	خیر
NoODP	خیر	خیر	خیر

مورد دیگری که در نوشتن متا تگ Robots استفاده می شود، ویرگول است. با استفاده از ویرگول می توانید یک متا تگ چند منظوره به جای ایجاد چند تگ بنویسید. این روش به طور متعدد مورد استفاده قرار می گیرد. به عنوان مثال، به کد زیر توجه کنید:

<meta name="robots" content="noindex, nofollow" />

چگونه می توان از متا تگ روبات در سئو استفاده کرد؟

از مهم ترین کارهایی که باید برای سایت خود انجام دهید این است که از ایندکس شدن صفحات بی ارزش سایت خود جلوگیری کرده و تمام تمرکز ربات های خزنده موتور جستجو را بر روی ایندکس کردن صفحاتی بگذارید که از لحاظ سئو مناسب و با ارزش هستند. منظور از صفحات بی ارزش، آن هایی است که محتوای خاصی را به کاربر ارائه نمی دهند. به عنوان مثال، صفحات مدیریتی سایت فقط برای ادمین آن کاربرد دارد. با جلوگیری از ایندکس صفحات بی ارزش برای کاربر، مانع هدر رفتن بودجه خزش سایت خود نیز می شوید.

حال این سوال پیش می آید که چگونه وقتی هدف اصلی سئو سایت نشان داده شدن صفحات آن در SERP است، می توان از meta robots هایی که از ایندکس شدن صفحات جلوگیری می کنند برای بهبود کیفیت سئو استفاده کرد؟

• فایل ها و صفحات خصوصی سایت (مانند آلبوم عکس ها) با استفاده از متا تگ Robots مسدود شده و در صفحه نتایج موتور جستجو دیده نمی شوند. به طور کلی، بهتر است که اطلاعات و فایل های خصوصی را روی وبسایت خود منتشر نکرده، و یا از آن ها محافظت نمایید. برای این کار از meta robots استفاده کنید.
• با استفاده از متا تگ Robots به ربات های موتورهای جستجو کمک می کنید تا سایت شما را به صورت مفید و اثربخش کراول کرده و از هدر رفتن بودجه خزش سایت جلوگیری می کنید. در واقع مسدود کردن لینک های صفحه های بی ارزش، کراولرها را راهنمایی می کند تا سریع تر به صفحات با ارزش سایت برسند.
• اگر صفحه ای در سایت شما وجود دارد که در به دست آوردن لینک های زیادی موفق بوده است اما علاقه ای به ایندکس آن ندارید، می توانید از دستور Follow استفاده کرده و لینک ها را به صفحات دیگر سایت خود منتقل نمایید.

جمع بندی

منتشر کردن اطلاعات حساس و حیاتی در وبسایت توصیه نمی شود، اما گاهی بنا به دلایلی این اتفاق ممکن است رخ دهد. مسدود کردن ایندکس این URL ها از طریق فایل Robots.txt می تواند باعث ایجاد کنجکاوی در هر کسی که این فایل را می خواند شده و نگاهی به آن صفحات بیاندازد. با اضافه کردن دستور  NoIndex به متا تگ، این صفحات را خارج از دسترس موتورهای جستجو نگه دارید. توجه داشته باشید که استفاده درست از این متا تگ ها مهم ترین موضوعی است که باید به آن توجه نمایید. استفاده نادرست از meta robots می تواند باعث ایجاد مشکل در نمایش صفحات سایت در SERP شود.