موتور جستجو چیست؟ آموزش اصول خزیدن و ایندکس کردن

قبل از ورود به موضوعات سئو و آموزش بخش های مختلف آن، نیاز داریم تا با ساز و کار موتور های جستجو آشنا بشیم و درک کنیم که موتور های جستجو دقیقا چیکار میکنند.

اگر می‌خواهید به صورت مفهومی با اصول سئو آشنا بشید، تسلط به روند کار موتور های جستجو کمک خیلی زیادی به شما می‌کنه و شما با درک هر فاکتور سئو می‌توانید در شرایط مختلف اونو به نفع خودتون تغییر بدین. قبل از هر کاری ما به شما توصیه میکنیم که به پادکست مقدماتی موتورهای جستجو گوش فرا دهید و سپس به خواندن ادامه مقاله بپردازید.

موتورهای جستجو ابزارهای آنلاینی هستند که بعد از اینکه کاربران مطلبی یا همان (کلمه کلیدی) را در اینترنت جستجو کردند، مطلب را از داخل دیتابیس خود که متشکل از میلیون ها سایت است، به صورت خیلی دقیق و بر اساس موضوع و زبان و هزاران فاکتور دیگه که دسته بندی شده اند، پیدا می کنند و به کاربران نمایش می دهند.

مثلا موتور جستجوی گوگل، جدیدا با استفاده از یکی از الگوریتم های خود به نام رنک برین، توانسته فهم بالایی در سرچ کاربران به دست بیاره و سرچ های کاربران را خیلی حرفه ای و دقیق، دسته بندی کنه و بهترین پاسخ را برای هر سرچ، برای کاربر بفرسته.

موتور های جستجو نتیجه را از دیتابیس خود پیدا می کنند، مرتب می کنند و به کاربر نمایش می دهند. به این لیست مرتب شده که بعد از سرچ هر عبارتی مثلا در گوگل می‌بینید اصطلاحاَ صفحه نتایج جستجو یا (SERP) گفته می شود. تعداد زیادی موتور جستجو در دنیا وجود دارند، اما گوگل (Google) معروف ترین این موتور هاست، که در بسیاری از مرورگر ها مانند  Chrome،Firefox، Safari و… بعنوان صفحه اصلی وجود دارد.

موتور های جستجو چگونه کار می کنند؟

قبل از مطالعه ادامه مقاله، حتما به پادکست موتورهای جستجو پیشرفته گوش بدید و نظرتان را با ما در میان بگذارید.

نحوه فعالیت و بررسی و کارهای مختلف در موتور های جستجو با هم متفاوت بوده، اما در نهایت در اصلی ترین موضوعات و فاکتورها، این موتورها به هم شباهت دارند که شباهت های اصلی آن ها شامل موارد زیر می‌شود:

• خزیدن  (Crawling)
• ایندکس کردن  (Indexing)
• نمایش نتیجه  (Creating results)

۱- خزیدن (Crawling)

موتورهای جستجو با استفاده از ربات های خود که ممکن است در بعضی از سایت ها با عنوان عنکبوت موتورهای جستجو نام برده شده باشند، به سایت های مختلف در سراسر دنیا وارد شده و شروع به گشتن یا اصطلاحاَ خزیدن در این سایت ها می کنند. این ربات ها، محتوا، فایل ها، صفحات داخل سایت و هر آنچه که در یک سایت وجود داشته باشند را بررسی می‌کنند. استفاده از لینک های داخل متنی، یکی از پایه ای ترین راه ها برای خزیدن بهتر این ربات ها می باشد، چرا که با استفاده از این لینک ها، موتورهای جستجو، سایت ها و صفحات جدیدی را پیدا می کنند و برای بررسی آنها به سایت هدف وارد می‌شوند و مجدد همان فرایند، برای خزیدن آن سایت نیز تکرار می‌شود و باز به لینک های جدید برخورد می‌کنند و روز از نو، روزی از نو.

هنگامی که سایت های مختلف دنیا به هم لینک می‌دهند و به هم متصل می‌شوند، ربات های موتور های جستجو بسیار سریع به صورت شبکه ای وارد سایت های مختلف می‌شوند. به صورت کلی، لینک سازی های داخلی و خارجی از پایه ای ترین راه ها برای خزیدن خوب ربات های همه ی موتور های جستجو می‌باشد.

اگر بک لینک های یک سایت را بررسی کنید ( مثلا یک سایت معروف در دنیا)، می‌بینید که از سایت های بسیاری به  آن سایت لینک داده شده است و اگر هر کدام از آن سایت ها را مجددا بررسی کنید، می‌بینید که آن سایت نیز بک لینک های زیادی دارد و  سایت ها در بستر اینترنت، به صورت شبکه ای به هم متصل شده اند.

برای درک بهتر موضوع بک لینک توصیه می‌کنیم حتما مقاله بک لینک چیست را مطالعه کنید.

۲- ایندکس کردن (Indexing) 

همزمان با عمل خزیدن ربات های گوگل در بین صفحات هر وب سایت، ربات ها تمامی اطلاعات آن صفحه را ذخیره می‌کنند. ذخیره کردن این اطلاعات، باعث می‌شود که موتورهای جستجو، کتابخانه هایی از اطلاعات تمام سایت های دنیا داشته باشند. سایت ها بعد از فرایند ایندکس، تازه در نتایج جستجو نمایش داده می‌شوند و این فرایند در تمامی موتور های جستجو ثابت است، یعنی تا سایت شما توسط ربات موتورهای جستجو ایندکس نشود، امکان نمایش در موتور های جستجو را ندارد.

نکته: برای اینکه بفهمید سایت شما توسط موتورهای جستجو ایندکس شده یا نه یک راه ساده وجود دارد، در موتور جستجوی مورد نظر خودتان، بطور مثال در گوگل، عبارت مقابل را جستجو نمایید “site: sitename.com” بجای عبارت “sitename” نام سایت خودتان را قرار دهید و در صورتی که از دامنه “.ir” استفاده می کنید آن را جایگزین “.com” کنید، یا می‌توانید وارد صفحه اصلی موتور جستجوی گوگل شوید (چون گوگل پر استفاده ترین موتور جستجو در دنیا است آن را به عنوان مثال قرار داده ایم) و آدرس صفحه‌ی مورد نظر خودتون را وارد کرده و سرچ کنید.
اگر صفحه شما ایندکس شده باشد گوگل صفحه ی شما را با عنوان و دیسکریپشن صفحه، برای شما نمایش خواهد داد.

۳- نمایش نتیجه (Creating results)

موتور های جستجو، زمانی که یک کاربر کلمه ای را جستجو می کند شروع به ساختن نتیجه ی جستجو می کنند. این عملیات به این صورت شروع میشود که ابتدا این موتورها تمام سایت های ایندکس شده را بررسی نموده، سپس براساس الگوریتم های مخصوصی که دارند و با توجه به عبارتی که کاربر جستجو کرده بهترین نتیجه را به کاربر نمایش می دهند.

اگر هدف شما بالا آمدن در گوگل است توصیه می کنیم که مقاله الگوریتم های گوگل را مطالعه کنید.

الگوریتم های موتور های جستجو چیست؟

ما در مقاله‌ی الگوریتم موتور های جستجو، بطور کامل در مورد این موضوع صحبت کرده ایم، اما اگر بطور خلاصه بخواهیم توضیحی در مورد الگوریتم های موتورهای جستجو بدیم، باید بگوییم که الگوریتم موتورهای جستجو یک فرمول خاص و منحصر بفرد است که در حقیقت مشخص می کند که چطور یک سایت در نتایج جستجو نمایش داده می‌شود. یا بهتر است بگوییم که چرا یک سایت در نتایج جستجو بالاتر از بقیه نمایش داده میشود؟ شرکت های سازنده موتور های جستجو الگوریتم های خودشان را بصورت مخفی نگه میدارند و سعی می کنند که روش کار این الگوریتم ها درز پیدا نکند، اما باز هم این اطلاعات توسط بعضی از افراد افشا می‌شود. شما مقالات زیادی را در اینترنت در مورد فاکتورهای مهم سئو پیدا می‌کنید که البته ما در مقاله ۲۰۰ فاکتور مهم سئو بیشتر این فاکتور ها را بررسی نموده ایم.

فاکتور مهمی در این بین وجود دارد که اگر شما بتوانید به نحو احسنت از آن بهره ببرید، می‌توانید شانس خیلی بیشتری در افزایش رتبه در کلمات مختلف در موتور های جستجو داشته باشید و آن فاکتور، فهماندن موضوع خود، مطابق الگوریتم های هر موتور جستجو، به آن موتور جستجوی خاص است. یعنی شما به گونه ای محتوای خود را ایجاد می کنید که دقیقا مطابق الگوریتم ها باشد تا درک آن محتوا برای موتور های جستجو راحت تر باشد؛ در این شرایط موتور های جستجو خیلی راحت تر محتوای شما را با کلمه ای که کاربر سرچ کرده است مطابقت می‌دهند.

پرطرفدارترین موتور های جستجو

۵ موتور جستجو که بیشترین استفاده را در بین مردم جهان دارند عبارتند از:

۱- گوگل (Google)

گوگل را می توان بعنوان غول موتور های جستجو معرفی کرد، گوگل جدا از اینکه بیشترین استفاده را در بین مردم جهان دارد، بهترین الگوریتم ها را در خود جای داده است. یکی از مهمترین الگوریتم های گوگل که تقریبا یکی از جدیدترین ها هم است «رنک برین» نام دارد که ما بطور کامل آن را بررسی نموده ایم. گوگل در سال ۱۹۹۸، فعالیت خود را آغاز نمود و تا به امروز جزء برترین های موتورهای جستجو در جهان شناخته شده است.

الگوریتم های گوگل در ابتدا هوش مصنوعی بسیار پایینی داشتند و به راحتی قابل دور زدن بودند، اما طی این سالها، گوگل هزاران بار الگوریتم های خود را آپدیت کرده است. در سال 2019 به جرات می‌توان گفت که دور زدن این الگوریتم ها، به خاطر قوی تر شدن هوش مصنوعی بسیار سخت و پیچیده شده، بطوریکه الگوریتم «rankbrain» را می‌توان انقلابی در هوش مصنوعی یک الگوریتم دانست.

۲- بایدو‌ (Baidu)

بایدو اولین موتور جستجو چینی است که در سال ۲۰۰۰ راه اندازی شد و با شرکت های مطرح دنیا مانند مایکروسافت (Microsoft)، کوالکام  (Qualcomm)، اینتل (Intel) و… همکاری داشت. شرکت Baidu نیز مثل گوگل در بخش های مختلفی مانند بستر ابری  (Cloud)، نقشه (Map)، شبکه های اجتماعی و … فعالیت زیادی دارد.

۳-بینگ (Bing)

بینگ که موتور جستجو شرکت ماکروسافت است، در سال ۲۰۰۹ فعالیت خود را آغاز نمود واین  فعالیت، بلافاصله بعد از قطع شدن موتور جستجو MSN آغاز شد. هدف اصلی مایکروسافت این است که بینگ را تبدیل به یکی از رقیبان جدی گوگل کند که البته در حال نزدیک شدن به این موتور جستجو هم می باشد. در آمریکا بینگ، دومین موتور جستجو پرطرفدار بعد از گوگل است. الگوریتم های این موتور جستجو قبلا برگرفته و یا مطابق الگوریتم های گوگل بود، اما در سال های اخیر موتور جستجوی بینگ، از نظر هوش مصنوعی رشد بالایی داشته و در حال رسیدن به الگوریتم های حرفه ای و اختصاصی برای خود می باشد.

۴- یاهو (Yahoo!)

در حقیقت یاهو یکی از گسترده ترین سرویس دهنده های ایمیل و موتور جستجو در جهان بوده است. در دهه ۹۰، یاهو بطور گسترده ای رشد کرد اما بعد از سال ۲۰۰۰، یاهو نتوانست نوآوری هایی داشته باشد و باعث سقوط سهامش شد و بعد از این اتفاق، در سال ۲۰۱۷ این شرکت واگذار شد.

۵- یاندکس (Yandex)

یاندکس، یک نوع موتور جستجو بوده که متعلق به کشور روسیه می باشد. بر اساس اطلاعات داده شده، یاندکس بیشتر از ۵۰٪ جستجو های کشور روسیه را در خود جای داده است. الگوریتم های این موتور جستجو به پیچیدگی گوگل نیست و با استفاده از چند الگوریتم ساده، نتایج جستجو را نمایش می دهد.

امیدواریم از مطالعه این مقاله لذت برده باشید و مورد استفاده شما واقع شده باشد. درک اینکه یک موتور جستجو چگونه کار می‌کنه، شاید به نظر خیلی ها بی اهمیت برسه اما اگر شما بتونید این ساز و کار را درک کنید، قطعا خیلی راحت تر از بقیه می‌توانید مسیر رشد سئو سایتتون را مهیا کنید.