محتوای تکراری (duplicate content) چیست؟ + راه های برطرف کردن

یکی از مشکلاتی که بسیاری از کارشناسان سئو و وبمستران در بخش سئو داخلی با آن روبرو هستند، می توان به داشتن محتوای تکراری  (duplicate content) اشاره کرد. البته اگر سایت شما فروشگاهی باشد، قطعا با محتوای تکراری روبرو خواهید بود و برای آنکه مشکلی در سئو سایت شما بوجود نیاید، باید از روش هایی برای فهم بهتر گوگل و افزایش رتبه در موتورهای جستجو استفاده نمایید. ویکی دمی در این مقاله قرار است درباره تاثیر محتواهای تکراری بر روی سئو سایت شما صحبت کند و به شما راهکارهایی را برای بهتر کردن سایت و محتوای شما آموزش دهد،  پس با ما همراه باشید.

محتوای تکراری چیست؟

محتوای تکراری، محتوایی است که در اینترنت در بیش از یک مکان ظاهر می شود. این “یک مکان” به عنوان مکانی با آدرس وب سایت منحصر به فرد (URL) تعریف می شود؛ بنابراین ، اگر همان محتوا در بیش از یک آدرس وب ظاهر شود، duplicate content دریافت شده است.

اگرچه از نظر فنی مجازات نیست، اما محتوای تکراری هنوز هم گاهی اوقات می تواند بر رتبه بندی موتور جستجو تأثیر داشته باشد. هنگامی که چندین قطعه از محتوا “به طور قابل ملاحظه ای مشابه” در بیش از یک مکان در اینترنت وجود دارند، برای موتورهای جستجو دشوار است که تصمیم بگیرند، کدام نسخه بیشتر مربوط به یک جستجوی خاص است.

این مساله یا در داخل یک سایت ایجاد می شود که این عمل به خاطر طراحی سایت اشتباه یا گول زدن گوگل، ایجاد شده است که نتیجه آن پنالتی از سمت الگوریتم پنگوئن خواهد بود. یا اینکه با دو آدرس متفاوت، به طراحی سایت مشابه و محتوای تکراری پرداخته شده است که این کار، بین کسب و کارها برای دریافت رتبه بهتر بسیار رایج شده است.

چطور مشکل duplicate content اتفاق می افتد؟

در اکثر قریب به اتفاق، دارندگان وب سایت عمداً محتوای تکراری ایجاد نمی کنند. اما، این بدان معنی نیست که در سایت آنها چنین محتواهایی وجود نداشته باشد. در واقع، طبق برخی تخمین ها، تا 29 درصد از سایت ها در وب، دارای محتوای کپی و تکراری هستند.

بیایید نگاهی به برخی از متداول ترین روش های ایجاد ناخواسته محتوای تکراری بیندازیم:

1. تغییرات URL

پارامترهای URL ، مانند ردیابی کلیک و برخی از کد های تجزیه و تحلیل، می توانند مشکلات محتوای تکراری ایجاد کنند. این می تواند مشکلی باشد که نه تنها توسط خود پارامترها، بلکه به ترتیب نمایش آن پارامترها در خود URL نیز ایجاد شود.

برای مثال:

www.widgets.com/blue-widgets?c… این آدرس تکراری از  www.widgets.com/blue-widgets?c…&cat=3″است. class=”redactor-autoparser-object”>www.widgets.com/blue-widgets تکراری از است www.widgets.com/blue-widgets?cat=3&color=blue

به همین ترتیب، session ID هم می تواند به عنوان یک محتوای تکراری در نظر گرفته شود که بسیار هم رایج است. این اتفاق زمانی می افتد که به هر کاربری که از یک وب سایت بازدید می کند شناسه جلسه دیگری اختصاص داده شود که در URL ذخیره شده باشد.

نسخه های قابل چاپ برای محتوا، همچنین می توانند با تکرار شدن چندین نسخه از صفحه ، مشکلات محتوای تکراری ایجاد کنند.

یک درسی که در اینجا داده شده است این است که در صورت امکان، از افزودن پارامترهای URL یا نسخه های جایگزین URL ها پرهیز نمایید.

2.صفحات HTTP در مقابل HTTPS یا WWW در مقابل غیر WWW

اگر سایت شما نسخه های جداگانه ای در “www.site.com” و “site.com” دارد (با و بدون پیشوند “www”) و محتوای یکسانی در هر دو نسخه ساخته شده است، شما به طور خودکار، نسخه های تکراری از هر یک از آنها را ایجاد کرده اید و صفحات با چنین محتواهای تکراری، برای سایت هایی که نسخه های خود را در هر دو آدرس http: // و https: // نگهداری می کنند نیز،اعمال می شود. اگر هر دو نسخه از یک صفحه زنده هستند و برای موتورهای جستجو قابل مشاهده هستند ، ممکن است با یک مشکل محتوای تکراری روبرو شوند.

3. محتوای خراشیده یا کپی شده

محتوا نه تنها شامل پست های وبلاگ یا محتوای سرمقاله است، بلکه صفحات اطلاعات محصول نیز می باشد. اسکرابرها که بازنشر مطالب وبلاگ شما را در سایت های خود منتشر می کنند ممکن است منبع آشناتر محتوای تکراری باشد، اما یک مشکل مشترک برای سایت های تجارت الکترونیکی نیز وجود دارد: اطلاعات مربوط به محصولات. اگر بسیاری از وب سایت های مختلف موارد مشابهی را بفروشند و همه آنها از توضیحات سازنده در مورد آن موارد استفاده کنند، محتوای یکسان در چندین مکان در سراسر وب پخش می شود.

چگونه میتوان مشکل محتوای تکراری را حل کرد؟

رفع مشکلات محتوای تکراری، همه به همان ایده اصلی برمی گردد: مشخص کردن اینکه کدام یک از نسخه های تکراری “صحیح” است.

هر زمان که محتوای یک سایت در چندین URL یافت شود ، باید برای موتورهای جستجو قانونی شود. بیایید سه روش اصلی برای انجام این کار را مرور کنیم: استفاده از هدایت 301 به URL صحیح ، ویژگی rel = canonical یا استفاده از ابزار کنترل پارامتر در Google Search Console.

1- ریدایرکت 301

در بسیاری از موارد ، بهترین راه برای مبارزه با محتوای تکراری ، استفاده از ریدایرکت 301 از صفحه “تکرار” به صفحه محتوای اصلی است.

وقتی چندین صفحه با قابلیت رتبه بندی خوب در یک صفحه واحد ترکیب شوند، نه تنها از رقابت با یکدیگر باز می مانند. بلکه، آنها  به طور کلی ارتباط و محبوبیت قوی تری ایجاد می کنند. این بار، توانایی صفحه “صحیح” برای رتبه بندی مثبت، تاثیر می گذارد.

2- Rel=Canonical

یکی دیگر از راههایی که می توان با duplicate content مقابله کرد، استفاده از ویژگی کنونیکال است. این ویژگی به گوگل اعلام می کند که این صفحه کپی از آدرس صفحه اصلی بوده وقدرت تمامی لینک ها و محتواهایی که در این صفحه بوده به صفحه اصلی انتقال داده می شود. rel=canonical، یک کد html بوده که برای راحتی کار مورد استفاده قرار می گیرد و نمونه آن به شرح زیر است:

<head>…[other code that might be in your document’s HTML head]…<link href=”URL OF ORIGINAL PAGE” rel=”canonical” />…[other code that might be in your document’s HTML head]…</head>

این ویژگی به head HTML برای جلوگیری از محتوای کپی ایجاد می شودو به گوگل می گوید که نسخه اصلی این صفحه کدام است؛ یادتان باشد که کنونیکال باید در کوتیشن مارک (“) قرار گیرد. این ویژگی مانند ریدایرکت 301، تمامی ارزش ها را انتقال می دهد و در یک سطح قرار دارند.

3- Meta Robots Noindex

یکی از برچسب های متا که در پرداختن به محتوای تکراری نیز می تواند مفید باشد، روبات های متا (meta robots) است که با مقادیر “noindex ، follow” استفاده می شود. این متا را که معمولاً  Meta Noindex، Follow می نامند  و از لحاظ فنی  به صورت content = “noindex، follow” نمایش داده می شود. این کد در head HTML  هر صفحه می تواند قرار گیرد و حتی به گوگل اعلام می کند که این صفحه را دنبال کند ولی در فهرست خود ذخیره ننماید.  این روش به گوگل اعلام می کند که صفحات تکراری و کپی را دنبال کند و اگر مشکلی هم در این صفحات وجود دارد، آن ها را اعلام کند اما در دیتابیس خود ذخیره نکند.

قالب کلی این کد به صورت زیر است:

<head>…[other code that might be in your document’s HTML head]…<meta name=”robots” content=”noindex,follow”>…[other code that might be in your document’s HTML head]…</head>

4- مدیریت دامنه و پارامترهای ترجیحی در سرچ کنسول گوگل

سرچ کنسول گوگل به شما این امکان را می دهد که دامنه مورد نظر سایت خود را تنظیم کنید (به عنوان مثال http://yoursite.com به جای http://www.yoursite.com) و تعیین کنید که آیا Googlebot باید پارامترهای مختلف URL را به طور متفاوت  مدیریت کند یا خیر.

بسته به ساختار URL شما و علت مشکلات محتوای تکراری ، با راه اندازی دامنه یا پارامتر مورد نظر خود (یا هر دو!) ممکن است راه حلی ارائه شود.

اشکال اصلی در استفاده از مدیریت پارامترها به عنوان روش اصلی، برای  برخورد با محتوای تکراری، این است تغییراتی  که ایجاد می کنید فقط برای Google کاربرد دارد. قوانینی که با استفاده از Google Search Console وضع شده اند ، تاثیری در نحوه تفسیر Bing یا سایر خزنده های موتور جستجو از سایت شما ندارند. علاوه بر تنظیم تنظیمات، در Search Console ، باید از ابزارهای مدیریت وب، برای سایر موتورهای جستجو استفاده کنید.

چطور محتوای تکراری را پیدا کنیم؟

احتمال مهمترین سوالی که در مورد این موضوع برای شما پیش می‌آید این است که چطور می‌توان محتوای تکراری را پیدا کرد؟

خب باید در مورد این سوال به شما بگویم که نگران نباشید! ابزارهای متعددی در اینترنت برای شناسایی محتوای تکراری وجود دارند که می‌توانید از آن‌ها برای پیدا کردن duplicate content ها کمک بگیرید. در زیر 2 مورد از این ابزارها را معرفی کرده‌ایم:

• یکی از بهترین این ابزارها، سایت Siteliner.com است. با ورود به این وب‌سایت، می‌توانید آدرس سایتی را که قصد بررسی آن را دارید وارد کرده و روی دکمه «Go» کلیک کنید. سپس این سایت فهرستی از شباهت‌های محتوایی را به شما ارائه می‌دهد.
• اگر می‌خواهید بدانید کدام صفحات وب‌سایت شما در اینترنت نسخه کپی دارند، می‌توانید از سایت Copyscape استفاده کنید. این سایت نیز محتوای مشابه را به شما نمایش می‌دهد. البته نتایج این ابزار نیز ممکن است شباهت بین محتوای دو سایت را نشان دهد، اما به طور کلی این ابزار به شما کمک می‌کند تا اگر محتوای سایت شما در اینترنت دزدیده شده باشد، آن را پیدا کنید.

تاثیر منفی محتوای تکراری در سئو سایت

همانطور که گفتیم، محتوای تکراری به محتوایی گفته می‌شود که در دو یا چند مکان مختلف در سایت، به صورت کامل یا جزئی، کپی شده باشد. این محتوا می‌تواند شامل متن، تصاویر، ویدیو یا هر نوع محتوای دیگری باشد.

وجود محتوای تکراری در وب سایت شما می تواند تاثیرات منفی متعددی بر سئوی آن داشته باشد

تاثیر محتوای تکراری بر سئو سایت را می‌توان از 2 جهت بررسی کرد:

• موتورهای جستجو
• کاربران

موتورهای جستجو مانند گوگل به دنبال ارائه بهترین نتایج به کاربران خود هستند. از نظر آنها، محتوای تکراری ارزش چندانی ندارد و به همین دلیل، وب سایت‌هایی که از این نوع محتوا استفاده می‌کنند، در نتایج جستجو رتبه بندی پایین‌تری خواهند داشت.

در برخی موارد، موتورهای جستجو ممکن است وب سایت‌هایی را که از محتوای تکراری به طور گسترده استفاده می کنند، جریمه کنند. این جریمه می‌‍تواند شامل کاهش رتبه بندی، حذف صفحات از نتایج جستجو یا حتی مسدود شدن کامل وب سایت باشد.

کاربران به دنبال محتوای جدید و منحصر به فرد هستند. اگر آنها متوجه شوند که محتوای وب سایت شما تکراری است، به احتمال زیاد اعتماد خود را به شما از دست خواهند داد و از وب سایت شما خارج خواهند شد.

تمام عواملی که در بالا ذکر شد، می‌توانند منجر به کاهش ترافیک ارگانیک وب سایت شما شوند و این موردی است که اصلا نمی‌خواهیم اتفاق بیفتد!

چرا محتواهای تکراری بسیار مهم هستند؟

این نوع محتواها می توانند  برای موتورهای جستجو، دارای سه مسئله مهم باشند:

1. آنها نمی دانند کدام نسخه (های) را از شاخص های خود وارد کنند / حذف کنند.
2. آنها نمی دانند معیارهای مهم لینک (اعتماد ، اقتدار، انکر تکست، کیفیت لینک و غیره) را به یک صفحه  انتقال دهند یا آن را بین نسخه های مختلف، تقسیم نمایند.
3. آنها نمی دانند کدام نسخه (ها) را برای نتایج جستجو رتبه بندی کنند.

مطالب ذکر شده، مشکلاتی بودند که ممکن است برای موتورهای جستجو به وجود آید، اما اگر شما جز دارندگان چنین سایتی باشید، قطعا با مشکلاتی روبرو خواهید شد که در ادامه به آن ها پرداخته می شود:

وقتی محتوای تکراری وجود دارد، دارندگان سایت می توانند شاهد از دست دادن رتبه و کاهش بازدیدکننده نیز باشند. این خسارات اغلب از دو مشکل اصلی ناشی می شود:

• برای اینکه موتورهای جستجو بهترین تجربه و نتیجه را به کاربران نشان دهند، به ندرت پیش می آید که نسخه های مختلفی از یک سایت را نشان دهند و عموما نسخه ای را نمایش می دهند که دارای کیفیت بهتری است و همین امر باعث کاهش دید هر یک از نسخه های تکراری می شود.

• ارزش پیوند را می توان بیشتر رقیق کرد زیرا سایت های دیگر نیز باید از بین نسخه های تکراری، یکی را انتخاب کنند. بجای اینکه همه لینک های ورودی، به یک قسمت از محتوا اشاره کنند ، آنها به چندین قسمت لینک داده می شوند، و ارزش پیوند را در بین نسخه های مختلف گسترش می دهند. از آنجا که پیوندهای ورودی یک عامل رتبه بندی است، بنابراین می تواند بر قابلیت جستجو در یک محتوا تأثیر بگذارد.

محتوای تکراری با محتوای کپی چه تفاوتی دارد؟

در حالی که به نظر می رسد محتوای تکراری و محتوای کپی معانی مشابهی دارند، تفاوت های ظریفی بین آنها وجود دارد:

محتوای تکراری:

• به محتوایی گفته می شود که در دو یا چند مکان مختلف در اینترنت، به صورت کامل یا جزئی، یکسان باشد. یعنی یک محتوای یکسان با URL های متفاوت؛ که موتور جستجو را گیج خواهد کرد.
• این محتوا می‌تواند شامل متن، تصاویر، ویدیو یا هر نوع محتوای دیگری باشد.
• دلایل مختلفی برای وجود محتوای تکراری وجود دارد، از جمله اشتباه تصادفی، کپی عمدی محتوا توسط دیگران و انتشار محتوای مشابه در چندین وب سایت.
• محتوای تکراری ممکن است در یک سایت اتفاق بیفتد و دلیل آن هم خطای فنی باشد یا اینکه در چندین سایت متفاوت، یک محتوای ثابت به صورت عمدی منتشر شده باشد.

محتوای کپی:

• به محتوایی گفته می شود که به طور غیرقانونی از یک منبع دیگر کپی شده باشد.
• این محتوا می‌تواند شامل متن، تصاویر، ویدیو یا هر نوع محتوای دیگری باشد.
• هدف از کپی محتوا، سوء استفاده از محتوای شخص دیگر برای کسب منفعت شخصی، مانند افزایش رتبه بندی در موتورهای جستجو یا جذب ترافیک بیشتر است.

به طور خلاصه، همه محتوای کپی شده، تکراری است، اما همه محتوای تکراری کپی شده نیست.

لطفا نظرات خود را درباره این مقاله و راه هایی که می توان از محتوای تکراری و کپی جلوگیری به عمل آورد، در دیدگاه برای ما بگذارید. در صورت نیاز به مشاور سئو و راهنمایی در صفحات تکراری با شماره 09128909248 تماس حاصل نمایید.