محتوای تکراری چیست و چگونه می‌توان از بروز آن جلوگیری کرد؟

محتوای تکراری یا Duplicate Content محتوایی است که بیش از یکبار در وب‌سایت منتشر می‌شود. زمانی که تعداد زیادی محتوای کاملاً یکسان در یک وب‌سایت وجود داشته باشد، تصمیم گیری برای موتورهای جستجوگر کمی دشوار خواهد شد. در این شرایط موتور جستجوگر نمی تواند تصمیم بگیرد کدام نسخه از محتوا مرتبط با کوئری جستجو است.

برای آنکه کاربران تجربه کاریری بهتری داشته باشند، موتورهای جستجوگر به ندرت محتوای تکراری را نشان می دهند و مجبور هستند از میان نسخه های موجود، نسخه اصلی (یا نسخه بهتر) را بیابند و در اختیار کاربران قرار دهند.

درست است که وجود محتوای تکراری، وب‌سایت را به گوگل پنالتی دچار نمی‌کند، اما می‌تواند تاثیر بسیار بدی بر روی رتبه‌ی وب‌سایت شما داشته باشد.

مشکلاتی که محتوای تکراری ایجاد می کند

برای موتورهای جستجوگر

وجود محتوای تکراری می‌تواند باعث بروز سه مشکل اساسی برای موتورهای جستجو شود:

1. موتورهای جستجوگر نمی‌دانند چه نسخه ای را باید از نتایج جستجوی خود حذف کنند یا نمایش دهند.
2. موتورهای جستجوگر نمی‌دانند که باید معیارهای مرتبط با لینک (همچون اعتماد، Authority، انکر تکست و … ) را به یک صفحه اختصاص دهند یا آن را بین نسخه های متعددِ محتوا تقسیم کنند.
3. موتورهای جستجوگر نمی‌دانند چه نسخه ای را باید برای یک کوئری جستجو خاص، رتبه بندی کنند.

برای صاحبان وب‌سایت‌ها

زمانی که محتوای تکراری وجود داشته باشد، صاحبان وب‌سایت‌ها با مشکلاتی مانند از دست دادن ترافیک و افت رتبه سایت در نتایج جستجو روبرو می‌شوند. دو عامل مهم باعث بروز این مشکلات خواهند شد:

1. جهت ارائه بهترین تجربه کاربری، موتورهای جستجو به ندرت چندین نسخه از یک محتوا را نمایش می‌دهند. به همین علت، موتورهای جستجو مجبور می‌شوند که بهترین نتیجه را خودشان حدس بزنند. همین موضوع باعث کاهش دیده شدن هر یک از صفحات می‌شود.
2. توازن لینک دهی به وب‌سایت مختل می‌شود، زیرا دیگر وب‌سایت‌ها نیز نمی‌توانند بین محتواهای یکسان شما، تمایز قائل شوند. به این ترتیب، به جای آنکه همه‌ی لینک‌ها به یک صفحه اشاره کند، هر لینک به یکی از صفحات شما داده می‌شود. از آنجایی که لینک بیلدینگ یکی از فاکتورهای مهم رتبه بندی وب سایت است، این موضوع در دیدن شدن محتواهای وب‌سایت‌تان در نتایج جستجو تاثیر منفی خواهد داشت.

خب، نتیجه چه می‌شود؟ اینکه یک صفحه از سایت، آنگونه که باید دیده نمی‌شود.

محتوای تکراری چگونه به وجود می‌آید؟

در بیشتر موارد، صاحبان وب‌سایت از عمد محتوای تکراری ایجاد نمی‌کنند. اما این موضوع به این معنی نیست که محتوای تکراری در سایت‌شان وجود ندارد. در حقیقت، اگر بخواهیم کمی درباره این قضیه صادق باشیم، باید بگوییم که تقریباً 29% از محتوای موجود در اینترنت، محتوای تکراری است.

خب، در ادامه‌ی مقاله رایج‌ترین روش‌هایی که باعث ایجاد محتوای تکراری می‌شوند را با هم بررسی می‌کنیم:

متغیرهای آدرس سایت (URL)

پارامترها و متغیرهای مرتبط با آدرس سایت مانند پارامترهایی که برای پیگیری و ردیابی کلیک و برخی از کدهای تحلیلی می توانند باعث ایجاد محتوای تکراری در وب‌سایت شوند. این مشکل نه تنها با حضور پارامترها در ادامه URL به وجود می‌آید، بلکه ترتیب قرارگیری این متغیرها نیز در ایجاد محتوای تکراری دخالات دارد.

برای مثال:

• آدرس www.widgets.com/blue-widgets?color=blue در حقیقت، محتوای تکراری آدرس www.widgets.com/blue-widgets است.
• یا آدرس www.widgets.com/blue-widgets?color=blue&cat=3 محتوای تکراری آدرس www.widgets.com/blue-widgets?cat=3&color=blue است.

استفاده از Session ID

Session IDها نیز، به طور مشابه، خالق محتوای تکراری هستند. این اتفاق زمانی رخ می دهد که هر کاربری که از سایت بازدید می کند، یک Session ID متفاوت دریافت می کند و این شناسه در آدرس سایت ذخیره می شود.

حتما بخوانید: قدم چهارم استارت آپ: بازاریابی استارت آپ خودتان را شروع کنید!

قابلیت پرینت صفحه

صفحاتی که گزینه پرینت را در اختیار کاربران قرار می‌دهند می توانند باعث ایجاد مشکلات مرتبط با محتوای تکراری شوند. این موضوع زمانی رخ می‌دهد که نسخه های متعددی از یک صفحه ایندکس می‌شود. به این ترتیب هنگامی که بر روی این گزینه کلیک می‌کنید، صفحه ای جدید با آدرس متفاوت و محتوای یکسان را مشاهده خواهید کرد.

مشکلات موجود در HTTP و HTTPS، و صفحات با www و بدون www

اگر وب‌سایت‌تان چند نسخه بر روی www.example.com و example.com داشته باشد (با و بدون پیشوند www)، و محتوای شما بر روی هر دو نسخه موجود باشد، باید بدانید که برای هر یک از صفحات سایت خود یک صفحه تکراری ایجاد کرده‌اید.

این قانون برای سایت‌هایی که بر روی http و https هستند نیز صدق می‌کند. اگر هر دو نسخه از سایت شما موجود و در موتورهای جستجو قابل دسترس باشد، با مشکل محتوای تکراری روبرو خواهید شد.

محتوای کپی

وقتی از محتوا صحبت می‌کنیم منظور ما فقط مقالات و پست‌های وبلاگی سایت‌تان نیست. سارقان محتوا که پست‌های وبلاگ شما را بر روی سایت خود کپی می‌کنند نیز به عنوان منبعی از محتوای تکرای شناخته می‌شوند. با این حال، یک مشکل رایج برای سایت‌های فعال در تجارت الکترونیک نیز وجود دارد: اطلاعات محصولات.

اگر وب‌سایت‌های مختلف، کالاهای یکسانی را با اطلاعات یکسان برای فروش در سایت خود قرار دهند، محتوای مشابه در نقاط مختلف اینترنت پراکنده می‌شود.

دنبال یه کار پر درآمد از اینترنتی؟

تو دوره فرصت‌های اینترنتی بهترین راه رو بهت نشون میدیم!
برای مشاوره رایگان، همین الان با ما تماس بگیرید.

شروع می‌کنم

021-58438داخلی 1

چگونه می‌توان مشکل محتوای تکراری را برطرف کرد؟

زمانی که محتوای موجود در یک سایت در آدرس های متعددی یافت شود، باید برای موتورهای جستجوگر متعارف سازی (Canonicalized) شود. اینک ار را می توان از طریق ریدایرکت 301 به آدرس (URL) صحیح انجام داد. ریدابرکت کردن چنین صفحه ای از طریق تگ rel=canonical یا در برخی از موارد با استفاده از ابزارهای موجود در گوگل وبمستر نیز انجام می شود.

ریدایرکت 301

در بیشتر موارد بهترین روش برای مبارزه با محتوای تکراری، تنظیم ریدایرکت 301 از صفحه حاوی محتوای تکراری به صفحه اصلی است. زمانی که صفحات متعدد با پتانسیل رتبه بندی با یکدیگر ادغام می شوند، نه تنها با یکدیگر رقابت نخواهند کرد بلکه ارتباط عمیق‌تر و قوی‌تری با یکدیگر ایجاد می‌کنند و سیگنال های محبوبیت بیشتری برای موتورهای جستجوگر ارسال خواهند کرد. این موضوع می‌توان به ارتقا رتبه شما در نتایج جستجو نیز کمک کند.

استفاده از تگ “Rel=Canonical”

گزینه دیگر برای حل مشکل محتوای تکراری به کار بردن تگ “Rel=canonical” است. این تگ همانند ریدایرکت 301 قدرتمند است و در بیشتر موارد برقراری آن به زمان کمتری نیاز دارد. تگ “Rel=Canonical” در قسمت هد HTML وب‌سایت قرار می‌گیرد.

این تگ متا زیاد هم جدید نیست، اما همانند تگ nofollow، به سادگی از پارامترهای rel استفاده می کند. مثلاً به کد زیر توجه کنید:

حتما بخوانید: نرخ بازگشت سرمایه (ROI) در بازاریابی چیست؟

این تگ به موتورهای جستجوگر بینگ و گوگل می گوید که صفحه مورد نظر باید به گونه ای رفتار شود که کپی آدرس http://www.example.com/canonical-version-of-page است و تمامی معیارهای مرتبط با لینک و محتوای آنها باید به سمت آدرس جدید منتقل شود.

نمونه های زیر نشان می دهد که چگونه خطاهای مرتبط با حروف بزرگ، می تواند منجر به ایجاد محتوای تکراری شود:

1. http://www.simplyhired.com/a/jobs/list/q-software+developer
2. http://www.simplyhired.com/a/jobs/list/q-Software+developer
3. http://www.simplyhired.com/a/jobs/list/q-software+Developer

تنها تفاوتی که بین این آدرس ها وجود دارد، بزرگ یا کوچک نوشته شدن کلمات “software” و “developer” است. موتور جستجوگر، همه این آدرس‌ها را به عنوان یک صفحه متفاوت می‌بیند و آن را به عنوان محتوای تکراری می‌شناسد. با به کارگیری تگ rel=canonical در دومین و سومین مورد و اشاره کردن آن به مورد اول، موتور جستجوگر می‌داند که باید با آن دو صفحه تکراری مانند صفحه اول رفتار کند.

تگ rel=canonical به شکل زیر در هدینگ HTML سایت قرار می‌گیرد.

استفاده از کد noindex, follow

ربات های متا تگ با مقادیر noindex, follow را می توان در یک صفحه مورد استفاده قرار داد. این گزینه نشان می دهد که صفحه مورد نظر نباید در موتورهای جستجوگر ایندکس شود. اینکار به ربات های موتورهای جستجوگر اجازه می دهد لینک های موجود در صفحه مشخص شده را Crawl کنند اما آن را ایندکس نکنند. اینکار با مشکلات مرتبط با صفحه بندی کمک می کند.

مدیریت متغیرها در گوگل وبمستر

گوگل وبمستر تولز به شما اجازه می‌دهد دامنه مورد نظر خود را تنظیم کنید و نسخه های متعددی از پارامترهای URL را به صورت متفاوت، مدیریت نمایید. اصلی ترین عیب این روش این است که تنها برای گوگل کار می کند. هر تغییری که از طریق این ابزار انجام می شود تاثیری بر روی بینگ یا سایر موتورهای جستجوگر نخواهد داشت.

این موضوع باید برای تمامی سایت ها تنظیم شود. این یک روش ساده است که به گوگل می گوید سایت ارائه شده باید به همراه www یا بدون آن در موتورهای جستجوگر نشان داده شود.

روش های دیگر برای حل مشکل محتوای تکراری

1. زمانی که در حال لینک سازی داخلی در سایت هستید، پایدار و یکپارچه عمل کنید. به عنوان مثال؛ اگر وبمستر تعیین کند که نسخه متعارف یا همان نسخه canonical یک دامنه به صورت example.com باشد، پس تمامی لینک های داخلی باید از این روش تبعیت کنند (به نبود www در ابتدای آدرس دقت کنید).
2. در زمان لینک گرفتن برای صفحه خود دقت کنید که لینک به آدرس اصلی سایت داده شده باشد، نه به یکی از متغیرهای آدرس!
3. به کار بردن محتوای مشابه در سایت خود را به حداقل برسانید. به عنوان مثال به جای اینکه یک صفحه در مورد “کفش برای آقایان” و یک صفحه دیگر برای “کفش برای بانوان” داشته باشید که 95% محتوای تکراری دارند، سعی کنید این صفحات را به یک صفحه واحد تبدیل کنید و تمامی اطلاعات مورد نیاز را در آن بگنجانید. همچنین، می‌توانید این صفحات را به گونه‌ای توسعه دهید که شامل محتوای مرتبط و مجزا برای هر URL باشد.
4. با استفاده از گزینه noindex, follow، محتوای تکراری را از موتورهای جستجوگر حذف کنید. شما می توانید این کار را از طریق ربات متا یا وبمستر تولز انجام دهید.

نمونه کد Rel=Canonical

نمونه کد ربات متا

نتیجه‌گیری

همانطور که مشاهده کردید، داشتن محتوای تکراری در وب‌سایت می‌تواند به ضرر رتبه سایت شما در نتایج جستجو باشد. با استفاده از راهکارهای بالا می‌توانید به راحتی این مشکل را بر طرف سازید و رتبه خود را در نتایج جستجو ارتقا بخشید.

امیدواریم که خواندن این مقاله برایتان مفید بوده باشد. در صورتی که سوالی درباره محتوای تکراری و روش‌های رفع آن دارید، می‌توانید از قسما دیدگاه‌ها سوال خود را با ما مطرح کنید.