بودجه خزش یا Crawl Budget چیست؟

بودجه خزش چیست؟

به طور کلی امکانات گوگل برای بررسی وب سایت های مختلف بسیار زیاد است؛ اما در این بین باید تعادلی را بین تمامی سایت ها برقرار کند. یعنی یک سایت نباید به صورت مداوم مورد بررسی ربات ها قرار بگیرد، در حالی که سایت دیگر توسط ربات ها بررسی نشود. 

اما نرخ خزش سایت چیست؟ بودجه خزش یا کراول باجت به میزان بودجه ای گفته می شود که بر اساس آن ربات های خزنده یک بازه زمانی خاصی را برای بررسی سایت شما در نظر می گیرند. سپس بر اساس آن بازه زمانی، صفحات مختلف سایتتان را ایندکس و بررسی می نمایند.

فرض کنید بودجه سایت سیتی سایت در ماه تنها 200 دفعه باشد؛ حال اگر نتوانیم به درستی از این بودجه استفاده کنیم، با مشکل ایندکس نشدن صفحات سایتمان مواجه خواهیم شد. برای جلوگیری از این اتفاق باید دو اقدام را انجام دهیم:

1. مدیریت بودجه خزش
2. افزایش بودجه خزش سایت

 

 

نحوه تعیین بودجه خزش سایت توسط گوگل

در ابتدا بهتر است بدانیم که گوگل چطور بودجه خزش را برای هر سایت مشخص می کند؛ گوگل برای این کار به دو مورد در سایت دقت می کند. 

1. منابع هاست یا فضای نگهداری اطلاعات سایت
2. میزان فعالیت در سایت و تولید محتوا

 اما منابع هاست و تولید محتوا چه نقشی در تعیین بودجه خزش سایت دارند؟

 

نقش منابع هاست سایت در بودجه خزش (Crawl limit / host load)

یکی از اقداماتی که در زمینه سئو منفی روی سایت شما انجام می دهند، حملات ddos است. در این حملات تعداد زیادی درخواست را به سرور شما ارسال می کنند و در این زمان سایت شما به دلیل کاهش منابع، از دسترس خارج می شود.

ربات های گوگل نیز مانند کاربران، زمانی که به سایت شما مراجعه می کنند بخشی از منابع سایتتان را درگیر می کنند. حال اگر منابع سایت شما کافی نباشد، ربات ها از بررسی سایت شما منصرف خواهند شد.

در نتیجه میزان بودجه خزش را برای سایت شما کاهش می دهند. اما چطور میزان منابع هاست شما را اندازه گیری می کنند؟

1. بررسی تعداد دفعاتی که ربات های گوگل سایت شما را خزش کرده و با مشکل مواجه شده اند.
2. تعداد سایت هایی که روی سرور اصلی سایت قرار گرفته اند.

در مورد نکته دوم باید بگوییم که شرکت های هاستینگ یک سرور بسیار بزرگ را به کمک نرم افزارهای مخصوص به چند سرور کوچک تقسیم می کنند. 

ربات های خزنده تعداد سایت هایی که به طور کلی روی سرور اصلی قرار گرفته اند را بررسی می کنند. هر چه این سرور بزرگتر به سایت های بیشتری اختصاص داده شده باشد، هر کدام منابع کمتری در اختیار دارند.

 

 

میزان فعالیت در سایت یا تقاضای خزش (Crawl Demand / Crawl Scheduling)

پس از اینکه ربات های خزنده منابع هاست شما را بررسی کردند، به میزان فعالیت شما در سایت دقت می کنند. در واقع میزان فعالیت شما در سایت و تعداد محتواهایی که تولید می کنید، نوعی ارسال درخواست برای خزش مجدد سایت خواهد بود. 

ربات های گوگل برای بررسی محبوبیت و اعتبار یک سایت به تعداد بک لینک های با ارزش آن سایت دقت می کنند؛ از طرفی برای تعیین قدرت صفحات داخلی و تعیین بودجه خزش نیر به لینک های داخلی آن صفحه توجه می کنند.

علاوه بر همه این ها، گوگل بررسی می کند که هر چند وقت یکبار محتوای جدیدی در سایت شما منتشر می شود و محتواهای قدیمی بروز می شوند یا خیر؟

البته نوع صفحات سایت در تعیین بودجه خزش نیز موثر است. به عنوان مثال صفحاتی که شامل دسته بندی یک محصول خاص هستند، بودجه خزش بیشتری دارند؛ چرا که دائما محصولات جدیدی به آنها اضافه می شود. این در حالیست که صفحات محصول بودجه خزش کمتری دارند، زیرا کمتر بروزرسانی می شوند.

 

چرا crawl budget یا بودجه خزش اهمیت دارد؟

از دلایل اهمیت بودجه خزش می توان به موارد زیر اشاره کرد:

• جلوگیری از دزدی محتوا

در مطلب ” افزایش سرعت ایندکس ” گفتیم که یکی از دلایل دزدی محتوا، عدم ایندکس به موقع محتوای سایت شما است. اما این چه ارتباطی با بودجه خزش سایت دارد؟

همانطور که گفتیم بودجه خزش یا کراول باجت به بازه زمانی گفته می شود که ربات های گوگل در طی آن یک سایت را ایندکس و بررسی می کنند.

حال فرض کنید سرعت ایندکس در سایت شما به دلیل کم بودن بودجه خزش سایت بسیار پایین است. در این زمان شما محتوایی را که مدت های زیادی روی آن کار کرده اید در سایت منتشر می کنید. اما به همین دلایل گفته شده، ایندکس نمی شود. در این حال یکی از رقبای شما با دانستن این موضوع همان محتوا را در سایت خود منتشر می کند و سرعت ایندکس سایت او نیز به مراتب از شما بیشتر می باشد. در نتیجه گوگل محتوای شما را به نام رقیبتان ثبت می کند. 

 

• افزایش بازدید بیشتر از سایت

فرض کنید شما محتوایی را در مورد یک موضوع ترند در جامعه نوشته و در سایتتان منتشر می کنید. حال به دلیل اینکه سرعت ایندکس سایت شما بالا است، محتوا به سرعت دیده می شود. در نتیجه در صفحه اول گوگل قرار گرفته و بازدید زیادی را جذب می کند. پس می توان گفت در بسیاری از مواقع افزایش بودجه خزش و سرعت ایندکس سایت، سبب افزایش بازدیدکنندگان نیز خواهد شد.

 

روش های افزایش بودجه خزش یا crawl budget

در ادامه با ترفند های بهینه سازی بودجه خزش و یا روش های افزایش نرخ بودجه خزش آشنا می شوید. کافیست تک تک موارد زیر را روی سایت فعلی خود رعایت کنید تا گوگل بودجه بیشتری برای خزیدن در صفحات شما در نظر بگیرد.

 

1.  حذف صفحات کپی

یکی از مواردی که سبب کاهش و از بین رفتن بودجه خزش سایت شما می شود، وجود صفحات تکراری در سایت است. یکی از بزرگترین اشتباهاتی که سئوکاران انجام می دهند، برچسب گذاری های متعدد و بدون برنامه ریزی است. این برچسب ها صفحات مجزایی را به وجود می آورند که در بیشتر مواقع محتوای تکراری دارند. همین عامل سبب به وجود آمدن صفحات کپی یا duplicate content در سایت خواهد شد.

در هر صورت وجود صفحات کپی در سایت سبب می شود تا بودجه خزش شما صرف بررسی یک سری صفحه تکراری و بی ارزش در سایت شود. برای جلوگیری از اینکار ابتدا این صفحات را نوایندکس کرده، سپس اقدام به حذفشان کنید. در نهایت برای جلوگیری از به وجود آمدن صفحات 404، آنها را ریدایرکت 301 کنید. در مطلب ” آموزش ریدایرکت 301 ” به شما آموزش های لازم را داده ایم.

2. جلوگیری از ایندکس صفحات پارامتری

یکی دیگر از صفحاتی که بودجه خزش ما را مصرف می کند، صفحاتی است که URL پارامتری دارند. این صفحات در سایت های فروشگاهی بیشتر دیده می شود. به عنوان مثال زمانی که در باکس جستجو یا فیلتر جستجو موضوعی را سرچ می کنید، یک آدرس جدید به فرمت زیر نشان داده میشود:

website.com/cats/big?color=red

این آدرس ها صفحاتی را نشان می دهد که از نظر محتوایی ارزش چندانی نداشته و ضرورتی هم برای ایندکس شدن آنها وجود ندارد. برای جلوگیری از ایندکس شدن این مدل از صفحات، باید از تگ کنونیکال استفاده کنید تا به ربات های گوگل بفهمانید که به جای خزش این صفحه، به صفحه اصلی آن بروند.

3.  لینک سازی خارجی

لینک سازی خارجی یکی از اقدامات مهم در سئو کلاه خاکستری است که به افزایش اعتبار و قدرت سئو سایت شما کمک زیادی می کند. البته اگر سایتتان را به تازگی راه اندازی کرده اید، بهتر است سراغ این تکنیک نروید. ابتدا سایتتان را سئو داخلی کنید و پس از 2 الی 3 ماه به سراغ لینک بیلدینگ بروید.

لینک سازی خارجی موجب می شود، زمانی که ربات های خزنده در حال خزش سایت های دیگر هستند، لینک سایت شما را نیز مشاهده کنند. در نتیجه به سایت شما نیز آمده و برای بار دیگر آن را خزش می کنند.

4. حذف صفحات زامبی

صفحات زامبی یا همان زامبی پیج ها به صفحاتی گفته می شود که از نظر محتوایی ارزش چندانی برای گوگل و کاربر ندارند. اصولا این صفحات کمتر از 200 کلمه محتوا داشته یا بازدید بالایی ندارند. وجود صفحات زامبی در یک سایت قدرت سئو آن را کاهش داده و از طرفی بودجه خزش را نیز مصرف می کنند. برای شناسایی این صفحات می توانید از طریق سرچ کنسول، کم بازدید ترین محتواها را پیدا کرده و آنها را حذف و ریدایرکت کنید.

5. تولید محتوای منظم

همانطور که گفتیم تولید محتوای مستمر در سایت، سبب می شود تا گوگل سایت شما را به عنوان یک سایت پویا و فعال شناسایی کند. از طرفی تولید محتوا در سایت در واقع نوعی تقاضای خزش به ربات های گوگل می باشد. زمانی که در روزهای خاص و در یک ساعت مشخص محتوایی را در سایت قرار بدهید، ربات های خزنده به طور خودکار در همان ساعات برای خزش مجدد به سایت شما مراجعه می کنند.

6. بهبود ساختار داخلی سایت

یکی دیگر از راه های افزایش بودجه خزش سایت، بهبود ساختار داخلی سایت است. همانطور که گفتیم لینک سازی داخلی موجب افزایش قدرت یک محتوا می شود. حال زمانی که ربات های خزنده در حال بررسی یک محتوا هستند، به لینک های داخلی آن نیز مراجعه می کنند. اگر لینک سازی داخلی سایت شما مشکل داشته باشد، در واقع بودجه خزش سایتتان را هدر داده اید. لینک سازی داخلی سایت را بررسی کنید؛ در صورتی که به صفحات 404 یا ریدایرکت های پی در پی می روند، آنها را اصلاح کنید.

7. ایجاد سایت مپ

سایت مپ یا نقشه سایت یک فایل متنی با فرمت xml است که روی هاست شما قرار می گیرد. در این فایل متنی شما لیست کاملی از آدرس صفحاتی که می خواهید ایندکس شود را قرار می دهید. به کمک این فایل، ربات های خزنده با سرعت بیشتری یک سایت را خزش و ایندکس می کنند. در صورتی که برای ایجاد نقشه سایت خود اقدام نکرده اید، مطلب ” آموزش ثبت سایت مپ گوگل ” را مطالعه کنید.

8. افزایش سرعت سایت

یکی دیگر از مواردی که به افزایش بودجه خزش سایت کمک می کند، افزایش سرعت سایت است. زمانی که سرعت صفحات سایت شما کم باشد، با مشکل ایندکس نشدن صفحاتتان روبرو خواهید شد. برای جلوگیری از این موضوع می توانید به کمک تکنیک هایی که در مطلب ” افزایش سرعت سایت وردپرسی ” گفته ایم، سرعت سایتتان را افزایش بدهید.

9. خرید سرور اختصاصی

همانطور که گفتیم یکی از عواملی که بودجه خزش سایت شما را مشخص می کند، منابع هاست شما است. اگر می خواهید از کاهش crawl budget جلوگیری کنید، بهتر است از هاست اختصاصی کمک بگیرید. 

10. مدیریت صفحات غیر قابل ایندکس

بسیاری از صفحات سایت شما غیر قابل ایندکس بوده اما در دسترس ربات های خزنده قرار می گیرند. در واقع با این کار موتورهای جستجو مشغول غربالگری صفحات سایت شما می شوند و بودجه خزش سایتتان صرف این کار خواهد شد. اما کدام صفحات غیر قابل ایندکس هستند؟

• تغییر مسیرها یا ریدایرکت ها(3xx)
• صفحاتی که پیدا نمی‌شوند و خطای آنها به صورت 4xx است.
• صفحاتی که از سمت سرور دچار مشکل شده اند و ارور 5xx نشان می دهند.
• صفحاتی که ایندکس‌پذیر نیستند یعنی دارای تگ noindex هستند.

11. مدیریت لینک‌‌های شکسته یا ریدایرکت شده
    

منظور از لینک های شکسته، لینک هایی است که به صفحاتی ارجاع می شوند که وجود ندارد. لینک های ریدایرکت شده نیز، آدرس هایی هستند که به URL های دیگر هدایت می شوند. زنجیره طولانی از ریدایرکت ها و لینک های شکسته، موتورهای جستجو را به بن بست می رساند.

شما باید تا حد امکان تعداد ریدایرکت های طولانی را کاهش داده و لینک های شکسته را نیز اصلاح کنید. با این کار علاوه بر افزایش سرعت لود صفحات، بودجه خزش سایتتان را نیز مدیریت کرده اید.

 

چطور بودجه خزیدن سایتمان را چک کنیم؟

برای بررسی بودجه خزش یک سایت، بهتر است به سرچ کنسول آن مراجعه کنید. برای این کار ابتدا لازم است که سایتتان را در سرچ کنسول ثبت کرده باشید. اگر هنوز این کار را نکرده اید، مطلب ” ثبت سایت در سرچ کنسول ” به شما کمک خواهد کرد. در ادامه برای بررسی بودجه خزش سایتتان، مراحل زیر را طی کنید:

• وارد بخش تنظیمات سرچ کنسول شوید.
• طبق تصویر زیر، در بخش Crawling روی گزینه‌‌ی باز کردن گزارش (Open Report) کلیک کنید.
• اکنون به صفحه ای هدایت می شوید که می توانید جزئیات بیشتر را مشاهده کنید.

 

بخش های مختلف Crawl stats در سرچ کنسول

بخش اول

طبق تصویر زیر، می توانید تعداد درخواست‌ها، میزان دانلودها و همچنین میانگین زمان پاسخگویی سایت را مشاهده کنید.

بخش دوم

Host status گزارش خطاهای هاست را در 90 روز گذشته نشان می دهد. 

بخش سوم

بخش سوم به Crawl requests breakdown مربوط است و شامل 4 بخش می شود:

• نویسنده response

این بخش میزان صفحات خزیده شده را نشان می دهد؛ مشکلاتی نظیر ارور 404 و تعداد صفحات سالم در این بخش نشان داده میشود. با کلیک روی هر بخش می توانید جزئیات بیشتری را مشاهده کنید.

به این نکته توجه کنید که هر چه تعداد صفحات OK 200 بیشتر باشد، سایت شما در وضعیت بهتری قرار دارد.

• نویسنده file type

در این قسمت می توانید نوع صفحات کرال شده را مشاهده کنید.

• نویسنده purpose

تعداد دفعات کرال صفحات قدیمی و جدید سایت را نشان می دهد.

• نویسنده Googlebot type

نوع ربات هایی که صفحات سایت شما را کرال کرده اند را مشخص می کند.

 

در پایان

در این مطلب به شما گفتیم که بودجه خزش یا کرال باجت چیست و چه اهمیتی برای سایت شما دارد. همانطور که در بخش تاثیر کرال باجت بر سئو گفتیم در صورتی که نتوانید به بهترین شکل، بودجه خزش سایت را افزایش بدهید و آن را مدیریت کنید، با مشکلاتی در سئو سایت خود مواجه خواهید شد. بنابراین میتوانید با به کارگیری تکنیک هایی که گفته شد، بودجه خزش سایتتان را مدیریت کرده و نرخ آن را افزایش دهید. در صورتی که در این زمینه نیاز به مشاوره تخصصی داشتید، با مشاوران ما در سیتی سایت تماس بگیرید.