crawl budget یا بودجه خزش چیست؟

آیا تاکنون چیزی راجع‌به بودجه خزش یا Crawl budget شنیده‌اید؟ آیا می‌دانید گوگل چگونه سایت‌های جدید را شناسایی می‌کند و در نتایج خود آن‌ها را نمایش می‌دهد؟ فرض کنید سایت جدیدی راه‌اندازی کرده‌اید و یک محتوای خاص مثلاً یک محصول ویژه با کاربردی جدید را داخل سایت خود قرار داده‌اید. این محصول در گوگل به‌راحتی پیدا نمی‌شود و شما انتظار دارید که چند روز پس از قرار دادن در صفحه‌ی اول گوگل آن را ببینید؛ اما، برخلاف انتظار شما چنین اتفاقی نمی‌افتد. علت این مسئله این است که صفحات حاوی این محصول در سایت شما، توسط ربات‌های گوگل ایندکس گذاری نشده است. گوگل به هر سایت یک نرخ مشخص از تعداد صفحاتی که در یک روز توسط خزنده‌هایش crawl شوند، اختصاص می‌دهد. این نرخ برای سایت‌های مختلف یکسان نیست و به عوامل متعددی بستگی دارد؛ اما، به‌طور کلی یک سایت باید بودجه‌ی خزش مناسبی به‌دست آورد تا بتواند آن را برای تمامی صفحاتش مدیریت کند و رتبه‌ی سایت را ارتقا دهد. در این مقاله قصد داریم به بررسی بودجه‌ خزش سایت‌ و عوامل مؤثر بر آن بپردازیم و ببینیم چگونه می‌توانیم با‌کمک Crawl budget، سئوی سایت‌ را بهبود دهیم.

مفهوم بودجه خزش در سئو

بهینه‌سازی موتور جستجو یا همان سئو، تلاشی است برای بالاتر نشان داده شدن سایت ما در نتایج موتورهای جستجو؛ اما، لازمه‌ی این کار شناسایی سایت توسط موتور جستجو، مثلاً گوگل، است. به‌عبارت‌دیگر گوگل باید بداند سایت شما برای یک کلمه‌ی کلیدی خاص، دارای محتوای مناسب است و آن محتوا را نمایش دهد؛ اما، این اتفاق چگونه می‌افتد؟ زمانی که شما یک سایت جدید راه‌اندازی کنید یا یک صفحه‌ی جدید به سایت خود اضافه کنید، ربات‌های گوگل که اصطلاحاً عنکبوت‌های گوگل نیز گفته می‌شوند، در صفحات شما شروع به خزیدن کرده و آن‌ها را براساس کلمات کلیدی ایندکس گذاری می‌کنند. حال اگر تعداد صفحات شما زیاد باشد یا ساختار درستی نداشته باشد، عمل خزیدن ربات‌ها به‌درستی انجام نمی‌شود و ممکن است صفحات کم‌اهمیت‌تر زودتر از صفحات مهم‌تر ایندکس گذاری شوند. علت این اتفاق مفهومی است بنام بودجه‌ی خزش یا crawl budget. این نرخ خزش تعداد دفعاتی که موتور جستجو تمایل به خزش در سایت دارد و تعداد دفعاتی را که سایت می‌تواند اجازه‌ی خزش به ربات‌های موتور جستجو بدهد، مشخص می‌کند.

اهمیت توجه به بودجه خزش و تأثیر آن بر سئو سایت

اکنون که با مفهوم بودجه خزش آشنا شدیم، می‌خواهیم بدانیم crawl budget چه تأثیری بر سئوی سایت دارد و اصلاً چرا چنین مفهومی تعریف‌شده است؟

مفهوم crawl budget را متخصصان سئو برای اولین بار مطرح کردند. این مفهوم میزان توجه موتورهای جستجو به سایت ما را نشان می‌دهد؛ اما، چرا موتورهای جستجو برای خزش در سایت‌ها محدودیت قائل می‌شوند؟ علت این مسئله، محدود بودن منابع موتورهای جستجو است. این منابع باید بین میلیون‌ها وب‌سایت تقسیم شوند و به همین دلیل باید خزنده‌ها، وب‌سایت‌ها و صفحاتشان را اولویت‌بندی کنند. روش اولویت‌بندی چیزی است که باید برای بهبود عملکرد خزش ربات‌های سایت به آن توجه کنیم. همچنین تخصیص درست این بودجه باعث دیده شدن صفحات اصلی سایت ما و درنتیجه افزایش رتبه‌‌ی گوگل سایت می‌شود.

بودجه خزش به گوگل چه کمکی برای رتبه‌بندی سایت‌ها می‌کند؟

برای پاسخ به این سؤال در نظر بگیرید وب‌سایت شما شامل تعدادی صفحات اصلی حاوی کلمه‌ی کلیدی است که می‌خواهید سایت‌تان در آن کلمات سئو شود. علاوه‌بر صفحات اصلی، یک سری صفحات جانبی نظیر صفحه‌ی تماس با ما یا صفحه‌ی شرایط و ضوابط نیز در سایت قرار داده‌اید. این صفحات صرفاً شامل اطلاعات تکمیلی پیرامون شرکت شما و محصولاتتان برای افراد متقاضی آن هستند و قرار نیست که در سئو سایت شما نقشی داشته باشند؛ اما، با توجه به محدودیت بودجه خزش، آیا این صفحات نیز باید برای موتور جستجوی گوگل ایندکس گذاری شوند؟ مسلماً خیر، این کار فقط crawl budget سایت ما را هدر می‌دهد و ممکن است به ایندکس گذاری صفحات اصلی آسیب بزند. به‌بیان‌دیگر، اگر crawl budget به‌درستی استفاده نشود، برخی از صفحات مهم سایت که شامل کلمات کلیدی هستند، ایندکس گذاری نشده و درنتیجه در نتایج گوگل نشان داده ‌نمی‌شوند. به‌عبارت‌دیگر، سایت ما در رتبه‌بندی گوگل افت می‌کند.

محاسبه‌ی بودجه‌ی خزش

دو فاکتور مهم برای تعیین بودجه خزش سایت‌ها وجود دارد و گوگل براساس این دو فاکتور متوجه می‌شود که ربات‌ها چندین‌بار و هر بار چقدر باید در سایت خزش کنند.

محدودیت خزیدن (میزان لود هاست): این فاکتور مشخص می‌کند که یک وب‌سایت چقدر می‌تواند خزنده را کنترل کند. به‌عبارت‌دیگر گوگل می‌خواهد بفهمد هاست شما چقدر توان پاسخگویی به درخواست‌های ربات‌های خزنده را دارد. اگر توان هاست شما پایین باشد؛ در مقابل درخواست‌های زیاد این ربات‌ها به مشکل برخورد می‌کند. گوگل برای فهم این مطلب دو موضوع را به دقت بررسی می‌کند:

• چند بار هاست شما در برابر درخواست‌های مکرر ربات‌ها دچار مشکل شده یا اصطلاحاً down شده است؛

• تعداد سایت‌های مستقر روی سرور اصلی این هاست را چندتاست.

درخواست خزش (زمان‌بندی خزیدن): این فاکتور میزان محبوبیت و به‌روز بودن آدرس‌های اینترنتی را تعیین می‌کند. گوگل براساس فاکتورهای زیر، مشخص می‌کند که سایت شما چقدر ارزش خزش مجدد توسط ربات‌ها را دارد:

محبوبیت: تعداد لینک‌های داخلی و خارجی به یک آدرس مشخص، روی محبوبیت آن تأثیرگذار هستند؛

تازگی محتوا: تعداد دفعاتی که محتوای آدرس مدنظر به‌روزرسانی می‌شود؛

نوع صفحات: برخی صفحات ارزش بالاتری نسبت به صفحات دیگر دارند؛ مثلاً، صفحات دسته‌بندی محصولات نسبت به صفحه‌ی شرایط و ضوابط تغییر بیشتری دارد و ارزش آن بالاتر است.

حال ببینیم نحوه‌ی محاسبه‌ی بودجه خزش یک سایت چگونه است؟ از بین تمامی موتورهای جستجو، گوگل شفاف‌ترین روش محاسبه‌ی crawl budget را دارد. اگر وب‌سایتتان را در Google جستجو Console تائید کرده باشید؛ می‌توانید درباره‌ی بودجه‌ی خزش خود اطلاعاتی از گوگل کسب کنید. برای این کار باید ابتدا وارد Google جستجو Console شوید و وبسایت‌تان را انتخاب کنید. سپس در قسمت Crawl Stats می‌توانید تعداد صفحاتی که گوگل در یک روز روی آن‌ها می‌خزد را مشاهده کنید؛ مثلاً، اگر این تعداد 27 باشد یعنی گوگل در یک ماه 27*30=810 صفحه را خزش می‌کند. توجه کنید که این مقدار ثابت نیست و شما باید با‌کمک تکنیک‌های بهینه‌سازی نرخ خزش، این عدد را افزایش دهید.

چه عواملی بر بودجه خزش تأثیرگذارند؟

یکی از مهم‌ترین عوامل مؤثر بر بودجه‌ی خزش وجود URLهای بی‌ارزش است که تأثیر منفی روی کارایی بودجه خزش دارند. عوامل دیگری نظیر پیمایش بی‌نهایت، محتوای تکراری و هرزنامه‌ها نیز می‌توانند اثر منفی بر این عامل سئو داشته باشند. در ادامه حیاتی‌ترین فاکتورهای مؤثر روی crawl budget را باهم بررسی می‌کنیم:

• عملکرد وب‌سایت: یک وب‌سایت کند، بودجه‌ی کمتری نسبت به وب‌سایت‌های بهینه‌شده دریافت می‌کند؛

• سایز وب‌سایت: سایت‌های بزرگ‌تر crawl budget بیشتری دریافت می‌کنند؛

• مطالب تازه: گوگل به سایت‌هایی که مطالب خود را دائماً به‌روزرسانی می‌کنند، بودجه‌ی بیشتری اختصاص می‌دهد؛

• راه‌اندازی درست سرور و هاست: گوگل به پایداری سایت اهمیت ویژه‌ای می‌دهد. سایت‌هایی که مرتباً کراش می‌شوند کمتر توسط بات‌های گوگل خزش می‌شوند.

چگونه بودجه خزش سایتمان را به بهترین شیوه بهینه کنیم؟

اگر می‌خواهید سایت شما به‌درستی ایندکس گذاری شود و ربات‌های موتورهای جستجو، صفحات را براساس اولویت تعیین شده خزش کنند، باید بودجه‌ی خزش را بهینه کنید. در ادامه 7 مورد از مهم‌ترین کارهایی که می‌توانید برای بهینه‌سازی بودجه خزش انجام دهید، را معرفی می‌کنیم:

1. مدیریت فایل Robots.Txt: این فایل مشخص می‌کند که خزنده‌ها به کدام فایل یا صفحه در سایت شما می‌توانند دسترسی داشته باشند. شما به‌سادگی با تغییر این فایل می‌توانید صفحات کم‌اهمیت خود را از لیست خزش حذف کنید. این کار را هم می‌توانید به‌صورت دستی انجام دهید، هم به‌کمک ابزارهای آماده. پیشنهاد ما به شما استفاده از ابزار است؛ زیرا، به‌سادگی و با دقت تمام، صفحات کم اهمیت را می‌توانید در لیست داخل این فایل، بلوکه کنید.

2. تا حد امکان از html استفاده کنید: موتور جستجوی گوگل به‌عنوان اصلی‌ترین و بزرگ‌ترین موتور جستجو، در خزش javascript، flash و xml بسیار ارتقا پیدا کرده است و پیشنهاد می‌شود در طراحی سایت به کدهای html پایبند باشید تا برای هر نوع ربات خزش، سایت شما امکان crawling داشته باشد.

3. خطاهای http را به حداقل برسانید: به‌طور فنی می‌توان گفت ارورهای 404 و 410 بودجه خزش سایت را می‌خورند. علاوه‌بر این این خطاها به UX سایت نیز آسیب می‌زنند. برای بهینه‌سازی بودجه خزش، شما باید تا حد امکان کدهای وضعیت 4xx و 5xx را اصلاح کنید. برای این کار می‌توانید از ابزارهای نظارت سایت نظیر SE Ranking و Screaming Frog استفاده کنید.

4. مراقب پارامترهای URL خود باشید: باید بدانید که URL جداگانه برای ربات‌های خزنده، یک صفحه‌ی جدا محسوب می‌شوند؛ بنابراین، باید پارامترهای URL خود را به گوگل معرفی کرده تا در بود‌جه‌ی خزش صرفه‌جویی شود و همچنین محتوای تکراری نداشته باشید. برای این کار کافی آن‌ها را به حساب Google جستجو Console خود اضافه کنید.

5. نقشه سایت خود را به‌روزرسانی کنید: در فایل xml مربوط به نقشه‌ی سایت، لینک‌هایی را قرار دهید که می‌خواهید خزش شوند و درک درستی از نقشه‌ی سایت شما ارائه می‌دهند؛ البته، دقت کنید که با نسخه‌ی robot.txt نیز همخوانی داشته باشند.

6. لینک‌های داخلی ایجاد کنید: لینک‌سازی در بلندمدت بر بهینه‌سازی بودجه خزش سایت شما، تأثیر مثبتی خواهد گذاشت. در سایت‌های بزرگ استفاده از لینک‌سازی داخلی اجتناب‌ناپذیر است.

7. انجام تمامی این روش‌ها کار ساده‌ای نیست. اگر سایت شما کوچک باشد چندان نیاز نیست که درباره‌ی بودجه‌ی خزش دغدغه داشته باشید؛ ولی، برای سایت‌‌های بزرگ شما باید وقت بیشتری صرف بهینه‌سازی بودجه‌ی خزش کنید.

بدترین کارهایی که برای بهبود بودجه خزش انجام می‌دهند

عوامل زیادی وجود دارد که باعث افت بودجه خزش سایت می‌شوند. از جملهی این عوامل می‌توان به کارهای زیر اشاره کرد:

• ûفیلترگذاری روی محتوا (Faceted Navigation): اگر وب‌سایت دارای تعداد زیادی صفحات پویا باشد، وجود این فیلترها می‌تواند در دسترسی به آدرس‌ها ایجاد مشکل کند. اگر این مسئله برطرف شود، گوگل صفحات بیشتری را می‌تواند در سایت ما ایندکس گذاری کند. ساده‌ترین راهکار برای حل این مشکل استفاده از تگ nofollow است. این تگ باعث می‌شود که خزنده‌ها از دنبال کردن و جستجوی در محتوای این آدرس جدید پرهیز کنند.

• ûمحتوای تکراری: این محتوا ارزش جدیدی برای سایت و کاربران آن ندارد و صرفاً بودجه‌ی خزش را هدر می‌دهد.

• ûتفسیر: اگر گوگل نتواند به‌خوبی داده‌های سایت شمارا تفسیر (رندرینگ) کند، بنابراین، نمی‌تواند ساختار سایت را درک کند و ارزش سایت شما به‌درستی تشخیص داده نمی‌شود. این مسئله در تعیین نرخ خزش سایت، بسیار تأثیرگذار است.

• ûمحتوای بی‌کیفیت و هرزنامه: اگر گوگل ببیند که محتوای سایت شما کیفیت پایینی دارد یا شامل هرزنامه است، بودجه‌ی شمارا کاهش می‌دهد.

• ûفضای نامحدود (infinite space): این حالت زمانی اتفاق می‌‌افتد که ربات‌های خزنده درگیر تعداد زیادی لینک فاقد محتوای جدید شوند که ایندکس گذاری روی آن‌ها انجام نمی‌شود و تنها بودجه‌ی خزش یک سایت را هدر می‌دهند.

• ûزنجیره‌ی ریدایرکت: زنجیره‌ی ریدایرکت همان طور که از نامش پیداست، صفحاتی هستند که به‌صورت سلسه‌وار به صفحه‌ای دیگر ریدایرکت می‌شوند. اگرچه در سایت‌های بزرگ وجود چنین زنجیره‌هایی اجتناب‌ناپذیر است، برای بهینه‌سازی بودجه خزش تا جای ممکن باید از آن پرهیز کرد. این زنجیره‌ها باعث درگیر کردن ربات‌های خزش در یک سلسله آدرس‌ می‌شود که نتیجه‌ی آن صرفاً هدر دادن بودجه‌ خزش سایت است؛ زیرا، ممکن است یک ربات علی‌رغم تمام جستجوی خود در نهایت به صفحه‌ی مدنظر دسترسی پیدا نکند.

سخن پایانی

بودجه‌ی خزش مسئله‌ای است که اغلب افراد از بابت آن دغدغه دارند، اما، باید بگوییم این مسئله چندان نگران‌کننده نیست. گری آیلیس یکی از کارکنان گوگل در مقاله‌ای راجع به crawl budget تأکید کرده است که این مؤلفه تنها برای سایت‌های بزرگ محدودیت ایجاد می‌‌کند و سایت‌های کوچک نباید از این بابت نگرانی داشته باشند. با این وجود سایت‌هایی که تمرکز زیادی بر سئو دارند، باید حتماً بودجه‌ی خزش را در نظر داشته باشند و آن را بهینه‌سازی کنند. روش‌های مختلفی برای بهینه‌ کردن این مؤلفه وجود دارد؛ اما، برخی از این روش‌ها تله‌ای برای طراحان محسوب می‌شوند و ممکن است باعث خطا شود.

مثلاً دانستن این موضوع که اطلاعات جدید باعث افزایش نرخ خزش می‌شود، ممکن است وبمسترها را به خطا بیاندازد تا اطلاعات ارزشمند قبلی که سئو شده است را با اطلاعات جدیدی جایگزین کنند. این مسئله نتایج معکوسی به‌دنبال خواهد داشت. همین طور افراط در ساخت لینک‌های داخلی باعث بی‌نظمی ساختار سایت و کاهش بودجه خزش می‌شود؛ بنابراین، وبمستر و سئوکار سایت باید به‌دقت ساختار و عملکرد سایت را رصد کرده و تغییرات را پیگیری کنند تا از بروز چنین مشکلاتی در سایت جلوگیری شود. درنهایت باید بگوییم crawl budget یک فاکتور مهم برای بهبود سئوی سایت محسوب می‌شود و اگر شما نیز می‌خواهید به‌صورت اصولی و حساب شده رتبه‌ی گوگل خود را افزایش دهید، باید حتماً به آن توجه کنید.

:reference

yoast.com/crawl-budget-optimization