بودجه خزش؛ جرقه ای کوچک در ایندکس صفحات

تا به حال در رابطه با بودجه خزش (Crawl Budget) چیزی شنیده اید؟ به صورت کوتاه بگویم که در صورت جدی نگرفتن این موضوع، سایت شما در معرض خطر جدی ایندکس نشدن است. در آدینه با فرتک امروز به بررسی جزئیات این موضوع خواهیم پرداخت. با ما همراه باشید.

اشتباهات جبران ناپذیر در بودجه خزش

تا حالا برای شما اتفاق افتاده که محتوای جدیدی در سایت خود قرار داده باشید، اما بعد از چند هفته متوجه شوید که این تغییرات هنوز توسط گوگل ایندکس نشده است؟ اینجا مبحث بودجه خزش مطرح می شود. این بودجه ارتباط نزدیکی با ریدایرکت ها و صفحات ۴۰۴ دارد.

مفهوم Crawl Budget در سئو چیست؟

تعداد صفحاتی که ربات‌های گوگل در یک بازه زمانی مشخص، در سایت شما ایندکس می‌کنند. معمولاً این بودجه بر اساس بزرگی و تعداد لینک‌های ورودی به آن مشخص می‌شود. در واقع این بودجه میزان قابل توجهی دارد که توسط خزنده های گوگل به سایت شما اعطا می‌شود. بدیهی است هر چه این بودجه بیشتر باشد، صفحات بیشتری از سایت شما توسط ربات‌های گوگل بررسی و ایندکس خواهد شد. بدون شک الان به این فکر می‌کنید که چگونه می‌توان بودجه خزش را افزایش داد و توجه گوگل را جلب کرد؟ باید در پاسخ بگوییم که ابتدا عجله نکنید. بهینه سازی نرخ خزش موضوع بسیار مهمی است. بنابراین برای درست انجام دادن آن باید ابتدا با نحوه کار Crawl Budget آشنا شوید.

دلیل در نظر گرفتن نرخ کراول از طرف موتورهای جستجو برای وب سایت‌ها چیست؟

گوگل ماموریتی سخت اما ارزشمند دارد. برای انجام موفقیت‌آمیز این ماموریت، چاره ای جز امتیاز دادن به وب سایت‌ها ندارد. اولین اقدام برای نمره دهی چیست؟  بدیهی است که خزش  (وارد شدن به سایت‌ها از طرف گوگل) اولین اقدام است.

نرخ خزش یا CRAWL BUDGET چیست؟

گوگل برای اجرای عدالت مجبور است بودجه ای برای خزش در نظر بگیرد، تا ضمن اولویت بندی، فضای عادلانه تری برای رقابت وب سایت‌های مختلف شکل گیرد.

گوگل در رابطه با بودجه خزش چه نظری دارد؟

گوگل ابتدا نگرانی صاحبان وب‌سایت‌ ها را درک کرده و گفته اصلاً نگران این موضوع نباشند. در واقع طبق گفته گوگل، در صورتی که محتوا بلافاصله بعد از انتشار ایندکس شود، هیچ جای نگرانی در رابطه با نرخ خزش وجود نخواهد داشت. همچنین در صورتی که وب‌سایت شما دارای چند صد صفحه باشد، ایندکس شدن تمام این صفحات امری بدیهی و روتین است. گوگل در ادامه مدیران وب‌سایت ها را به تغییر دیدگاه توصیه می‌کند. در واقع از نظر گوگل، دغدغه صاحبان وب سایت ها باید “ایندکس چه صفحه ای؟ در چه زمانی؟” باشد.

چگونه بودجه سایت‌ها تعیین می‌شود؟

موتور جستجوی گوگل با استفاده از دو فاکتور زیر، بودجه هر وب سایت را مشخص می کند:

•  Crawl Limit
• Crawl Demand

سرور وب سایت ها، چه تعداد خزش را می تواند تحمل کند؟ (Crawl limit / host load)

یک خزش یا ایندکس صفحه توسط گوگل، یک درخواست به سمت سرور خواهد فرستاد. این درخواست مبنی بر دسترسی به منابع وب سایت است. بدیهی است در صورتی که تعداد درخواست ها بیش از حد باشد، منابع سرور وب سایت قادر نخواهند بود به این درخواست ها پاسخ دهند و در نتیجه وب سایت شما از کار می افتد و به عبارتی down خواهد شد. حال به نظر شما گوگل از چه طریقی متوجه می شود که ظرفیت خزش سایت شما چه میزان است؟ برای مطلع شدن گوگل از این موضوع دو راه وجود دارد:

نشانه های وجود خطا در سرور: در صورتی که ربات های گوگل درخواستی به سرور وب سایت شما برای خزش ارسال کنند و این درخواست چندین بار با خطا روبه رو شود.

تعداد سایت های فعال در هاست: یک فاکتور مهم استفاده از هاست اشتراکی یا سرور است. بنابراین در صورتی که شما از هاست اشتراکی استفاده می کنید و سایت شما محتوای زیادی دارد، این احتمال وجود دارد که نرخ کراول شما دارای محدودیت های زیادی باشد. پیشنهاد می شود در صورتی که این مشکل را دارید، از سرور اختصاصی استفاده کنید. در این صورت نرخ خزش شما افزایش خواهد یافت و سرعت لود صفحات نیز بهبود قابل توجهی خواهد داشت.

کدام صفحه از وب سایت شما ارزش کراول شدن یا کراول مجدد را خواهد داشت؟ (Crawl demand / crawl scheduling)

برای اینکه متوجه شویم کدام یک از صفحات وب سایت ما ارزش یک بار کراول شدن دارند یا  برای بار دوم این ارزش را دارند، باید به فاکتور های زیر توجه کنیم:

• محبوبیت صفحه

تعداد لینک های داخلی و خارجی با کیفیت به این صفحه چه تعداد است؟ این صفحه در چه کلمات کلیدی و چه تعداد جایگاه دارد؟ (جایگاه در نتیجه جستجوی گوگل)

• محتوای همیشه سبز یا محتوای به روز

محتوای این صفحه هر چند وقت یک بار به روز می شود.

• نوع صفحه

صفحه دسته بندی با صفحه شرایط و ضوابط چه تفاوتی دارد؟ در صورتی که محتوای این دو تغییر کند، این تغییرات در کدام صفحه بیشتر مشهود خواهد بود؟

چرا Crawl Budget اهمیت زیادی دارد؟

احتمالا تا به حال شما نیز این تجربه را داشته اید که بخشی از محتوای وب سایت خود را به روز می کنید، اما این تغییرات حتی بعد از چند هفته ایندکس نشده اند. حتی ممکن است این تغییرات هیچ گاه ایندکس نشوند و چشم گوگل به روی این تغییرات روشن نشود. حال به نظر شما مشکل کجاست؟ احتمال زیاد این موضوع با نرخ خزش وب سایت شما ارتباط مستقیمی دارد. بنابراین دو حالت قبلی را بررسی کنید.

نتیجه بهترین بودجه خزش

در صورتی که شما بهترین بودجه خزش را داشته باشید، قاعدتا با اضافه کردن یک صفحه به وب سایت خود، توقع خواهید داشت گوگل آن را به طور هوشمندانه و خیلی سریع ایندکس کند. همچنین شما انتظار دارید ایندکس شدن این صفحه، بدون درخواست fetch اتفاق افتد. از طرفی هر چه سریع تر صفحه مورد نظر شما ایندکس شود، بدون شک شما زودتر قادر خواهید بود از محتوای صفحات تازه اضافه شده به سایت استفاده کنید.

نتیجه بدترین بودجه خزش

همچنین در صورتی که شما بدترین بودجه برای خزش را داشته باشید، شما در حال هدر دادن نرخ کراول وب سایت خود خواهید بود. بدیهی است که ربات های گوگل در این حالت قادر به ایندکس صفحات وب سایت شما به صورت موثر نخواهند بود.  برای مثال ممکن است توجه ربات های گوگل بر روی صفحاتی باشد که اهمیتی برای شما ندارند. از طرفی این موضوع باعث خواهد شد، برخی از صفحات هدف شما توسط گوگل شناخته نشوند. شناخته نشدن صفحات باعث خواهد شد که این موارد ایندکس نشوند. همچنین دریافت ترافیک ارگانیگ با استفاده از نتایج گوگل موضوعی غیر ممکن برای شما خواهد شد. در نهایت این سناریو منجر به خاموشی تمام وب سایت شما خواهد شد. در هفته های آینده با معرفی چند روش از این سناریوی فاجعه آفرین جلوگیری خواهیم کرد.

پیشنهاد ما به شما: ۵ نکته کاربردی سئو برای افزایش رتبه سایت