بودجه خزش؛ جرقه ای کوچک در ایندکس صفحات (قسمت دوم)

هفته گذشته به اهمیت بودجه خزش اشاره کردیم. در ادامه آدینه با فرتک قبل قصد داریم به اشتباهات جبران ناپذیر در رابطه با بودجه خزش و نحوه افزایش نرخ خزش اشاره کنیم. همراه ما باشید.

اشتباهات جبران ناپذیر در بهینه سازی بودجه خزش

بهینه سازی بودجه خزش در واقع به این معنی است که از هدر رفتن بودجه خزش وب سایت خود جلوگیری کنیم. در واقع باید اطمینان حاصل کنیم که هر خزش که توسط الگوریتم های گوگل انجام می شود، با هدف مهمی (مثل ایندکس یک صفحه لندینگ مهم) صورت می گیرد. طبق بررسی ها سایت های زیادی از این مشکل رنج می برند.  این مشکلات در عین سادگی بسیار مهم هستند و سایت را با کمبود بودجه روبرو می کند.

تلف شدن بودجه خزش چه دلایلی دارد؟

• وجود پارامترهای فیلتر محصولات در URL

آدرس بعضی از صفحات فروشگاهی ممکن است همراه با برخی از پارامتر ها ایندکس شود. منظور از این پارامتر ها همان فیلتر هایی است که کاربر در فروشگاه های اینترنتی از آن استفاده می کند. به آدرس زیر توجه کنید:

 https://www.example.com/toys/cars?color=white

همانطور که مشاهده می کنید وجود برخی از پارامتر ها موجب خواهد شد گوگل بودجه اضافه ای برای ایندکس این صفحات صرف کند. بنابراین دقت کنید که این پارامتر ها قابل دسترسی و کراول نباشند.

• محتوای تکراری Duplicate

منظور از محتوای تکراری صفحاتی است که محتوای آن ها کاملا مشابه یا خیلی شبیه به هم است. این صفحات را  Duplicateمی نامند. رایج ترین محتوا های تکراری به شرح زیر هستند:

• محتوای کپی شده
• صفحات با عنوان های یکسان
• صفحات برچسب تکراری

صفحاتی که شامل محتوای کپی باشند، از اولویت ایندکس برخوردار نخواهند بود. از طرفی صرف بودجه برای ایندکس آن ها منطقی نیست.

• محتوای بی کیفیت

در صورتی که صفحه ای در وب سایت شما محتوای کم ارزشی داشت یا دارای محتوای کمی بود، حتی الامکان آن را در سایت قرار ندهید. در صورتی که مجبور به قرار دادن آن ها بودید، برای گوگل قابل دسترس باشند. این صفحات علاوه بر اتمام بودجه سایت شما، هیچ ارزشی به وب سایتتان اضافه نخواهند کرد.

• لینک های شکسته یا ریدایرکت شده

شاید بهترین نامی که می توان روی لینک های شکسته یا ریدایرکت شده گذاشت، زنجیره ای بی نهایت از لینک هاست. این زنجیره بی نهایت موجب سردرگمی ربات های گوگل خواهد شد. هر چه تعداد این لینک ها بیشتر باشد، سردرگمی بیشتر و در نتیجه بودجه بیشتری به هدر خواهد رفت. در صورت امکان از این لینک ها استفاده نکنید یا طبق اصول و به شکلی درستی از آن ها بهره ببرید.

• URL های اشتباه در سایت مپ سایت

مهم ترین کروکی دسترسی برای ربات های گوگل نقشه سایت یا همان سایت مپ است. در صورتی که سایت مپ شما از صفحات Broken یا Redirected پر شده است، بنابراین باید بپذیرید که گوگل آن ها را به اشتباه کراول خواهد کرد. بنابراین تا آن جایی که ممکن است ریدایرکت های ۳xx،  ۴xx یا ۵xx  را در نقشه xml سایت قرار ندهید. از طرفی نقشه وب سایت خود را به طور پیوسته چک کنید تا از موارد زیر اطمینان حاصل کنید:

• عدم وجود صفحات بی ارزش و کم اهمیت در نقشه سایت
• حضور صفحات هدف در آن

برای URL های اشتباه برنامه ویژه ای داشته باشید.

• صفحاتی با سرعت لود پایین

در صورتی که صفحه ای دارای سرعت لود پایینی باشد یا اصلا لود نشود، اثر مخربی بر روی Crawl Budget سایت شما خواهد گذاشت. این اتفاق موجب خواهد شد یک سیگنال به گوگل ارسال شود. محتوای این سیگنال به گوگل این موضوع را منتقل خواهد کرد که سرورهای سایت نمیتوانند درخواست ربات های هوشمند گوگل را به خوبی انجام دهند. این موضوع موجب خواهد شد نرخ خزش کاهش پیدا کند تا درخواست ها به درستی صورت بگیرند.

• تعداد زیادی صفحات غیر قابل ایندکس

در صورتی که سایت شما تعداد زیادی صفحه ایندکس نشده دارد، در واقع شما عملا گوگل را سرگرم ایندکس کردن آن ها خواهید کرد. باید توجه داشته باشید که برخی از صفحات سایت غیر قابل ایندکس نیست.

• ساختار لینک سازی غیر اصولی

در صورتی که ساختار کلی لینک سازی داخلی وب سایت شما غیر استاندارد باشد، احتمالا گوگل به نحو صحیح متوجه بخش های مختلف وب سایت شما نخواهد شد و میزان توجه به بخش های مختلف متفاوت خواهد بود. برای درک بیشتر موضوع به مثال زیر توجه کنید.

فرض کنید ۱۰ لینک به صفحه پرسش و پاسخ و ۵ لینک به صفحه دسته بندی محصولات داده اید. قاعدتا صفحه پرسش و پاسخ شما از اهمیت بیشتری برخوردار است و گوگل باید بیشتر به آن توجه کند. از نظر ما این کار اشتباه محض است! چرا که صفحه دسته بندی محصولات اهمیت بیشتری نسبت به صفحه پرسش و پاسخ دارد. برای درک بیشتر موضوع در رابطه با موضوع سئو کلاه سفید اطلاعات کسب کنید.

۴ سوال مهم در زمینه نرخ خزش وب سایت

در پایان این مقاله قصد داریم به ۴ سوال مهم پاسخ دهیم. البته جواب بعضی از این سوالات در محتوای مقاله موجود است، اما برای جمع بندی قصد داریم به صورت مختصر و مفید به بررسی این ۴ سوال بپردازیم:

۱- چگونه نرخ خزش سایت را افزایش دهیم؟

خوشبختانه گوگل به طور واضح اعلام کرده است که بودجه خزش ارتباط مستقیمی با اعتبار صفحه Page Authority دارد. در واقع هر چه یک صفحه اعتبار بیشتری داشته باشد، گوگل بودجه بیشتری برای کراول در اختیار آن وب سایت خواهد گذاشت. بنابراین برای اینکه بودجه خزش خود را افزایش دهید، به افزایش اعتبار صفحه یا دامنه خود فکر کنید و برای آن برنامه ویژه ای داشته باشید.

۲- آیا سرعت سایت و تعداد ارور ها تاثیری بر Crawl Budget دارد؟

به عقیده گوگل اگر سایتی از سرعت مناسبی برخوردار باشد، سرور های سالمی دارد. از طرفی سالم بودن سرور ها نشانه بیشتر بودن نرخ خزش است. با توجه به رابطه مستقیم این دو موضوع با یک دیگر، در صورتی که درخواست به سمت سرور دارای خطا های زیادی باشد، نرخ خزش پایین خواهد آمد.

۳- تاثیر نرخ خزش بر سئو چیست؟

در صورتی که نرخ خزش وب سایت شما بالا باشد، حتما جایگاه بالایی در صفحه نتایج گوگل نخواهید داشت. در واقع این دو با یک دیگر ارتباطی ندارند. از نظر گوگل ۲۰۰ فاکتور برای سئو وجود دارد که برای ارزیابی کیفیت وب سایت ها از این ۲۰۰ فاکتور استفاده می شود. نرخ کراول برای کسب جایگاه ضروری است اما جز فاکتور های سئو نیست.

۴- آیا میتوان برای خزش بهتر از تگ کنونیکال استفاده کرد؟

بین خزش و ایندکس تفاوت وجود دارد. از طرفی تگ کنونیکال سیگنال ایندکس نکردن صفحه را به ربات های گوگل منتقل خواهد کرد. البته باید توجه کنید که از نظر گوگل این مسئله نیازمند خزش است. بنابراین تگ کنونیکال در میزان خزش تاثیری ندارد.

سخن پایانی

شما چه تجربه ای از نرخ خزش دارید؟ تا به امروز Crawl Budget مشکلی برای شما به وجود آورده است؟ این مشکل را چگونه حل کردید. منتظر نظرت ارزشمند شما هستیم.