گاهی اوقات ممکن است صفحات یک وب‌سایت بدون هیچ تغییر ظاهری یا خطای مشخصی، به‌تدریج از نتایج جست‌وجوی گوگل حذف شوند. در این مطلب از سری مطالب وبلاگ پارس وی دی اس به چگونه صفحه Are You a Bot می‌تواند باعث حذف صفحات سایت از نتایج گوگل شود؟ می‌پردازیم.
مدیر سایت همه‌چیز را بررسی می‌کند، صفحات برای کاربران به‌درستی باز می‌شوند و نشانه‌ای از خرابی وجود ندارد؛ اما گوگل محتوای اصلی صفحات را نمایش نمی‌دهد یا آن‌ها را به‌عنوان نسخه تکراری یک صفحه دیگر در نظر می‌گیرد.
یکی از علت‌های احتمالی این مشکل، سیستم‌های امنیتی سایت است که برای شناسایی ربات‌ها از صفحه‌هایی با پیام‌هایی مانند «Are you a bot» یا «آیا ربات هستید؟» استفاده می‌کنند. این سیستم‌ها با هدف جلوگیری از ورود ربات‌های مخرب طراحی شده‌اند، اما اگر به‌درستی تنظیم نشده باشند، ممکن است به‌جای محتوای اصلی سایت، همین صفحه امنیتی را به گوگل نشان دهند.
جان مولر، از متخصصان گوگل، در یکی از قسمت‌های پادکست Search Off the Record توضیح داده است که چنین شرایطی می‌تواند بر ایندکس شدن صفحات و انتخاب نسخه اصلی محتوا توسط گوگل تأثیر بگذارد. در این مقاله بررسی می‌کنیم این مشکل چگونه به وجود می‌آید، چرا تشخیص آن دشوار است و برای برطرف کردن آن چه اقداماتی می‌توان انجام داد.
صفحه Are You a Bot چیست و چرا مشکل ایجاد می‌کند؟
بسیاری از وب‌سایت‌ها برای محافظت از اطلاعات و جلوگیری از حملات خودکار، از ابزارهای امنیتی استفاده می‌کنند. این ابزارها رفتار بازدیدکنندگان را بررسی می‌کنند تا بتوانند کاربران واقعی را از ربات‌های مخرب تشخیص دهند. برای مثال، اگر تعداد درخواست‌ها از یک آدرس اینترنتی غیرعادی باشد یا رفتار یک بازدیدکننده مشکوک به نظر برسد، سیستم امنیتی ممکن است از او بخواهد یک آزمون امنیتی را تکمیل کند. این آزمون می‌تواند شامل انتخاب تصاویر، وارد کردن کد یا تأیید این موضوع باشد که بازدیدکننده انسان است.
نمایش چنین صفحه‌ای برای یک بازدیدکننده مشکوک لزوما مشکل‌ساز نیست. مسئله زمانی به وجود می‌آید که سیستم امنیتی، ربات گوگل را نیز مشکوک تشخیص دهد و به‌جای محتوای اصلی صفحه، پیام تأیید هویت را به آن نمایش دهد. در این شرایط، گوگل ممکن است نتواند محتوایی را که برای کاربران عادی قابل مشاهده است، به‌درستی دریافت و بررسی کند. اگر این اتفاق در فرایند خزش و ایندکس شدن صفحات رخ دهد، احتمال دارد صفحه امنیتی به‌جای محتوای اصلی وارد فهرست گوگل شود یا صفحه اصلی سایت با مشکل ایندکس شدن مواجه شود.
چگونه یک صفحه امنیتی باعث حذف صفحه اصلی از گوگل می‌شود؟
برای درک بهتر این موضوع، باید بدانیم گوگل هنگام بررسی صفحات فقط به آدرس آن‌ها توجه نمی‌کند؛ بلکه محتوای دریافت‌شده را نیز بررسی می‌کند تا بتواند موضوع صفحه را تشخیص دهد و نسخه اصلی آن را انتخاب کند. فرض کنید صفحه‌ای در سایت شما درباره آموزش سئو منتشر شده است. کاربران با ورود به آدرس این صفحه، مقاله را مشاهده می‌کنند؛ اما سیستم امنیتی سایت هنگام مراجعه ربات گوگل، صفحه‌ای با پیام آیا ربات هستید؟ نمایش می‌دهد.
در نتیجه، گوگل به‌جای مقاله آموزشی، محتوای صفحه امنیتی را دریافت می‌کند. اگر این اتفاق تکرار شود، ممکن است موتور جست‌وجو نتواند محتوای واقعی صفحه را به‌درستی شناسایی کند. مشکل زمانی پیچیده‌تر می‌شود که صفحه‌های امنیتی مشابه در وب‌سایت‌های مختلف وجود داشته باشند. برای مثال، چند سایت ممکن است از یک سرویس امنیتی استفاده کنند و صفحه‌های تأیید هویت بسیار مشابهی به ربات‌ها نشان دهند.
گوگل ممکن است این صفحه‌ها را محتوای تکراری یا مشابه تشخیص دهد و یکی از آن‌ها را به‌عنوان نسخه اصلی یا کانونیکال (Canonical) انتخاب کند. در چنین شرایطی، امکان دارد صفحه‌ای از یک وب‌سایت دیگر به‌عنوان نسخه اصلی انتخاب شود و صفحه سایت شما به‌عنوان نسخه تکراری در نظر گرفته شود. البته این نتیجه در همه موارد رخ نمی‌دهد؛ اما نشان می‌دهد که ارائه محتوای اشتباه به ربات گوگل می‌تواند فراتر از یک مشکل ساده در نمایش صفحه باشد و بر وضعیت ایندکس شدن آن تأثیر بگذارد.
چرا ممکن است متوجه این مشکل نشوید؟
یکی از مهم‌ترین ویژگی‌های این مشکل آن است که ممکن است هنگام بررسی معمولی سایت، هیچ نشانه‌ای از آن مشاهده نکنید. فرض کنید مدیر سایت هستید و صفحه موردنظر را با مرورگر خود باز می‌کنید. مقاله بدون مشکل نمایش داده می‌شود، تصاویر بارگذاری می‌شوند و لینک‌ها نیز به‌درستی کار می‌کنند. طبیعی است که تصور کنید صفحه از نظر فنی سالم است.
اما سیستم امنیتی سایت ممکن است رفتار ربات گوگل را متفاوت از رفتار مرورگر شما ارزیابی کند. در نتیجه، محتوایی که گوگل دریافت می‌کند با محتوایی که شما می‌بینید یکسان نیست. این تفاوت می‌تواند به تنظیمات سیستم امنیتی سرور، شبکه توزیع محتوا (CDN) یا سرویس‌های محافظت در برابر ربات‌ها مربوط باشد. بنابراین، بررسی صفحه فقط با مرورگر شخصی برای اطمینان از سلامت آن کافی نیست.
از طرف دیگر، چون درخواست گوگل ممکن است با موفقیت به سرور برسد و یک پاسخ معتبر دریافت کند، لزوما خطای واضحی مانند خطای 404 یا خطای سرور 500 رخ نمی‌دهد. مشکل اصلی این است که سرور محتوای اشتباهی را تحویل می‌دهد، نه اینکه حتما در دسترسی به صفحه شکست خورده باشد.
چگونه بفهمیم گوگل محتوای اشتباهی از سایت دریافت می‌کند؟
برای تشخیص این مشکل، بهتر است از ابزارهای گوگل و بررسی فنی سایت به‌صورت هم‌زمان استفاده کنید.
۱. گزارش ایندکس شدن صفحات در Google Search Console را بررسی کنید
ابزار Google Search Console یکی از مهم‌ترین منابع برای بررسی وضعیت صفحات سایت در گوگل است. در بخش Page indexing می‌توانید وضعیت ایندکس شدن صفحات را بررسی کنید و ببینید آیا برخی از آن‌ها به‌عنوان نسخه تکراری شناسایی شده‌اند یا خیر. اگر صفحه‌ای که باید در گوگل نمایش داده شود، به‌عنوان نسخه تکراری یا صفحه‌ای با کانونیکال متفاوت گزارش شده است، لازم است علت آن را بررسی کنید. البته مشاهده وضعیت Duplicate به‌تنهایی ثابت نمی‌کند که مشکل از صفحه امنیتی است. این وضعیت می‌تواند دلایل دیگری نیز داشته باشد؛ بنابراین، باید اطلاعات بیشتری جمع‌آوری کنید.
۲. از ابزار URL Inspection استفاده کنید
ابزار URL Inspection در سرچ کنسول به شما کمک می‌کند وضعیت یک آدرس مشخص را بررسی کنید. آدرس صفحه موردنظر را وارد کنید و اطلاعات مربوط به وضعیت ایندکس شدن آن را ببینید. یکی از بخش‌های مهم این ابزار، آدرس کانونیکالی است که گوگل انتخاب کرده است.
در این بررسی باید میان دو مفهوم تفاوت قائل شوید:
- Canonical اعلام‌شده توسط سایت: آدرسی که خود سایت به‌عنوان نسخه اصلی معرفی کرده است.
- Canonical انتخاب‌شده توسط گوگل: آدرسی که گوگل پس از بررسی صفحات، آن را نسخه اصلی تشخیص داده است.
اگر گوگل آدرس دیگری را به‌عنوان نسخه اصلی انتخاب کرده، باید بررسی کنید چرا محتوای صفحه شما به‌عنوان نسخه مستقل شناخته نشده است. در صورت امکان، از قابلیت مشاهده نسخه بررسی‌شده توسط گوگل نیز استفاده کنید تا مشخص شود ربات چه محتوایی را دریافت کرده است. اگر به‌جای مقاله، پیام تأیید هویت نمایش داده می‌شود، احتمال وجود مشکل در سیستم امنیتی مطرح خواهد شد.
۳. تنظیمات CDN و ابزارهای امنیتی را بررسی کنید
اگر از سرویس CDN، فایروال برنامه وب (WAF) یا ابزارهای ضدربات استفاده می‌کنید، تنظیمات آن‌ها را بررسی کنید. گاهی این سرویس‌ها به‌صورت خودکار درخواست‌هایی را که مشکوک تشخیص می‌دهند، محدود می‌کنند یا به صفحه تأیید هویت هدایت می‌کنند. در چنین شرایطی، ممکن است مشکل از خود محتوای سایت نباشد و تنظیمات لایه امنیتی باعث نمایش صفحه اشتباه شده باشد.
بهتر است گزارش‌های امنیتی و لاگ‌های سرور را نیز بررسی کنید تا مشخص شود هنگام درخواست صفحات توسط Googlebot چه پاسخی ارسال شده است. تشخیص هویت ربات گوگل باید به‌صورت معتبر انجام شود؛ صرفا اعتماد کردن به نام یا هدر User-Agent برای تشخیص ربات واقعی کافی نیست.
برای رفع مشکل چه اقداماتی انجام دهیم؟
اگر مشخص شد سیستم امنیتی سایت به‌جای محتوای اصلی، صفحه تأیید هویت را به گوگل نشان می‌دهد، ابتدا باید علت این رفتار را برطرف کنید.
۱. تنظیمات ضدربات را اصلاح کنید.
بررسی کنید کدام قانون امنیتی باعث نمایش صفحه تأیید هویت برای درخواست‌های گوگل شده است. اگر ربات معتبر گوگل به‌اشتباه مسدود می‌شود، باید تنظیمات مربوط به آن را با رعایت اصول امنیتی اصلاح کنید. غیرفعال کردن کامل سیستم امنیتی بدون بررسی دقیق، راهکار مناسبی نیست.
۲. مطمئن شوید محتوای اصلی به گوگل ارائه می‌شود.
پس از اصلاح تنظیمات، بررسی کنید درخواست‌های معتبر Googlebot محتوای اصلی صفحه را دریافت می‌کنند. این موضوع را فقط بر اساس نمایش صفحه در مرورگر خود ارزیابی نکنید؛ پاسخ سرور و گزارش‌های مربوط به خزش نیز اهمیت دارند.
۳. وضعیت کانونیکال را بررسی کنید.
اگر گوگل نسخه دیگری از صفحه را به‌عنوان کانونیکال انتخاب کرده است، تگ کانونیکال، شباهت محتوایی صفحات، ریدایرکت‌ها و وضعیت پاسخ سرور را بررسی کنید. پس از رفع مشکل امنیتی، مطمئن شوید صفحه موردنظر به‌درستی نسخه اصلی خود را معرفی می‌کند.
۴. درخواست بررسی مجدد صفحه را ثبت کنید.
پس از اصلاح مشکل، از ابزار URL Inspection در Google Search Console برای بررسی مجدد صفحه استفاده کنید و در صورت امکان درخواست ایندکس شدن مجدد بدهید. توجه داشته باشید که این درخواست به معنای ایندکس شدن فوری صفحه نیست؛ گوگل باید دوباره صفحه را بخزد و درباره وضعیت آن تصمیم بگیرد.
جمع‌بندی
صفحه‌های امنیتی مانند «Are You a Bot» برای محافظت از وب‌سایت‌ها در برابر ربات‌های مخرب طراحی شده‌اند؛ اما اگر تنظیمات آن‌ها به‌درستی انجام نشود، ممکن است ربات گوگل به‌جای محتوای اصلی سایت، صفحه تأیید هویت را دریافت کند.
این اتفاق می‌تواند تشخیص موضوع صفحه، ایندکس شدن و انتخاب نسخه کانونیکال را تحت تأثیر قرار دهد. نکته مهم این است که ممکن است سایت برای کاربران عادی کاملا سالم به نظر برسد، در حالی که گوگل محتوای متفاوتی دریافت می‌کند.
برای پیشگیری از این مشکل، گزارش‌های Google Search Console را به‌طور منظم بررسی کنید، در صورت مشاهده وضعیت غیرعادی از ابزار URL Inspection کمک بگیرید و تنظیمات CDN و سیستم‌های امنیتی را نیز در نظر داشته باشید. در سئو فنی، فقط باز شدن صفحه در مرورگر کافی نیست؛ باید مطمئن شوید گوگل نیز محتوای درست و موردنظر شما را دریافت می‌کند.
