تا همین چند سال قبل، وقتی درباره دیدهشدن یک سایت در جستوجو صحبت میکردیم، بیشتر تمرکز روی گوگل و رفتار Googlebot بود. در این مطلب از سری مطالب وبلاگ پارس وی دی اس به تاثیر لینکهای JavaScript بر روبات های خزنده سئوی هوش مصنوعی میپردازیم.
اما حالا مسیر پیدا کردن اطلاعات در اینترنت تغییر کرده است. کاربران فقط عبارت خود را در گوگل جستوجو نمیکنند؛ بسیاری از آنها سوالاتشان را مستقیما از ابزارهای هوش مصنوعی میپرسند و این سرویسها برای پیدا کردن اطلاعات مورد نیاز، از خزندههای مختلف برای بررسی صفحات وب استفاده میکنند.
اینجا یک مسئله فنی مهم مطرح میشود: آیا خزندههای هوش مصنوعی میتوانند لینکهای سایت شما را ببینند و دنبال کنند؟ اگر لینکهای داخلی مهم سایت فقط بعد از اجرای JavaScript ساخته شوند، پاسخ همیشه مثبت نیست. ممکن است صفحه برای کاربر کاملا قابل مشاهده باشد، اما خزندهای که JavaScript را اجرا نمیکند، همان صفحه را بدون لینکهای مهم آن دریافت کند.
این موضوع به معنی بد بودن JavaScript یا حذف آن از سایت نیست. JavaScript بخش جداییناپذیر بسیاری از سایتهای امروزی است و گوگل نیز سالهاست توانایی رندر صفحات JavaScript را دارد. مسئله اصلی زمانی ایجاد میشود که JavaScript به تنها راه کشف صفحات مهم سایت تبدیل شود.
وقتی لینک برای کاربر وجود دارد اما برای روبات خزنده نه!
فرض کنید یک فروشگاه اینترنتی دارید و در صفحه یک دستهبندی، محصولات به صورت عادی به کاربر نمایش داده میشوند. کاربر روی هر محصول کلیک میکند و وارد صفحه آن میشود. از نگاه کاربر همه چیز طبیعی است. اما ممکن است لینک محصولات در HTML اولیه صفحه وجود نداشته باشند و بعد از اجرای JavaScript ساخته شوند. در چنین شرایطی مرورگر کاربر اسکریپت را اجرا میکند و لینکها را نمایش میدهد، ولی خزندهای که JavaScript را اجرا نمیکند، ممکن است فقط یک صفحه بدون لینکهای محصولات دریافت کند.
در نتیجه، مشکل این نیست که صفحه محصول وجود ندارد یا محتوای آن ضعیف است؛ مشکل این است که مسیر رسیدن به آن برای خزنده قابل مشاهده نیست. همین اتفاق میتواند در سایتهای محتوایی نیز رخ دهد. تصور کنید صفحه اصلی به دستهبندیها لینک دارد، دستهبندی به مقالات لینک میدهد و مقالات تخصصیتر در چند سطح پایینتر قرار گرفتهاند. اگر هر مرحله از این زنجیره فقط با JavaScript ایجاد شود، بخشی از ساختار سایت ممکن است برای بعضی خزندهها غیرقابل دسترسی شود.
چرا کدهای JavaScript برای جستوجوی هوش مصنوعی مهم هستند؟
موتورهای جستوجوی سنتی و سرویسهای هوش مصنوعی لزوما از یک روش برای پیدا کردن و پردازش صفحات استفاده نمیکنند. هر سرویس میتواند خزنده و زیرساخت متفاوتی داشته باشد و توانایی آن در اجرای JavaScript نیز ممکن است با دیگری فرق کند. بنابراین اگر یک سایت را فقط بر اساس این فرض طراحی کنیم که گوگل میتواند JavaScript را اجرا کند، بخشی از اکوسیستم جستوجوی امروز را نادیده گرفتهایم. این مسئله در جستوجوی هوش مصنوعی اهمیت بیشتری پیدا میکند؛ چون هدف فقط رتبه گرفتن یک URL در صفحه نتایج نیست. محتوای سایت باید بتواند توسط سیستمهایی که برای پاسخ دادن به سوال کاربران، منابع وب را پیدا و بررسی میکنند نیز کشف شود.
اگر یک مقاله، صفحه محصول یا صفحه خدمات از طریق لینکهای قابل مشاهده برای خزنده قابل دسترسی نباشد، احتمال اینکه یک سیستم بیرونی آن را پیدا و بررسی کند نیز کاهش پیدا میکند. به زبان ساده، محتوایی که پیدا نشود، شانس بسیار کمتری برای دیدهشدن دارد.
تفاوت لینک HTML با لینک JavaScript چیست؟
یک لینک استاندارد HTML معمولا به شکل سادهای در کد صفحه قرار میگیرد. خزنده هنگام دریافت HTML میتواند URL مقصد را شناسایی کند و آن را به عنوان یک مسیر جدید برای بررسی در نظر بگیرد.اما در یک ساختار وابسته به JavaScript، ممکن است URL مقصد در HTML اولیه وجود نداشته باشد و اسکریپت آن را بعدا ایجاد کند. در این حالت خزنده باید علاوه بر دریافت صفحه، بتواند JavaScript را نیز پردازش کند تا به لینک برسد.
این تفاوت شاید در یک سایت کوچک چندان مهم نباشد، اما در سایتهای بزرگ میتواند تاثیر قابل توجهی داشته باشد. هرچه تعداد صفحات و عمق ساختار سایت بیشتر باشد، وابستگی شدید به رندر JavaScript میتواند فرآیند کشف URLها را پیچیدهتر کند. به همین دلیل، برای لینکهایی که نقش اصلی در معماری سایت دارند، روش سادهتر معمولا انتخاب مطمئنتری است: لینک را به صورت واقعی در HTML قرار دهید و JavaScript را برای قابلیتهای تعاملی و تکمیلی استفاده کنید.
آیا استفاده از JavaScript به سئوی سایت آسیب میزند؟
خود JavaScript دشمن سئو نیست و استفاده از آن بهتنهایی باعث افت رتبه سایت در گوگل نمیشود. بسیاری از سایتهای امروزی برای نمایش محتوا، ایجاد فیلترها، منوهای تعاملی و امکانات مختلف از JavaScript استفاده میکنند و گوگل نیز توانایی پردازش و رندر بخش زیادی از این صفحات را دارد. بنابراین قرار نیست برای حفظ سئو، JavaScript را از سایت حذف کنید.
مشکل زمانی شروع میشود که محتوای مهم یا لینکهای اصلی سایت فقط بعد از اجرای JavaScript در دسترس قرار بگیرند. در چنین شرایطی، اگر خزنده نتواند اسکریپت را بهدرستی اجرا کند، ممکن است بخشی از محتوا یا حتی مسیر رسیدن به صفحات دیگر را نبیند. این موضوع بهخصوص در سایتهای بزرگ میتواند باعث شود بعضی صفحات دیرتر کشف شوند یا اصلا در مسیر خزش قرار نگیرند.
از طرف دیگر، نباید توانایی Googlebot را به همه خزندههای اینترنت و هوش مصنوعی تعمیم داد. ممکن است گوگل بتواند یک لینک ایجادشده با JavaScript را پیدا کند، اما یک خزنده دیگر چنین قابلیتی نداشته باشد. به همین دلیل، بهتر است ساختار اصلی سایت و لینکهای مهم آن بدون وابستگی کامل به JavaScript نیز قابل دسترسی باشند. در این حالت هم موتورهای جستوجو و هم خزندههای سرویسهای هوش مصنوعی مسیر سادهتری برای پیدا کردن صفحات سایت خواهند داشت.
کدام صفحات نباید فقط به لینکهای JavaScript وابسته باشند؟
هر صفحهای که برای کسبوکار شما اهمیت دارد باید مسیر مشخصی برای کشف شدن داشته باشد. این موضوع مخصوصا درباره صفحات زیر اهمیت دارد:
- صفحات اصلی خدمات
- دستهبندیهای مهم
- صفحات محصولات
- مقالات و محتوای آموزشی
- صفحات فرود کمپینها
- صفحات زیرمجموعه دستهبندیها
- صفحات مهمی که میخواهید در گوگل یا جستوجوی هوش مصنوعی دیده شوند
برای مثال، اگر یک فروشگاه اینترنتی صدها محصول دارد، نباید تنها راه رسیدن به محصولات استفاده از یک فیلتر JavaScript باشد. اگر یک سایت آموزشی مقالات تخصصی خود را فقط از طریق یک منوی کاملا پویا در دسترس قرار میدهد، بهتر است مسیرهای دیگری مانند لینکهای داخلی استاندارد و Sitemap نیز وجود داشته باشد.
برای سایتهای وردپرسی چه کاری انجام دهیم؟
اگر سایت شما وردپرسی است، لازم نیست به سراغ حذف JavaScript بروید. ابتدا باید ببینید قالب و افزونههای سایت دقیقا چگونه لینکها را تولید میکنند. یکی از سادهترین کارها این است که چند صفحه مهم سایت را باز کنید و کد HTML اولیه آنها را بررسی کنید. ببینید لینک صفحات مهم واقعا در HTML وجود دارد یا فقط بعد از اجرای JavaScript ظاهر میشود.همچنین ساختار لینکسازی داخلی را بررسی کنید. صفحهای که هیچ لینک داخلی استانداردی به آن وجود ندارد و فقط از طریق فیلترها، منوهای پویا یا اسکریپتهای سمت کاربر قابل دسترسی است، گزینه مناسبی برای بررسی فنی است.
استفاده درست از Sitemap نیز مهم است. Sitemap جایگزین لینکسازی داخلی نیست، اما میتواند یکی از مسیرهای معرفی URLها به موتورهای جستوجو باشد. در کنار آن، لینکسازی داخلی منطقی کمک میکند ارتباط میان صفحات برای خزندهها واضحتر شود.
چطور بفهمیم گوگل صفحه را میبیند؟
یکی از ابزارهای کاربردی برای این کار Google Search Console است. در بخش URL Inspection میتوانید یک URL مشخص را بررسی کنید و از قابلیت تست نسخه زنده صفحه برای مشاهده وضعیت خزش و رندر استفاده کنید. مستندات گوگل نیز این ابزار را برای بررسی اینکه Googlebot میتواند صفحه را بخزد و رندر کند، توصیه میکند.
اما برای بررسی جامعتر، بهتر است فقط به Search Console اکتفا نکنید. در سایتهای بزرگ میتوان لاگهای سرور را نیز بررسی کرد تا مشخص شود چه خزندههایی به چه URLهایی درخواست ارسال کردهاند. این اطلاعات به شما نشان میدهد چه صفحاتی واقعا توسط خزندهها درخواست شدهاند، هرچند به تنهایی اثبات نمیکند که صفحه حتما ایندکس شده است.
یک اشتباه رایج در طراحی سایت:
گاهی تیم طراحی سایت تلاش میکند همه چیز را با JavaScript پیادهسازی کند؛ منوی سایت، فیلتر محصولات، لیست مقالات، لینکهای مرتبط و حتی مسیرهای اصلی دسترسی به صفحات. از نگاه کاربر ممکن است تجربه کاربری بسیار خوبی ایجاد شود، اما از دید معماری اطلاعات، سایت بیش از حد به اجرای اسکریپت وابسته شده است.
راهکار بهتر این نیست که تمام JavaScript را حذف کنیم. باید بین تجربه کاربری و قابلیت خزش تعادل ایجاد کنیم. عناصر تعاملی میتوانند JavaScript داشته باشند، اما مسیرهای اصلی سایت بهتر است بدون وابستگی کامل به JavaScript نیز قابل تشخیص باشند. به عبارت دیگر، JavaScript باید به سایت قابلیت اضافه کند، نه اینکه تبدیل به تنها پل ارتباطی میان صفحات مهم سایت شود.
جمعبندی:
با گسترش جستوجوی هوش مصنوعی، مفهوم «قابل مشاهده بودن سایت» دیگر فقط به این محدود نمیشود که صفحه در مرورگر کاربر درست نمایش داده شود. یک صفحه باید برای خزندهها نیز قابل کشف و دسترسی باشد؛ مخصوصا صفحاتی که قرار است از طریق جستوجو برای شما بازدیدکننده و مشتری ایجاد کنند.
JavaScript همچنان ابزار مهمی برای ساخت سایتهای مدرن است و استفاده از آن به خودی خود مشکل سئویی محسوب نمیشود. اما اگر لینکهای داخلی مهم فقط بعد از اجرای JavaScript ایجاد شوند، ممکن است بعضی خزندهها نتوانند مسیر رسیدن به صفحات را پیدا کنند.
بهترین رویکرد این است که برای صفحات مهم سایت، لینکهای استاندارد HTML، ساختار داخلی منطقی و مسیرهای مشخص برای کشف URLها داشته باشید. این کار نهتنها معماری سایت را برای موتورهای جستوجو سادهتر میکند، بلکه با تغییر شیوه جستوجوی کاربران و افزایش نقش سیستمهای هوش مصنوعی، سایت شما را برای آینده وب آمادهتر خواهد کرد.
