وقتی یک سایت با وجود محتوای باکیفیت و تلاش مداوم برای سئو، بازدید و جایگاه مناسبی در گوگل به دست نمی‌آورد، یکی از بخش‌هایی که باید بررسی شود ساختار فنی سایت است. در این مطلب از سری مطالب وبلاگ پارس وی دی اس به مشکلات رایج در سئوی تکنیکال که دیده‌شدن سایت را کاهش می‌دهند می‌پردازیم.
بسیاری از مشکلات سئو در ظاهر صفحات قابل تشخیص نیستند و ممکن است سایت برای کاربران کاملا عادی به نظر برسد، اما موتورهای جستجو در پیدا کردن، خزش یا ایندکس بعضی از صفحات با مشکل مواجه باشند.
سئوی تکنیکال Technical SEO دقیقا به همین بخش از سئو مربوط می‌شود؛ یعنی عواملی که به موتورهای جستجو کمک می‌کنند ساختار سایت، صفحات، لینک‌ها و محتوای آن را بهتر درک کنند. یک تنظیم اشتباه در robots.txt، استفاده نادرست از noindex، ریدایرکت‌های نامناسب، صفحات تکراری یا حتی لینک‌دهی داخلی ضعیف می‌تواند باعث شود بخشی از ارزش صفحات سایت به‌درستی به گوگل منتقل نشود. به همین دلیل، شناخت مشکلات فنی و بررسی منظم آن‌ها می‌تواند نقش مهمی در حفظ و بهبود دیده‌شدن سایت در نتایج جستجو داشته باشد.
ربات‌های گوگل چگونه سایت را بررسی می‌کنند؟
برای درک سئوی تکنیکال Technical SEO ابتدا باید با مفهوم Crawl آشنا شویم. موتورهای جستجو از ربات‌هایی مانند Googlebot برای پیدا کردن و بررسی صفحات استفاده می‌کنند. این ربات‌ها از طریق لینک‌ها، Sitemap و مسیرهای مختلف به صفحات سایت می‌رسند و محتوای آن‌ها را پردازش می‌کنند.
گوگل برای هر سایت منابع مشخصی را صرف فرایند Crawl می‌کند. به این منابع معمولا Crawl Budget گفته می‌شود. مدیریت Crawl Budget برای همه سایت‌ها به یک اندازه مهم نیست، اما در سایت‌های بزرگ، فروشگاهی یا سایت‌هایی که تعداد زیادی URL تولید می‌کنند، وجود هزاران صفحه غیرضروری، URLهای پارامتری و صفحات تکراری می‌تواند فرایند بررسی سایت را ناکارآمد کند. گوگل نیز توصیه می‌کند URLهای غیرضروری، محتوای تکراری و صفحات کم‌ارزش مدیریت شوند تا منابع Crawl بیشتر صرف صفحات مهم شود.
برای مثال تصور کنید یک فروشگاه اینترنتی به‌جای چند صد صفحه اصلی، هزاران URL به دلیل فیلتر قیمت، رنگ، برند، مرتب‌سازی و پارامترهای مختلف ایجاد کرده باشد. اگر این صفحات ارزش جستجویی نداشته باشند، ساختار سایت می‌تواند بیش از حد پیچیده شود و کشف صفحات مهم را دشوارتر کند.
مشکلات رایج در سئوی تکنیکال که دیده‌شدن سایت را کاهش می‌دهند
۱. اشتباه در robots.txt؛ وقتی خودتان راه گوگل را می‌بندید
فایل robots.txt یکی از مهم‌ترین فایل‌های فنی سایت است و به خزنده‌ها اعلام می‌کند کدام بخش‌ها را می‌توانند Crawl کنند و کدام بخش‌ها را نباید بررسی کنند. مشکل زمانی ایجاد می‌شود که این فایل به اشتباه یک بخش مهم سایت را مسدود کند.
این اتفاق مخصوصا بعد از طراحی یا انتقال سایت رایج است. ممکن است توسعه‌دهنده در زمان ساخت سایت، کل دامنه را برای ربات‌ها مسدود کرده باشد و بعد از انتشار سایت فراموش کرده باشد این محدودیت را بردارد. در چنین شرایطی صفحات ممکن است برای کاربران کاملا قابل مشاهده باشند، اما Googlebot نتواند آن‌ها را Crawl کند.
نکته مهم این است که robots.txt ابزار حذف قطعی صفحه از نتایج گوگل نیست. گوگل می‌تواند URLای را که Crawl آن مسدود شده، از طریق لینک‌های دیگر بشناسد و حتی در شرایطی URL را بدون محتوای کامل در نتایج نمایش دهد. بنابراین نباید از robots.txt به‌عنوان جایگزین noindex استفاده کرد. بعد از هر تغییر بزرگ در سایت، مخصوصا مهاجرت یا انتشار نسخه جدید، فایل robots.txt را بررسی کنید و مطمئن شوید مسیرهایی مانند محصولات، مقالات، دسته‌بندی‌ها و صفحات خدمات به اشتباه با Disallow مسدود نشده‌اند.
۲. استفاده اشتباه از noindex
noindex یکی دیگر از دستورهایی است که مستقیما روی حضور یک صفحه در نتایج جستجو تاثیر می‌گذارد. وقتی این دستور روی یک صفحه قرار می‌گیرد، به گوگل اعلام می‌کند که صفحه نباید در نتایج جستجو نمایش داده شود. این قابلیت برای صفحاتی مانند بعضی صفحات خصوصی، نتایج جستجوی داخلی یا صفحات خاصی که ارزش حضور در گوگل ندارند، کاربرد دارد.
مشکل زمانی ایجاد می‌شود که noindex روی یک صفحه ارزشمند قرار بگیرد. برای مثال ممکن است صفحه اصلی، یک مقاله مهم، صفحه خدمات یا تعدادی از محصولات فروشگاه به‌اشتباه noindex شده باشند. در این حالت ممکن است تمام تلاش‌های محتوایی و لینک‌سازی برای آن URL بی‌نتیجه بماند.
یک نکته فنی مهم هم وجود دارد: گوگل برای مشاهده دستور noindex باید بتواند صفحه را Crawl کند. اگر همان URL در robots.txt مسدود شده باشد، Googlebot ممکن است اصلا نتواند noindex را ببیند. بنابراین ترکیب اشتباه این دو دستور می‌تواند تشخیص مشکل را دشوارتر کند. برای بررسی چنین مشکلاتی می‌توانید از URL Inspection در Google Search Console استفاده کنید و ببینید گوگل صفحه را چگونه دریافت و پردازش کرده است.
۳. صفحات تکراری و Keyword Cannibalization
یکی دیگر از مشکلاتی که گاهی پنهان می‌ماند، وجود چند صفحه برای یک هدف جستجو است. فرض کنید یک شرکت سه صفحه با عناوین «طراحی سایت در تهران»، «طراحی سایت حرفه‌ای در تهران» و «خدمات طراحی سایت تهران» ساخته و محتوای هر سه صفحه نیز بسیار شبیه یکدیگر است. در چنین شرایطی، سایت به‌جای اینکه یک صفحه قدرتمند برای این نیاز جستجو داشته باشد، چند صفحه نزدیک به هم ایجاد کرده است.
این وضعیت می‌تواند تشخیص صفحه مناسب را برای موتور جستجو دشوار کند. البته هر شباهت محتوایی به معنی Keyword Cannibalization نیست و گوگل در بسیاری از موارد خودش URL مناسب را انتخاب می‌کند؛ اما زمانی که چند URL واقعا یک هدف جستجو را دنبال می‌کنند، بررسی ساختار سایت و ادغام صفحات می‌تواند منطقی‌تر باشد.
همین مشکل در URLهای پارامتری و فیلترهای فروشگاه‌ها نیز دیده می‌شود. اگر هر ترکیب فیلتر یک URL جدید بسازد، ممکن است تعداد زیادی نسخه مشابه از یک صفحه ایجاد شود. مدیریت این URLها و مشخص‌کردن نسخه اصلی به کاهش پیچیدگی سایت کمک می‌کند.
۴. ریدایرکت‌های اشتباه و زنجیره‌ای
ریدایرکت زمانی استفاده می‌شود که کاربر یا موتور جستجو از یک URL به URL دیگری هدایت شود. اگر صفحه‌ای برای همیشه به آدرس جدید منتقل شده باشد، معمولا استفاده از ریدایرکت دائمی مانند 301 یا 308 انتخاب مناسبی است. گوگل نیز ریدایرکت‌های دائمی را سیگنالی برای انتقال URL قدیمی به مقصد جدید در نظر می‌گیرد. مشکل از جایی شروع می‌شود که ریدایرکت‌ها بیش از حد یا اشتباه تنظیم شوند.
برای مثال: URL قدیمی ← URL دوم ← URL سوم ← URL نهایی
این زنجیره هم تجربه کاربر را بدتر می‌کند و هم مسیر Crawl را غیرضروری طولانی می‌کند. گوگل نیز در توصیه‌های مربوط به Crawl Budget، پرهیز از زنجیره‌های طولانی Redirect را توصیه کرده است. بنابراین هنگام تغییر ساختار سایت بهتر است URL قدیمی مستقیما به نزدیک‌ترین صفحه جدید و مرتبط هدایت شود، نه اینکه از چند آدرس میانی عبور کند.
۵. صفحات بدون لینک داخلی
ممکن است صفحه‌ای روی سایت وجود داشته باشد اما هیچ صفحه دیگری به آن لینک نداده باشد. چنین صفحاتی معمولا Orphan Page نامیده می‌شوند. اگرچه وجود صفحه در Sitemap می‌تواند به کشف آن کمک کند، اما معماری داخلی سایت همچنان اهمیت زیادی دارد.
گوگل صراحتا توصیه می‌کند صفحات مهم سایت حداقل از یک صفحه دیگر از همان سایت قابل دسترسی باشند. لینک‌های داخلی علاوه بر کمک به کشف URLها، به کاربران و موتور جستجو درباره ارتباط موضوعی صفحات نیز اطلاعات می‌دهند. برای مثال اگر یک مقاله درباره انتخاب هاست برای وردپرس دارید، می‌توانید از مقالات مرتبط درباره سرعت سایت، امنیت وردپرس و CDN به آن لینک بدهید. این کار باعث می‌شود صفحه موردنظر در ساختار محتوایی سایت جایگاه مشخص‌تری داشته باشد.
۶. Sitemap ناقص یا قدیمی
Sitemap را می‌توان فهرستی از URLهایی دانست که می‌خواهید موتورهای جستجو راحت‌تر آن‌ها را پیدا کنند. داشتن Sitemap به‌تنهایی ایندکس‌شدن صفحات را تضمین نمی‌کند، اما در سایت‌های بزرگ یا پیچیده می‌تواند به کشف URLهای مهم کمک کند.
یکی از اشتباهات رایج این است که Sitemap شامل URLهای قدیمی، صفحات حذف‌شده، URLهای noindex یا نسخه‌های غیر اصلی صفحات باشد. بهتر است Sitemap را مرتب بررسی کنید و URLهای مهم و قابل ایندکس را در آن نگه دارید.
چگونه مشکلات Technical SEO را پیدا کنیم؟
برای بررسی فنی سایت لازم نیست منتظر افت شدید ترافیک بمانید. Google Search Console نقطه شروع مناسبی است. بخش‌های مربوط به Indexing، Page Indexing، Sitemaps و URL Inspection می‌توانند سرنخ‌هایی درباره وضعیت صفحات ارائه دهند.
در یک بررسی کامل، این موارد را در اولویت قرار دهید: صفحات مهمی که ایندکس نشده‌اند، URLهای مسدودشده با robots.txt، صفحات دارای noindex، خطاهای 404 و Soft 404، Redirectهای اشتباه، URLهای تکراری، صفحات بدون لینک داخلی و وضعیت Sitemap.
در سایت‌های بزرگ بهتر است Crawl Budget نیز بررسی شود تا مشخص شود ربات‌های گوگل بخش قابل توجهی از منابع خود را صرف URLهای غیرضروری نمی‌کنند. همچنین بعد از مهاجرت سایت، تغییر ساختار URL، نصب یا تغییر افزونه‌های مهم و بازطراحی سایت، یک Technical SEO Audit می‌تواند از باقی‌ماندن خطاهای پنهان جلوگیری کند.
جمع‌بندی
سئوی تکنیکال فقط مجموعه‌ای از تنظیمات پیچیده برای متخصصان سئو نیست؛ در واقع زیرساختی است که مشخص می‌کند گوگل تا چه اندازه می‌تواند سایت شما را پیدا کند، بخواند و صفحات مهم آن را در نتایج جستجو نمایش دهد. یک noindex اشتباه، مسدودشدن مسیر مهم در robots.txt، صدها URL تکراری، Redirectهای زنجیره‌ای یا حتی چند صفحه بدون لینک داخلی می‌تواند بخشی از ظرفیت سایت برای دیده‌شدن در جستجو را از بین ببرد.
به همین دلیل، بهتر است مشکلات فنی را فقط زمانی بررسی نکنید که ترافیک کاهش پیدا کرده است. بررسی منظم Search Console، کنترل وضعیت ایندکس، مدیریت URLها، بهینه‌سازی لینک‌های داخلی و اطمینان از درست‌بودن Sitemap و Redirectها می‌تواند جلوی بسیاری از مشکلاتی را بگیرد که پیدا کردنشان بعد از افت رتبه بسیار دشوارتر خواهد بود.
