موتورهای جستجو از خزنده‌هایی که به عنوان ربات‌های وب نیز شناخته می‌شوند، برای کراول و ایندکس وب‌سایت‌ها استفاده می‌کنند. در این مطلب از سری مطالب آموزشی وبلاگ پارس وی دی اس به آموزش حذف کامل سایت وردپرسی می‌پردازیم.
برای بسیاری از صاحبان وب سایت، ایندکس شدن محتوای آنها برای افزایش دید آنلاین و افزایش ترافیک به سایت‌هایشان بسیار مهم است.
با این حال، مواردی وجود دارد که ممکن است نخواهید سایت شما ایندکس شود. این شرایط ممکن است شما را وادار کند که چگونه از ایندکس کردن وب سایت خود توسط موتورهای جستجو جلوگیری کنید.
این امکان وجود دارد که از نمایش یک منبع یا صفحه در سایت شما در نتایج جستجوی گوگل جلوگیری کنید. در این مقاله به بررسی نحوه جلوگیری و جلوگیری از ایندکس مؤثر وب سایت توسط موتورهای جستجو می‌پردازیم.
چگونه موتورهای جستجو را از ایندکس کردن سایت وردپرس خود منصرف کنیم؟
در برخی مواقع، ممکن است به عنوان مالک وب‌سایت بخواهید محتوای وب‌سایتتان توسط موتورهای جستجو ایندکس نشود. ایندکس‌نشدن محتوا می‌تواند به دلایل مختلفی مانند توسعه وب‌سایت در محیط تست، محتوای حساس یا حفاظت از حریم خصوصی کاربران باشد. در این شرایط، جلوگیری از ایندکس‌شدن توسط موتورهای جستجو بسیار مهم است.
برای جلوگیری از ایندکس‌شدن سایت وردپرس، ابزارهای مختلفی وجود دارد. این مقاله به شما نحوه جلوگیری از ایندکس‌شدن محتوای وب‌سایتتان را نشان می‌دهد تا بتوانید از نمایش آن در نتایج جستجو جلوگیری کنید. این کار به شما کمک می‌کند تا کنترل بیشتری بر روی محتوای خود داشته باشید و آن را در برابر دسترسی غیرمجاز محافظت کنید.
تفاوت ایندکس و لیست شدن در گوگل
ایندکس
ایندکس فرآیند جمع آوری و بارگیری داده‌های محتوای سایت در سرور موتور جستجو و متعاقباً ذخیره داده‌ها در پایگاه داده مرکزی آن است که به عنوان شاخص شناخته می‌شود.
قبل از اینکه ایندکس رخ دهد، فرآیند خزیدن انجام می‌شود. در حین خزیدن، موتورهای جستجو برای شناسایی محتوای جدید یا به روز شده، وب را اسکن می‌کنند. سپس از این محتوا برای ایندکس استفاده می‌شود.
ایندکس به موتورهای جستجو اجازه می‌دهد تا داده‌های مرتبط با جستارهای جستجو را بسیار سریعتر ارائه دهند، زیرا محتوا به شیوه‌ای ساختاریافته سازماندهی شده است. این کار در مقایسه با جستجو در تمام محتوا با اجرای چند پرس و جو کارآمدتر است.
لیست شدن
لیست شدن به معنی نمایش وب سایت شما در صفحات نتایج موتورهای جستجو (SERPs) است.
هنگامی که یک وب سایت در صفحات نتایج موتور جستجو ظاهر می‌شود، به این معنی است که سایت ایندکس شده است. در اینجا یک اسکرین شات برای نشان دادن این موضوع آورده شده است:
با این حال، ایندکس لزوماً به این معنی نیست که وب سایت شما در SERP ها لیست می‌شود.
همچنین مهم است که توجه داشته باشید که یک وب سایت برای ایندکس شدن لازم نیست ایندکس شود. اگر پیوندهایی به دامنه سایت یا هر محتوای وب سایت دیگری وجود داشته باشد، گوگل همچنان از این اطلاعات استفاده خواهد کرد.
دلایلی که ممکن است بخواهید موتورهای جستجو را از ایندکس کردن وب سایت خود مسدود کنید
ایجاد یک سایت توسعه دهنده به عنوان یک صاحب سایت، اغلب می‌خواهید وب سایت خود را در یک محیط توسعه ایجاد کنید قبل از اینکه نسخه نهایی را به تولید برسانید. با این حال، شما نمی‌خواهید محتوای سایت توسعه شما توسط گوگل ایندکس شود، زیرا این می‌تواند منجر به رقابت با سایت تولیدی شما شود. بنابراین، غیرفعال کردن نمایه سازی در سایت توسعه شما بسیار مهم است.
- محتوای خصوصی اگر وب سایت شما حاوی محتوای خصوصی است که نمی‌خواهید موتورهای جستجو به آن دسترسی داشته باشند، می‌توانید از ایندکس شدن سایت جلوگیری کنید. به عنوان مثال، صفحات وب که فقط باید برای کاربران دارای اشتراک در دسترس باشد یا کسانی که وارد شده‌اند، نباید ایندکس شوند.
- محتوای هک شده/در معرض خطر اگر سایت شما هک شده و در معرض خطر قرار گرفته باشد، تهدیدی امنیتی برای کاربران شما به‌ویژه برای سایت‌های تجارت الکترونیک است. برای کاهش این خطرات، ایندکس کردن سایت یا حتی حذف آن ممکن است مناسب باشد.
- محتوای تکراری گاهی اوقات، ممکن است محتوای تکراری در وب سایت خود داشته باشید، به خصوص در مورد سایت‌های تجارت الکترونیک که ممکن است صفحات محصول مشابه به نظر برسند. داشتن محتوای تکراری می‌تواند منجر به جریمه سایت شما توسط گوگل شود. بنابراین، ایندکس کردن هر محتوای تکراری برای جلوگیری از مجازات مهم است.
- محتوای قدیمی در برخی موارد، وب سایت شما ممکن است حاوی اطلاعات قدیمی باشد که می‌تواند در نتایج جستجو ظاهر شود و بازدیدکنندگان را گمراه کند. در چنین شرایطی، توصیه می‌شود که موتورهای جستجو را از ایندکس کردن این محتوا منع کنید.
- اطلاعات لو رفته اگر محتوا زودتر از موعد عمومی شده است، باید موتورهای جستجو را از ایندکس کردن این محتوا منع کنید یا وب سایت را لغو انتشار کنید. این کمک می‌کند تا محتوا در دسترس نباشد.
- محتوای مضر اگر سایت شما حاوی محتوایی است که می‌تواند مضر باشد، باید آن را از ایندکس خارج کنید. این ممکن است در صورتی رخ دهد که سایت شما هک شده باشد و اطلاعات مخرب اضافه شده باشد.
چگونه موتورهای جستجو را از کراول و ایندکس وب سایت خود منصرف کنیم؟
اگر می‌خواهید موتورهای جستجو را از خزیدن و ایندکس کردن وب سایت خود منصرف کنید، راه‌های مختلفی وجود دارد که باید در نظر بگیرید. ما برخی از این راه‌ها را به ترتیب بررسی می‌کنیم و بررسی می‌کنیم که چگونه هر یک از آنها در انجام این کار کمک می‌کنند.
از طریق چک باکس پیش فرض مشاهده توسط موتورهای جستجوی وردپرس
این روش شما را قادر می‌سازد تا موتورهای جستجو را از کراول مستقیم وب سایت شما از داشبورد وردپرس منع کنید. برای پیاده سازی آن، باید:
- با استفاده از یک حساب کاربری به داشبورد وردپرس خود وارد شوید
- به بخش تنظیمات > خواندن در داشبورد وردپرس خود بروید
3. در بخش «نمایش به موتورهای جستجو»، گزینه «از موتورهای جستجو درخواست کن تا محتوای سایت را بررسی نکنند» را فعال کنید.
4. تغییرات خود را ذخیره کنید.
پس از انجام موارد فوق، کد زیر به هدر سایت شما اضافه می‌شود:
<meta name="robots" content="noindex, nofollow">
فایل robots.txt نیز به این صورت تغییر یافته است:
User-agent: *
Disallow: /
این کار به جلوگیری از ایندکس کردن وب سایت شما توسط موتورهای جستجو کمک می‌کند. با این حال، توجه به این نکته مهم است که در حالی که این تغییرات به منصرف کردن موتورهای سایت از نمایه سازی وب سایت شما کمک می‌کند، این به موتورهای جستجوی فردی بستگی دارد که به درخواست پاسخ دهند یا خیر.
تغییر فایل Robots.txt (به صورت دستی)
مشابه روش فوق، این یک رویکرد دستی برای اصلاح فایل robots.txt در نظر گرفته می‌شود.
برای انجام این کار، شما باید:
- از طریق یک نرم افزار FTP مانند Filezilla به فایل‌های سایت خود دسترسی پیدا کنید
2. در روت فایل‌های وب سایت خود، فایل robots.txt را بررسی کنید. معمولاً، این فایل در پوشه public_html است.
اگر به نظر نمی‌رسد فایل را ردیابی کنید، می‌توانید یک فایل ایجاد کنید.
3. کد زیر را به فایل اضافه کنید:
User agent: *
Disallow: /
همچنین می‌توانید با افزودن زیر شاخه و اسلاگ در بخش Disallow: ایندکس شدن صفحات خاصی را ممنوع کنید. یک مثال برای این خواهد بود:
User agent: *
Disallow /blog/this-is-a-link-to-our-website
محافظت از سایت شما با رمز عبور
موتورهای جستجو در موقعیتی نیستند که وب‌سایت‌های محافظت شده با رمز عبور را بررسی کنند زیرا به آنها دسترسی ندارند. این باعث می‌شود که محافظت از وب‌سایت شما با رمز عبور یکی از مناسب‌ترین روش‌ها برای جلوگیری از نمایه‌سازی وب‌سایت شما باشد.
حفاظت از رمز عبور سایت شما را می‌توان از طریق روش‌های مختلف به دست آورد:
- حفاظت از رمز عبور از طریق کنترل پنل میزبانی شما
- استفاده از افزونه حفاظت از رمز عبور
حفاظت از رمز عبور از طریق کنترل پنل میزبانی خود
کنترل پنل های میزبانی مختلف مراحل مختلفی را در پیاده سازی محافظت از رمز عبور در یک وب سایت دارند. در مورد ما در اینجا، از نمونه‌ای از سی پنل استفاده خواهیم کرد.
برای محافظت از وب سایت خود با رمز عبور از طریق سی پنل، باید موارد زیر را انجام دهید:
- به حساب سی پنل خود وارد شوید
- به بخش Files رفته و “Directory Privacy” را انتخاب کنید.
3. دایرکتوری ریشه سایت خود را انتخاب کنید. در مورد ما در اینجا، این عبارت public_html / buddybuilder خواهد بود.
4. روی دکمه «edit» در کنار آن کلیک کنید.
5. گزینه “Password protect this directory” را فعال کرده و تغییرات خود را ذخیره کنید.
با کلیک بر روی لینک “Go back” به مرحله قبل برگردید و در بخش “Create User” جدید، یک حساب کاربری جدید را برای استفاده در دسترسی به وب سایت تنظیم کنید.
پس از انجام این کار، موتورهای جستجو در موقعیتی نخواهند بود که سایت شما را بخزند.
استفاده از افزونه حفاظت با رمز عبور
در این گزینه می‌توانید از افزونه Password Protected استفاده کنید. برای راه اندازی افزونه باید موارد زیر را انجام دهید:
- به بخش Plugins > Add New در داشبورد وردپرس خود بروید و «Password Protected» را جستجو کنید.
3. افزونه را نصب و فعال کنید.
4. به بخش Settings > Password Protected در داشبورد وردپرس خود بروید.
5. گزینه “Password Protected Status” را فعال کرده و رمز عبور خود را وارد کنید.
تعداد روزهایی که سایت محافظت می‌شود را مشخص کنید.
6. تغییرات خود را ذخیره کنید.
توجه به این نکته ضروری است که در این روش، هنگامی که فایل‌هایی مانند تصاویر به طور مستقیم در مرورگر دسترسی پیدا می‌کنند، حفاظت از رمز عبور اعمال نمی‌شود و از این رو می‌توان به راحتی به تصویر دسترسی داشت.
حذف یک وب سایت از جستجوی گوگل
در مواردی که قبلاً سایت خود را توسط گوگل نمایه کرده‌اید و می‌خواهید سایت را از موتور جستجو حذف کنید، می‌توانید این کار را با انجام موارد زیر انجام دهید:
1. دسترسی به سرچ کنسول گوگل:
Google: https://search.google.com/search-console/
2. با استفاده از اطلاعات حساب خود لاگین شوید. اگر حساب کاربری ندارید، می‌توانید از همان لینک بالا یکی بسازید. در اینجا راهنمای نحوه انجام این کار وجود دارد:
https://support.google.com/webmasters/answer/34592?hl=fa
3. در قسمت بالا سمت چپ، URL که می‌خواهید حذف کنید انتخاب کنید.
4. روی بخش “Removals” کلیک کنید
در تب «Temporary Removals»، روی دکمه «New Request» کلیک کنید
5. در تب «Temporary Removals» در پنجره بازشو، دو گزینه «Remove this URL only» و «Remove all URLs with this prefix» خواهید داشت.
اگر می‌خواهید فقط URL مشخص شده را حذف کنید، به عنوان مثال یک پست وبلاگ خاص، باید URL آن را پر کنید و گزینه “Remove this URL only” را انتخاب کنید.
از طرف دیگر، اگر می‌خواهید دامنه ریشه و هر URL مرتبط با آن را حذف کنید، باید URL خود را به عنوان دامنه اصلی پر کنید و گزینه Remove all URLs with this prefix را انتخاب کنید.
6. برای ارسال درخواست خود بر روی دکمه “next” کلیک کنید.
توجه به این نکته ضروری است که پس از انجام این کار، گوگل به طور موقت سایت شما را برای یک دوره موقت از موتورهای جستجو حذف خواهد کرد. این دوره معمولاً 6 ماه است و پس از آن URL شما می‌تواند یک بار دیگر ایندکس شود، به همین دلیل است که “مسدود کردن موتورهای جستجو از خزیدن و نمایه سازی وب سایت شما” بسیار مهم است.
جمع بندی
در نتیجه، منصرف موتورهای جستجو از ایندکس کردن سایت وردپرس شما می‌تواند گام مهمی برای حفظ حریم خصوصی، حفاظت از اطلاعات حساس یا مدیریت یک محیط توسعه باشد.
با درک روش‌ها و ابزارهای موجود، مانند گزینه “Descourage search engines from indexing this site” در تنظیمات وردپرس و استفاده از فایل‌های robots.txt، می‌توانید به طور مؤثر کنترل کنید که کدام قسمت از سایت شما برای موتورهای جستجو قابل مشاهده است.
ضروری است که نیازهای خاص خود را ارزیابی کنید و رویکرد مناسب را انتخاب کنید تا اطمینان حاصل کنید که محتوای سایت شما در صورت لزوم محافظت و خصوصی می‌ماند. انجام این مراحل نه تنها به شما کمک می‌کند تا کنترل حضور آنلاین خود را حفظ کنید، بلکه امنیت سایت و حریم خصوصی کاربر را نیز افزایش می‌دهد.
سؤالات متداول
چگونه از ایندکس شدن کل سایت وردپرسی توسط موتورهای جستجو جلوگیری کنم؟
شما می‌توانید از ویژگی داخلی وردپرس استفاده کنید تا موتورهای جستجو را از فهرست کردن سایت خود منصرف کنید. به Settings > Reading بروید، به گزینه Search Engine Visibility بروید و کادری که می‌گوید Discourage engines search from indexing this site را علامت بزنید. وردپرس به طور خودکار فایل robots.txt را برای شما به روز می‌کند.
آیا می‌توانم موتورهای جستجو را از ایندکس کردن صفحات خاص در سایت وردپرس خود مسدود کنم؟
بله، می‌توانید با ویرایش فایل robots.txt، موتورهای جستجو را از فهرست‌بندی صفحات خاص مسدود کنید. کد زیر را به فایل robots.txt خود اضافه کنید:
User-agent:
Disallow: /path/to/page
مسیر /path/to/page را با مسیر واقعی صفحه‌ای که می‌خواهید مسدود کنید جایگزین کنید.
اگر بخواهم سایت وردپرس خود را به طور موقت از موتورهای جستجو مخفی کنم چه باید کرد؟
شما می‌توانید به طور موقت سایت خود را با محافظت از رمز عبور پنهان کنید. از کنترل پنل هاست خود برای تنظیم محافظت از رمز عبور برای سایت خود استفاده کنید یا از یک افزونه وردپرس که برای این منظور طراحی شده است استفاده کنید.
آیا امکان حذف صفحات فهرست شده از قبل از نتایج موتورهای جستجو وجود دارد؟
بله، شما می‌توانید از کنسول جستجوی گوگل برای حذف صفحات فهرست شده از قبل استفاده کنید. وارد Google Search Console شوید، به بخش Removals بروید و URL هایی را که می‌خواهید حذف شوند ارسال کنید.
