هر مهمانی باید در مدتی که در خانه میزبان حضور دارد، آداب میزبان را رعایت کند و میزبان موظف است این آداب را به مهمان بگوید. در فضای سئو شما میزبان هستید، ربات‌های کراولر و کاربرها مهمانان شما هستند و سایت هم فضای میزبانی شماست. در این مقاله قرار است یکی از رابطه‌های مهمانی و میزبانی بین شما و کراولرها را بررسی کنیم. فایل Robots.txt یکی از اصطلاحات تخصصی سئو است که می‌توان آن را به زبان خیلی ساده تعریف کرد؛ این فایل دستورالعملی است که شما با استفاده از آن به کراولرها نشان می‌دهید در سایت شما چه رفتاری داشته باشند و در چه بخش‌هایی بخزند. بهینه‌سازی این فایل و بارگذاری آن در بخش هاستینگ یکی از مراحل Technical Seo است. در این مقاله مختصر و مفید بررسی می‌کنیم فایل Robots.txt چیست و هر دستور در این فایل چه تغییری در فرایند خزش کراولرها ایجاد می‌کند. البته اگر کارشناس سئو تازه‌وارد هستید یا هنوز در این زمینه آموزش ندیده‌اید، توصیه می‌کنیم نحوه کار با Robots.txt را در دوره سایت آموزش سئو یاد بگیرید. در این دوره به‌صورت کاربردی توضیح می‌دهیم چطور باید از این فایل برای مدیریت بودجه خزش و سئو سایت خود استفاده کنید.
فایل Robots.txt چیست؟
این فایل دستورالعملی است که شما به ربات‌های موتورهای جستجو می‌دهید تا مطابق با آن در سایتتان خزش کنند. به‌عنوان مثال شما در این فایل مشخص می‌کنید کدام صفحه‌ها باید ایندکس شوند و کدام یک نیاز به ایندکس شدن ندارند. همچنین اگر فایلی در سایتتان وجود دارد که ربات‌ها باید آن را نادیده بگیرند، باید دستور آن را در Robots.txt قرار دهید.
نکته مهمی که باید به آن توجه داشته باشید این است که ربات‌های کراولر علاوه بر فایل ربات، از لینک‌ها هم برای خزش در صفحه‌ها استفاده می‌کنند. به همین دلیل ممکن است شما در فایل مشخص کرده باشید که ربات‌ها یک صفحه را بررسی نکنند، اما آن‌ها از طریق لینک‌های داخلی که به این صفحه وجود دارد، وارد آن شوند و آن را در نتایج جستجو نمایش دهند. به همین دلیل لازم است از تگ No Index نیز برای صفحه‌هایی که نمی‌خواهید در نتایج باشند، استفاده کنید.
چرا سایت شما به فایل Robots.txt نیاز دارد؟
مهم‌ترین علت‌های استفاده از فایل ربات را در ادامه توضیح می‌دهیم:
- از ایندکس شدن صفحه‌های مشابه و کنیبالیزیشن پیشگیری می‌کند.
- مانع از ایندکس شدن صفحه‌ها و فایل‌های خاص مثل فایل‌های فروشی سایتتان می‌شود.
- از ایندکس شدن صفحه‌های مربوط به ادمین مانند پنل مدیریت پیشگیری می‌کند.
- در کنترل بودجه خزش (Crawl budget) کاربرد دارد و باعث می‌شود اکثر بودجه خزش سایت شما برای صفحه‌های مهم صرف شود.
- از مصرف بیش از اندازه منابع هاست و سرور برای نمایش صفحه‌ها به ربات‌های خزنده پیشگیری می‌کند.
معرفی دستورهای فایل Robots.txt
اکنون می‌دانید فایل Robots.txt چیست و چرا باید این فایل را در بخش هاستینگ سایت بارگذاری کنید. در ادامه به دستورهایی که می‌توانید با آن‌ها ربات‌های موتورهای جستجو را هدایت کنید نام می‌بریم و درباره عملکردشان توضیح می‌دهیم:
- User-agent: مشخص می‌کند شما دستورهای بعدی را به کدام ربات‌ها ارائه می‌دهید. بعد از این دستور باید: را به همراه نام ربات قرار دهید و اگر می‌خواهید همه ربات‌ها دستورات بعدی را اجرا کنند باید بعد از User-agent علامت * بگذارید.
- Disallow: این دستور محدودیت‌های خزش ربات‌ها را مشخص می‌کند. ربات‌ها با خواندن این دستور دیگر به فایل‌ها و صفحه‌هایی که نامشان بعد از آن قرار دارد، وارد نمی‌شوند.
- Allow: اگر در یک صفحه یا فایلی که با «Disallow» محدود شده، محتوایی وجود دارد که می‌خواهید توسط خزنده‌ها بررسی شود، می‌توانید بعد از دستور Allow نام آن را قرار دهید. با این کار، ربات‌ها استثنا را رعایت می‌کنند و همان یک بخش را کراول خواهند کرد.
- Sitemap: این دستور سایت مپ شما را به ربات‌های جستجوگر نمایش می‌دهد.
- Crawl-delay: با این دستور ربات‌های جستجوگر مدت کوتاهی صبر می‌کنند و سپس خزش در صفحه‌های مشخص شده بعد از این دستور را شروع می‌کنند.
روش دسترسی به فایل ربات سایت
فایل Robots.txt خصوصی نیست و همه می‌توانند به آن دسترسی داشته باشند. برای دسترسی به این فایل فقط کافی است آدرس دامنه سایت را جستجو کنید و بعد از آن عبارت / Robots.txt را تایپ کنید. بعد از آن فایل ربات سایت مورد نظر به شما نمایش داده می‌شود. با این دستور می‌توانید فایل سایت‌های رقیب خود را ببینید و از آن‌ها برای نوشتن فایل ربات خودتان الگو بردارید.
برای ویرایش Robots.txt ابتدا وارد پنل هاستینگ سایت خود شوید. سپس وارد بخش مدیریت فایل‌ها شوید. فایل ربات در میان لیست فایل‌هایی که به شما نمایش داده می‌شود، وجود دارد و می‌توانید آن را ویرایش کنید. اگر هم این فایل در بخش Root نبود، یک Robots.txt جدید بسازید و آن را در این بخش قرار دهید.
سخن پایانی
فایل Robots.txt معمولاً یک بار در ابتدای راه‌اندازی سایت نوشته و بارگذاری می‌شود و فقط در صورت ایجاد تغییرات بزرگ در سایت به بروزرسانی نیاز دارد؛ اما کارشناس‌های سئو حرفه‌ای برای همان یک‌بار هم باید بتوانند یک فایل ربات را به‌صورت اصولی بنویسند تا کراولرها را به‌درستی در سایتشان هدایت کنند.
در این مقاله بررسی کردیم Robots.txt چیست، چه کاربردی دارد و با چه دستورهایی نوشته می‌شود. اگر احساس می‌کنید هنوز درست کار با این فایل را یاد نگرفته‌اید و نمی‌دانید دقیقاً چطور باید آن را بنویسید، به سراغ دوره رایگان سایت آموزش سئو بروید. در این دوره ما یک فایل ربات واقعی می‌نویسیم، نکاتی که باید در نوشتن این فایل رعایت کنید را توضیح می‌دهیم و با نمونه‌های کاربردی به شما بخش‌های مختلف سئو تکنیکال را آموزش خواهیم داد.
