مولد ملف robots.txt
إنشاء مسودة robots.txt مع قواعد السماح والمنع وخريطة الموقع.
استخدم الأداة الآن
🔒 تعالج هذه الأداة مدخلاتك داخل المتصفح دون رفعها إلى خادم SkyEge. لا تشارك معلومات سرية.
ما فائدة هذه الأداة؟
أنشئ مسودة لقواعد الزحف التي تريدها، ثم راجعها جيدًا قبل رفعها. ملف robots.txt ليس أداة لإزالة الصفحات من نتائج البحث أو إخفاء الأسرار.
طريقة الاستخدام
- اختر User-agent.
- أدخل المسارات المطلوبة، كل مسار في سطر.
- أضف رابط Sitemap، ثم انسخ الملف وراجعه قبل النشر.
نصائح للحصول على نتائج مفيدة
- منع كامل الموقع باستخدام Disallow: / قد يمنع زحف Google.
- لا تضع كلمات المرور أو المسارات الحساسة بوصفها وسيلة حماية.
أسئلة شائعة
هل يمنع ظهور الصفحة في جوجل؟
المنع يتحكم في الزحف، لكنه ليس طريقة مضمونة لإزالة عنوان URL من الفهرس.
ملاحظة: نتائج الأدوات استرشادية، ويجب التحقق منها في بيئة موقعك قبل تطبيق تغييرات مهمة.
فهم الأداة ومتى تحتاجها
استخدم هذه الأداة لصياغة ملف قابل للنسخ، لا لنشر ملف robots.txt تلقائيًا. المسارات من الجذر تبدأ بـ /، ويمكن أن تكون قواعد Allow وDisallow مختلفة باختلاف User-agent.
مثال عملي على الاستخدام
مثال: Disallow: /private/ يطلب من الروبوت ألا يزحف للمسار، لكن الرابط نفسه قد يُكتشف من خارج الموقع. لصفحة تريد استبعادها من نتائج البحث عادةً تحتاج noindex مع إمكانية وصول الزاحف للصفحة.
كيف تقرأ النتيجة وما حدودها؟
قبل التثبيت على نطاق الإنتاج اقرأ القواعد سطرًا سطرًا. انتبه لأن ملف robots.txt عام ويمكن لأي شخص الاطلاع عليه؛ لا تسرد المسارات السرية فيه باعتبار ذلك حماية.
أخطاء شائعة يجب تجنبها
- نقل Disallow: / بالخطأ إلى موقع الإنتاج.
- منع ملفات CSS وJS التي تحتاجها Google لفهم الصفحة.
- اعتبار قاعدة robots ضمانًا لحذف URL من الفهرس.
أدوات مكملة لهذا الموضوع
يمكنك متابعة الفحص بأدوات أخرى من مركز الأدوات التقنية أو العودة إلى شروحات الموقع ذات الصلة. تعامل مع النتائج كمرجع مساند للقرار، ولا تستبدل بها الاختبار الفعلي.