ملف robots.txt عبارة عن قائمة قواعد نصية بسيطة موجودة في جذر نطاقك، تُخبر برامج الزحف مثل Googlebot بالمسارات المسموح لها بالوصول إليها. لا يقوم هذا الملف بحذف الصفحات من فهرس جوجل تلقائيًا، بل يُدير عملية الزحف فقط. في حال وجود خطأ في كتابة الصيغة، قد يتم حظر ملفات CSS أو JS أو حتى أقسام كاملة من الموقع دون سابق إنذار، مما يؤدي إلى انخفاض ترتيب الموقع في نتائج البحث.
ما يتحكم به ملف Robots.txt فعليًا
يتحكم ملف robots.txt في عملية الزحف، وليس في الفهرسة. فهو يُخبر برامج زحف محركات البحث بعناوين URL المسموح لها بطلبها من خادمك. قد تظهر صفحة ما في فهرس جوجل حتى لو كانت محظورة في ملف robots.txt، وعادةً ما تظهر بدون وصف، لأن جوجل عثر عليها من خلال رابط بدلاً من الزحف إليها مباشرةً.
يظن معظم أصحاب المواقع أن ملف robots.txt أداة لحماية الخصوصية، لكنه ليس كذلك. إنه أداة لإدارة حركة المرور لبرامج الزحف، موجود على الرابط yoursite.com/robots.txt، ويتم قراءته قبل أي شيء آخر تقريبًا على الصفحة.
تعتبر محركات البحث ملف robots.txt بمثابة اقتراح قوي وليس حاجزًا منيعًا. تتبعه برامج الروبوتات الملتزمة بقواعد البحث، مثل Googlebot وBingbot، بدقة. أما برامج استخراج البيانات التي تتجاهله تمامًا فهي شائعة، لذا فإن ملف robots.txt ليس إجراءً أمنيًا على الإطلاق.
- يدير ميزانية الزحف على المواقع الكبيرة
- فهو يمنع البرامج الآلية من الوصول إلى مناطق الإدارة وصفحات نتائج البحث وعناوين URL للمعلمات المكررة
- يوجه هذا البرنامج برامج الزحف إلى موقع خريطة الموقع الخاصة بك
وفقًا لـ 55.24% من صفحات الويب لا تحتوي على أي روابط خلفية تشير إليها بحث Ahrefsوجزء كبير من تلك الصفحات هو بالضبط نوع عناوين URL الرقيقة والمليئة بالمعلمات التي يهدف ملف robots.txt إلى إبعاد برامج الزحف عنها في المقام الأول.
كيف يقرأ برنامج Googlebot ملف Robots.txt
يقوم برنامج Googlebot بجلب ملف robots.txt قبل فهرسة أي نطاق، ويخزنه مؤقتًا لمدة 24 ساعة تقريبًا. يقرأ البرنامج القواعد من البداية إلى النهاية، ويطبق القاعدة الأكثر تحديدًا، وليس أول قاعدة يجدها. يمكن لقاعدة السماح الأكثر تحديدًا أن تلغي قاعدة المنع الأوسع نطاقًا لنفس البرنامج.
تبدأ كل كتلة قواعد بسطر User-agent. يبحث Googlebot عن كتلة موجهة إلى "Googlebot" تحديدًا قبل اللجوء إلى كتلة الأحرف البديلة العامة الموجهة إلى "*".
من واقع خبرتي، رأيتُ وكالاتٍ تُرسل ملف robots.txt جديدًا إلى بيئة الإنتاج، وتنسى أن النسخة التجريبية تحتوي على "Disallow: /" في بدايتها. في غضون أيام، انخفضت الزيارات العضوية على صفحات الفئات الرئيسية للعميل انخفاضًا حادًا، وكان الحل الوحيد هو إرسال ملف مُصحَّح وطلب إعادة فهرسة جديدة عبر Search Console.
مولد ملفات Robots.txt الخاص بنا يتجنب هذا الخطأ تحديدًا عن طريق إنشاء الملف من قواعد قابلة للتحديد بدلاً من النص الحر، لذلك لا يمكن لشرطة مائلة عشوائية أن تمحو إمكانية الوصول إلى الزحف لموقع كامل.
صيغة ملف Robots.txt: منع، السماح، وخريطة الموقع
تتضمن التوجيهات الأساسية الثلاثة ما يلي: User-agent لاستهداف روبوت معين، وDisallow لحظر مسار، وAllow للسماح بمسار داخل مجلد محظور. يُعدّ سطر Sitemap الذي يشير إلى خريطة موقع XML الخاصة بك اختياريًا ولكنه مُوصى به، لأنه يُتيح لبرامج الزحف الوصول المباشر إلى أهم عناوين URL الخاصة بك.
يبدو ملف العمل البسيط كالتالي:
| التوجيه | غاية | مثال |
|---|---|---|
| وكيل المستخدم | يستهدف برنامجًا آليًا واحدًا أو جميع البرامج الآلية | وكيل المستخدم: * |
| عدم السماح | يعيق الزحف | ممنوع: /wp-admin/ |
| يسمح | يسمح بمسار داخل مجلد محظور | السماح بـ: /wp-admin/admin-ajax.php |
| خريطة الموقع | يشير إلى ملف خريطة الموقع الخاص بك | خريطة الموقع: https://example.com/sitemap.xml |
تُعدّ المسارات حساسة لحالة الأحرف، وتبدأ المطابقة من بداية مسار عنوان URL. ويُعدّ وجود الشرطة المائلة في النهاية أمرًا مهمًا، حيث يختلف سلوك Disallow: /blog و Disallow: /blog/ من حيث نطاق المطابقة.
ملف Robots.txt مقابل خاصية Noindex: ليسا الشيء نفسه
يمنع ملف robots.txt برامج الزحف من طلب صفحة معينة، بينما يسمح وسم noindex لبرامج الزحف بزيارة الصفحة ولكنه يمنعها من عرضها في نتائج البحث. يُعدّ حظر صفحة باستخدام robots.txt وإضافة وسم noindex إليها في الوقت نفسه أمرًا متناقضًا، لأن جوجل لا تستطيع قراءة وسم noindex في صفحة ممنوعة من الزحف إليها.
هذا أحد أكثر الأخطاء التقنية شيوعًا في تحسين محركات البحث. يرغب أصحاب المواقع في إزالة صفحة من نتائج البحث، فيقومون بحظرها في ملف robots.txt، ثم يتساءلون عن سبب استمرار ظهورها بعد أسابيع دون أي معلومات تعريفية.
إذا كان الهدف الفعلي هو الإزالة من نتائج البحث، فإن الترتيب الصحيح هو: السماح بالزحف، وإضافة علامة noindex، والانتظار حتى يقوم جوجل بإعادة الزحف ومعالجة العلامة، ثم حظر المسار اختيارياً بمجرد توقفه.
مجموعة أدوات تحسين محركات البحث الكاملة لدينا يتضمن ذلك عمليات فحص تقوم بتحديد الصفحات التي تحتوي على إشارات robots و noindex متضاربة قبل أن تتسبب في هذا الارتباك تحديدًا.
متى يجب عليك حظر صفحة ومتى لا يجب عليك ذلك
احجب المسارات التي لا تُضيف قيمة لتحسين محركات البحث وتُهدر موارد الزحف، مثل صفحات نتائج البحث الداخلية، وروابط سلة التسوق والدفع، وروابط المعلمات المُفلترة، وصفحات تسجيل دخول المسؤول. تجنّب حجب ملفات CSS أو JS أو مجلدات الصور التي يحتاجها جوجل لعرض الصفحة، لأن مشاكل العرض تؤثر بشكل مباشر على كيفية فهم المحتوى وترتيبه.
من الأخطاء الشائعة في مواقع ووردبريس حظر مجلد /wp-content/ بالكامل، مما قد يؤدي إلى حذف ملفات CSS وJS الخاصة بالقالب والتي يحتاجها جوجل لعرض الصفحة بشكل صحيح. وقد أوضح جوجل أنه يعرض الصفحات بنفس طريقة المتصفح، وأن الصفحة التي لا تُعرض بشكل صحيح قد تُؤثر سلبًا على جودة محتواها.
لا تزال الروابط الخلفية واحدة من أهم ثلاثة عوامل تصنيف جوجل، ولا قيمة لهذه الروابط إذا كانت مشاكل الزحف تمنع معالجة أفضل صفحاتك بشكل صحيح في المقام الأول. سلطة النطاق، وهي درجة من 1 إلى 100 طورتها Moz للتنبؤ بقدرة الموقع على الترتيبيعتمد هذا النظام على نفس الروابط الخلفية وإشارات الزحف، لذا فإن ملف robots.txt غير المُدار بشكل جيد قد يُؤثر سلبًا على نمو سلطة الموقع بمرور الوقت. إذا كنت تُراجع ملف تعريف الروابط العام لموقع ما أثناء تنظيف توجيهات الزحف، أداة فحص الروابط المعطلة بالجملة يمكن فحص حالة الروابط الخلفية والروابط الخارجية في نفس العملية.
كيفية اختبار ملف Robots.txt الخاص بك
اختبر التغييرات باستخدام أداة فحص عناوين URL في Google Search Console، والتي تُظهر بدقة كيف يُفسر Googlebot ملف robots.txt الحالي لأي عنوان URL مُحدد. اختبر التغييرات دائمًا قبل وبعد نشرها، لأن حرفًا واحدًا في غير موضعه قد يُسبب مشاكل أكثر مما هو مُتوقع.
من واقع خبرتي، فإن أكثر أنماط النشر أمانًا التي أستخدمها مع عملاء الوكالة هي تجهيز الملف الجديد، واختبار خمسة إلى عشرة عناوين URL تمثيلية عبر الموقع من خلال فحص عنوان URL، والتأكد من أن سطر خريطة الموقع يعمل بشكل صحيح، وبعد ذلك فقط يتم النشر المباشر خلال فترة انخفاض حركة المرور بحيث يسهل اكتشاف أي انخفاض غير متوقع والتراجع عنه بسرعة.
بحسب ما ورد، فإن 91% من صفحات الإنترنت لا تحصل على أي زيارات عضوية من جوجل، ويعود ذلك في الغالب إلى نقص الروابط الخلفية التي تشير إليها. بيانات Ahrefsيمكن لملف robots.txt المعطل أن يدفع صفحات قوية إلى نفس الفئة ببساطة عن طريق منع جوجل من الزحف إليها على الإطلاق.
قالب ملف Robots.txt يمكنك نسخه
يسمح قالب البداية الآمن لجميع برامج الزحف افتراضيًا، ويحظر فقط مسارات البحث الداخلية ومسارات الإدارة، ويعرض خريطة الموقع. هذا يجعل الملف قصيرًا وسهل القراءة، ويقلل المخاطر على المواقع التي لا تعاني من مشاكل غير معتادة في ميزانية الزحف.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
قم باستبدال مسارات الإدارة وعنوان URL لخريطة الموقع الخاصة بك، ثم تحقق منها باستخدام Search Console قبل اعتبار المهمة منجزة.
الأسئلة الشائعة
هل يقوم ملف robots.txt بإزالة الصفحات من نتائج بحث جوجل؟
لا، إنها تمنع الزحف فقط. يمكن فهرسة الصفحة المحظورة إذا عثر عليها جوجل من خلال روابط خارجية، والتي عادةً ما تظهر بدون وصف.
أين يجب أن يكون ملف robots.txt؟
في جذر النطاق، مثل example.com/robots.txt. لن يعمل إذا تم وضعه في مجلد فرعي.
هل يمكن لملف robots.txt حظر برامج الروبوت المحددة فقط؟
نعم. استخدم كتلة User-agent مخصصة تُسمي الروبوت المحدد، مثل Googlebot أو Bingbot، مع قواعد Disallow الخاصة بها منفصلة عن كتلة wildcard.
هل ملف robots.txt هو نفسه قاعدة جدار الحماية؟
لا، إنها تعليمات اختيارية تتبعها برامج الزحف الملتزمة. ولا توفر أي حماية حقيقية، ولا ينبغي الاعتماد عليها مطلقًا لإخفاء المحتوى الحساس.
كم مرة تقوم جوجل بإعادة فحص ملف robots.txt؟
تقوم جوجل عادةً بتخزين الملف مؤقتًا لمدة 24 ساعة تقريبًا، لذا فإن التغييرات لا تكون فورية ولكنها عادة ما تدخل حيز التنفيذ في غضون يوم واحد.
اضبط ملف Robots.txt الخاص بك بشكل صحيح من المرة الأولى
إذا كنت ترغب في تجنب التخمين، مولد ملفات Robots.txt الخاص بنا يقوم بإنشاء ملف نظيف ومختبر من خلال تحديدات بسيطة، و أداة DA PA المجانية الخاصة بنا يساعدك هذا على مراقبة صلاحيات الوصول أثناء معالجة مشاكل الزحف. لإجراء فحص تقني أكثر تعمقًا، مستشارنا الخبير في تحسين محركات البحث يتم تضمين توجيهات زحف مراجعات الخدمة جنبًا إلى جنب مع بقية إعداداتك التقنية.
