يبدو ملف Robots.txt بسيطًا لدرجة أن معظم الناس لا يختبرونه بعد كتابته. هذه الثقة المفرطة هي السبب الرئيسي وراء الضرر الكبير الذي يُسببه. حرف واحد خاطئ قد يُعطّل مجلدًا مليئًا بالصفحات دون أن يلاحظه أحد، ولأنه لا توجد رسالة خطأ، لا أحد يلاحظ ذلك حتى تبدأ التصنيفات بالتراجع.
حجب موقع كامل عن طريق الخطأ
أكثر الأخطاء ضرراً في ملف robots.txt هو ترك السطر Disallow: / في الملف المُستخدم، مما يحظر الوصول إلى جميع عناوين URL على النطاق من قِبل جميع برامج الزحف. يحدث هذا غالباً عند نسخ ملف robots.txt من بيئة تجريبية إلى بيئة الإنتاج دون مراجعته أثناء نقل الموقع أو إعادة إطلاقه.
من واقع خبرتي، هذه هي أكثر حالات الطوارئ شيوعاً التي يتم استدعائي إليها. ينتهي مطور من إعادة تصميم الموقع، ويتم نشر ملف robots.txt التجريبي الذي يحتوي على خاصية "Disallow" بشكل عام مع كل شيء آخر، وبعد أسبوعين إلى ثلاثة أسابيع، ينخفض عدد الزيارات العضوية بشكل حاد دون سبب واضح حتى يقوم أحدهم بفحص الملف نفسه.
يُمكن إصلاح المشكلة بسرعة بمجرد اكتشافها، لكن التعافي ليس فورياً. يحتاج جوجل إلى إعادة فهرسة ومعالجة عناوين URL المتأثرة، وهو ما قد يستغرق أياماً أو أسابيع حسب حجم الموقع.
حظر ملفات CSS و JavaScript
يؤدي حظر مجلدات مثل /wp-content/themes/ أو /assets/js/ إلى منع برنامج Googlebot من تحميل ملفات التنسيق والبرامج النصية اللازمة لعرض الصفحة بشكل صحيح. يُقيّم جوجل الصفحات المعروضة، لذا فإن الصفحة التي تُحمّل بشكل معطوب أو غير مكتمل قد تُؤخذ في الاعتبار بشكل خاطئ من حيث التصميم وجودة المحتوى أثناء الفهرسة.
عادة ما يأتي هذا من قائمة تدقيق أمنية قديمة أوصت بحظر مجلدات "system" دون التمييز بين مسارات الواجهة الخلفية الحساسة ومجلدات الأصول العامة التي يحتاجها القالب لعرضها بشكل صحيح.
- تأكد من عدم حظر مجلدَي /wp-content/themes/ و /wp-content/plugins/ بشكل عام.
- اسمح صراحةً بامتدادات الملفات الشائعة مثل .css و .js إذا كان المجلد الأصل محظورًا
- استخدم خاصية فحص عنوان URL في Search Console للتأكد من أن لقطة الشاشة المعروضة تبدو صحيحة
استخدام ملف Robots.txt لمحاولة إخفاء الصفحات الحساسة
ملف Robots.txt هو ملف عام يمكن لأي شخص الاطلاع عليه بزيارة yoursite.com/robots.txt، لذا فإن إدراج مسارات حساسة فيه يُعدّ بمثابة إعلان عن موقعها. كما أنه لا يمنع فهرسة الموقع إذا ربط موقع آخر بهذا المسار، إذ لا يزال بإمكان جوجل فهرسة عنوان URL لم يسبق له الزحف إليه.
إذا كان من الضروري حقًا إبقاء مسار ما خارج نتائج البحث، فإن حماية كلمة المرور أو علامة noindex على صفحة يسهل الوصول إليها هي الطريقة الصحيحة، وليس سطر Disallow الذي يخبر الزوار الفضوليين ببساطة أين ينظرون بالضبط.
وفقًا لـ 55.24% من صفحات الويب لا تحتوي على أي روابط خلفية تشير إليها Ahrefsوهذا يعني أن معظم الصفحات لا تواجه مشكلة الفهرسة عبر الروابط الخارجية. أما الصفحات التي يتم ربطها فهي عادةً تلك التي يرغب أصحاب المواقع بشدة في حمايتها، مما يجعل الاعتماد على ملف robots.txt لحماية الخصوصية محفوفًا بالمخاطر.
نسيان سطر خريطة الموقع
إن حذف توجيه خريطة الموقع ليس كارثيًا، حيث يمكن أيضًا إرسال خرائط المواقع مباشرة من خلال Search Console، ولكن تضمينه يجعل الملف أكثر اكتمالًا ويعطي أي برنامج زحف مسارًا مباشرًا إلى عناوين URL الأكثر أهمية لديك دون الاعتماد على إرسال منفصل.
يكلف سطرًا واحدًا ويستغرق بضع ثوانٍ، لذلك لا يوجد سبب يذكر لتخطيه في موقع تم تكوينه بشكل صحيح.
قواعد متضاربة عبر عدة خطوط حظر
عندما تتداخل قواعد المنع والسماح المتعددة على نفس المسار، يطبق برنامج Googlebot القاعدة الأكثر تحديدًا بدلًا من القاعدة الأولى المدرجة. غالبًا ما تتعارض قوائم القواعد المتداخلة الطويلة، التي يكتبها أشخاص مختلفون على مر الزمن، بطرق لا يلاحظها أحد إلا عند انخفاض حركة المرور على قسم معين.
من واقع الخبرة، فإن أفضل حل لملف قديم فوضوي هو البدء بمجموعة قواعد قصيرة ومدروسة بدلاً من محاولة ترقيع سنوات من الأسطر المتراكمة، خاصة على المواقع التي غيرت نظام إدارة المحتوى أو الوكالة أكثر من مرة.
لا تزال الروابط الخلفية واحدة من أهم ثلاثة عوامل تصنيف جوجل، لذلك يجدر التذكر أن أخطاء الزحف الناتجة عن القواعد المتضاربة يمكن أن تحجب الصفحات التي من المفترض أن يدعمها عملك في بناء الروابط.
عدم إجراء اختبار قبل النشر
أسرع طريقة لاكتشاف خطأ في ملف robots.txt هي اختبار عناوين URL نموذجية باستخدام أداة فحص عناوين URL في Google Search Console قبل وبعد نشر الملف الجديد. هذه العادة البسيطة تمنع تقريبًا كل المشاكل المذكورة أعلاه، لأن الأداة تُظهر بدقة كيف يفسر Google الملف المنشور حاليًا.
تعتبر Moz أن درجة البريد العشوائي التي تزيد عن 30% تشكل خطراً عالياً لسبب مختلف تمامًا، وهو جودة الروابط، ولكن نفس المبدأ ينطبق على ملف robots.txt: تحقق قبل أن تفترض، ولا تنتظر حدوث انخفاض لتكتشف أن هناك خطأ ما.
الأسئلة الشائعة
كيف أعرف ما إذا كان ملف robots.txt الخاص بي يحجب شيئًا مهمًا؟
افتح وحدة تحكم البحث، واستخدم فحص عنوان URL على الصفحات الرئيسية، وتحقق مما إذا كانت الأداة تُبلغ عن الصفحة على أنها محظورة بواسطة robots.txt.
هل يمكن أن يؤدي خطأ في ملف robots.txt إلى إزالة موقعي بالكامل من فهرس محركات البحث؟
ليس على الفور، ولكن يمكن لحظر شامل أن يوقف إعادة الزحف، وتسقط الصفحات بشكل طبيعي من الفهرس بمرور الوقت حيث تفشل جوجل في إعادة زيارتها.
هل يجب عليّ حظر صفحات الوسوم والتصنيفات في ووردبريس؟
يعتمد الأمر على ما إذا كانت هذه المحتويات تضيف قيمة فريدة أم أنها تُنشئ محتوىً مكررًا ضعيفًا. العديد من المواقع تستفيد أكثر من منع فهرسة هذه المحتويات بدلاً من حظر الزحف الكامل.
لماذا لا تزال صفحتي تظهر في نتائج بحث جوجل إذا كانت محظورة في ملف robots.txt؟
يمكن لجوجل فهرسة عنوان URL الذي اكتشفه من خلال رابط خارجي حتى بدون الزحف إليه، وهذا هو السبب في أن الصفحات المحظورة لا تزال تظهر أحيانًا بدون وصف.
ما مدى سرعة إصلاح خطأ في ملف robots.txt بمجرد اكتشافه؟
يتم تحديث الملف نفسه في غضون يوم تقريبًا حيث يقوم جوجل بإعادة تخزينه مؤقتًا، ولكن الاستعادة الكاملة للتصنيفات تعتمد على المدة التي استمر فيها الخطأ وحجم القسم المتأثر.
راجع ملفك قبل أن يكلفك ذلك حركة مرور البيانات
مولد ملفات Robots.txt الخاص بنا يبني مجموعة قواعد واضحة من التحديدات بدلاً من النصوص الحرة، مما يزيل خطر الأخطاء المطبعية تمامًا. قم بإقرانه مع مدقق DA PA الخاص بنا لمراقبة مستوى الصلاحية أثناء إصلاح مشكلات الزحف، والتحقق من ذلك. مدونتنا لتحسين محركات البحث للحصول على المزيد من التحليلات التقنية لتحسين محركات البحث مثل هذا التحليل.
