يقوم ووردبريس بإنشاء ملف robots.txt افتراضي تلقائيًا إذا لم تقم بإنشاء ملف فعلي، ومعظم أصحاب المواقع لا يعرفون محتواه. عادةً ما يكون هذا الملف الافتراضي مناسبًا للمدونات الصغيرة، ولكن أي شخص يستخدم ووكومرس أو إضافات العضوية أو مكتبة محتوى كبيرة يحتاج إلى تحكم أكبر مما يوفره الملف الافتراضي.
أين يخفي ووردبريس ملف robots.txt الافتراضي؟
يقوم ووردبريس بإنشاء ملف robots.txt افتراضي في المسار yoursite.com/robots.txt حتى بدون وجود ملف فعلي في المجلد الرئيسي. عادةً ما يحظر هذا الإصدار الافتراضي الوصول إلى /wp-admin/ بينما يسمح بالوصول إلى admin-ajax.php، ويختفي بمجرد تحميل ملف robots.txt حقيقي لتجاوزه.
يمكنك رؤية هذا الإعداد الافتراضي بزيارة مسار ملف robots.txt الخاص بموقعك مباشرةً في المتصفح. إذا لم تقم بتعديله مطلقًا، فسترى النسخة المدمجة في نظام ووردبريس الأساسي، وليس إعدادًا من قِبل إضافة أو مطور.
تعديل ملف Robots.txt باستخدام إضافة لتحسين محركات البحث
تتضمن معظم إضافات تحسين محركات البحث الرئيسية في ووردبريس، مثل Yoast SEO وRank Math، محررًا مدمجًا لملف robots.txt ضمن إعدادات الأدوات. تُعد هذه الطريقة الأسهل للمستخدمين غير التقنيين، إذ لا تتطلب تحميل أي ملفات أو الوصول إلى بروتوكول نقل الملفات (FTP)، كما أنها تحفظ التغييرات مباشرةً من خلال لوحة تحكم ووردبريس.
يقوم الملحق بكتابة ملف robots.txt فعلي إلى الخادم في المرة الأولى التي تقوم فيها بحفظ التغييرات من خلال محرره، مما يؤدي إلى استبدال الملف الافتراضي بشكل دائم.
- Yoast SEO: قائمة الأدوات، محرر الملفات
- حساب الرتب: الإعدادات العامة، تحرير ملف robots.txt
- كل ما تحتاجه لتحسين محركات البحث: أدوات، محرر ملف robots.txt
تعديل ملف Robots.txt يدويًا عبر بروتوكول نقل الملفات (FTP)
اتصل بخادمك باستخدام برنامج FTP، ثم انتقل إلى المجلد الرئيسي حيث يوجد ملف wp-config.php، وقم إما بتعديل ملف robots.txt الموجود أو إنشاء ملف نصي جديد بنفس الاسم. تعمل هذه الطريقة بغض النظر عن الإضافات المثبتة، وتمنحك تحكمًا كاملًا في المحتوى الأساسي.
من واقع خبرتي، هذا هو المسار الذي أتبعه عندما يواجه محرر إضافات تحسين محركات البحث لدى أحد العملاء خللاً، أو عندما أحتاج إلى نقل ملف واحد إلى عدة مواقع ووردبريس في وقت واحد أثناء عملية تنظيف شاملة للوكالة. يُزيل تحميل الملف مباشرةً أي مشاكل خاصة بالإضافة إلى الإضافة.
مسارات خاصة بـ WordPress تستحق الحظر
إضافةً إلى حظر قسم /wp-admin/ الافتراضي، تستفيد مواقع ووردبريس عادةً من منع روابط نتائج البحث الداخلية، وروابط الرد على التعليقات التي تحتوي على معلمات تتبع، وأنواع خلاصات الأخبار المخصصة للمسؤولين فقط. لا تُضيف أيٌّ من هذه المسارات قيمةً للبحث، ويساعد حظرها برامج الزحف على قضاء وقت أطول في تحليل المحتوى الفعلي.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Disallow: /search/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
تجنب منع مجلد /wp-content/ بالكامل، لأن هذا المسار يحتوي على ملفات أصول القالب والمكونات الإضافية التي تحتاجها جوجل لعرض الصفحات بشكل صحيح.
اعتبارات حول ووكومرس وإضافات العضوية
تستفيد متاجر WooCommerce عادةً من حظر مسارات سلة التسوق، والدفع، وحسابي في ملف robots.txt، لأن هذه الصفحات خاصة بكل مستخدم ولا تُضيف أي قيمة لتحسين محركات البحث. غالبًا ما تُنشئ إضافات العضوية وجدار الدفع عناوين URL مماثلة مرتبطة بالحساب، والتي يُنصح باستبعادها بنفس الطريقة.
بحسب ما ورد، فإن 91% من الصفحات لا تحصل على أي زيارات عضوية من جوجل. Ahrefsوغالباً ما يكون ذلك لأن الصفحات التي تتنافس على تلك الزيارات تكون ضعيفة أو مكررة أو ببساطة ليست من نوع المحتوى الذي يبحث عنه أي شخص، وهو بالضبط التصنيف الذي تندرج تحته صفحات سلة التسوق والحساب.
إذا كنت تدير متجرًا على منصة WooCommerce وترغب في التحقق من أداء صفحات منتجاتك بناءً على مؤشرات المصداقية على نطاق واسع، مدقق DA PA الخاص بنا يتعامل مع ما يصل إلى 50 نطاقًا أو مسارًا في عملية واحدة.
اختبار التغييرات دون تعطيل الموقع
بعد حفظ أي تغيير في ملف robots.txt في ووردبريس، اختبر الملف المباشر عن طريق زيارة yoursite.com/robots.txt مباشرة في متصفح، ثم قم بتشغيل عدد قليل من الصفحات الرئيسية من خلال أداة فحص عناوين URL الخاصة بـ Google Search Console للتأكد من عدم حظرها بشكل غير متوقع.
من واقع التجربة، فإن مواقع ووردبريس التي تتعرض لأشد الأضرار هي تلك التي تستخدم عمليات ترحيل آلية أو أدوات مزامنة من بيئة الاختبار إلى بيئة الإنتاج، حيث يتم نقل ملف robots.txt الذي تم تعديله لبيئة التطوير بهدوء إلى عملية النشر في بيئة الإنتاج دون أن يقوم أي شخص بمراجعته في قائمة التحقق من النشر.
لا تزال الروابط الخلفية واحدة من أهم ثلاثة عوامل تصنيف جوجل، ويمكن أن يؤدي تطبيق ملف robots.txt المعطل على موقع ووردبريس إلى إهدار شهور من العمل على الروابط الخلفية في عملية حفظ واحدة غير مدروسة. سلطة النطاق، وهي درجة Moz من 1 إلى 100 مبنية إلى حد كبير على إشارات الروابط الخلفية نفسها.يُعدّ هذا أحد أسهل المقاييس التي يمكن مراقبتها للكشف المبكر عن علامات وجود مشكلة في الزحف. تحقق دائمًا قبل المتابعة.
الأسئلة الشائعة
هل أحتاج إلى إضافة robots.txt إذا كنت أستخدم بالفعل Yoast أو Rank Math؟
لا، كلا الإضافتين تتضمنان محرر robots.txt مدمج، لذا فإن إضافة منفصلة مخصصة غير ضرورية.
هل سيؤدي حذف ملف robots.txt المخصص إلى إعادة الإعدادات الافتراضية لـ WordPress؟
نعم، يؤدي حذف الملف الفعلي إلى استعادة الإصدار الافتراضي الافتراضي لنواة ووردبريس تلقائيًا.
هل يجب عليّ حظر /wp-includes/ في ملف robots.txt الخاص بـ WordPress؟
بشكل عام لا، لأن نواة ووردبريس الحديثة لم تعد بحاجة إلى حظر هذا، وقد تكون بعض الأصول الموجودة بداخلها مطلوبة للعرض.
هل يمكنني تطبيق قواعد مختلفة على ملف robots.txt لموقع ووردبريس تجريبي؟
نعم، ويجب عليك ذلك، لأن مواقع الاختبار عادة ما تكون أفضل حالاً عند حظرها بالكامل باستخدام `Disallow: /` حتى الإطلاق، ثم يتم التبديل إلى مجموعة قواعد الإنتاج.
كيف يمكنني التحقق مما إذا كان ملف robots.txt الخاص بموقع ووردبريس الخاص بي مُفعّلاً بالفعل؟
قم بزيارة yoursite.com/robots.txt مباشرةً في أي متصفح. إذا ظهرت قواعدك المخصصة بدلاً من القواعد الافتراضية العامة لـ WordPress، فهذا يعني أن الملف مُفعّل.
أنشئ ملف robots.txt أكثر أمانًا لموقعك على ووردبريس
مولد ملفات Robots.txt الخاص بنا يُنشئ ملفًا جاهزًا للاستخدام مع ووردبريس من خلال تحديدات بسيطة، دون الحاجة إلى بروتوكول نقل الملفات (FTP) أو إعدادات إضافية. لتتبع موثوقية المواقع بشكل مستمر عبر مواقع العملاء، أداة DA PA المجانية الخاصة بنا يغطي ما يصل إلى 50 نطاقًا في وقت واحد، و مستشارنا الخبير في تحسين محركات البحث بإمكان الخدمة مراجعة إعداداتك التقنية بالكامل إذا كنت ترغب في الحصول على رأي ثانٍ.
