مولد ملف robots.txt
أنشئ ملف robots.txt احترافي لتحسين محركات البحث لموقعك الإلكتروني بسهولة.
ملف Robots.txt المُنشأ
مولد ملفات Robots.txt مجاني
يُنشئ مُولِّد ملفات Robots.txt المجاني الخاص بنا ملف robots.txt نظيفًا وصحيحًا لموقعك الإلكتروني في ثوانٍ. أضف رابط خريطة الموقع، وحدد المسارات التي ترغب في حظرها، ثم أنشئ ملفًا جاهزًا للاستخدام يمكنك نسخه أو تنزيله. لا حاجة لمعرفة قواعد اللغة، ولا تسجيل، ولا خطر من الأخطاء الإملائية التي قد تؤدي إلى حذف الموقع من فهرس الموقع عند كتابة الملف يدويًا.
يتحكم ملف robots.txt في كيفية زحف محركات البحث إلى موقعك. قد يؤدي خطأ واحد في حرف واحد إلى حظر موقعك بالكامل من جوجل دون سابق إنذار. يزيل هذا المُولِّد هذا الخطر عن طريق إنشاء الملف من مدخلاتك بدلاً من نص حر.
ما هو ملف Robots.txt؟
ملف robots.txt هو ملف نصي عادي موجود في جذر نطاقك، يُخبر برامج زحف محركات البحث بعناوين URL المسموح لها بطلبها. يوجد هذا الملف في yoursite.com/robots.txt، وهو أول ملف تتحقق منه معظم برامج الزحف قبل بدء عملية الزحف. يتحكم هذا الملف في عملية الزحف، وليس في الفهرسة، لذا قد تظهر صفحة محظورة في نتائج البحث إذا كانت مواقع أخرى تُشير إليها.
يتبع هذا الملف معيار استبعاد الروبوتات، وهو بروتوكول تحترمه جميع محركات البحث الرئيسية. يقرأه كل من Googlebot وBingbot وبرامج الزحف الأخرى الملتزمة بالمعايير قبل طلب أي شيء آخر على موقعك. أما برامج الزحف الخبيثة وبرامج الروبوت الضارة، فغالباً ما تتجاهله تماماً، ولهذا السبب لا يُعد ملف robots.txt أداة أمان.
بحسب جوجل، يمكن فهرسة صفحة ممنوعة في ملف robots.txt إذا كانت مرتبطة بمواقع أخرى، وعادةً ما تظهر بدون وصف. إذا كان هدفك هو منع صفحة من الظهور في نتائج البحث، فإن استخدام وسم noindex أو حماية الصفحة بكلمة مرور هو الأسلوب الأمثل، وليس قاعدة منع الوصول.
كيفية استخدام مولد ملف Robots.txt هذا
لإنشاء ملف robots.txt، أدخل عنوان URL لخريطة موقعك، وأضف أي مسارات ترغب في حظرها، مسار واحد في كل سطر، ثم انقر على "إنشاء". ستنشئ الأداة ملفًا منسقًا بشكل صحيح يمكنك نسخه أو تنزيله. ارفعه إلى جذر موقعك الإلكتروني بحيث يمكن الوصول إليه عبر yoursite.com/robots.txt، ثم اختبره في Google Search Console.
- أدخل عنوان URL لخريطة الموقع الخاصة بك. هذا يوجه برامج الزحف مباشرة إلى أهم صفحاتك، على سبيل المثال https://yoursite.com/sitemap_index.xml.
- أضف المسارات المراد منعها. أدرج مسارًا واحدًا في كل سطر، مثل /wp-admin/ أو /cart/. اترك هذا الحقل فارغًا للسماح بالزحف الكامل.
- انقر على "إنشاء". تُنتج الأداة ملف robots.txt نظيفًا وصحيحًا مع بناء جملة وتباعد صحيحين.
- انسخ الملف أو قم بتنزيله. احفظه باسم robots.txt مع ترميز UTF-8.
- قم بتحميله إلى جذر موقعك وتأكد من تحميله على yoursite.com/robots.txt، ثم اختبر عناوين URL الرئيسية في Search Console.
شرح بنية ملف Robots.txt: شرح التوجيهات
يتكون ملف robots.txt من أربعة توجيهات أساسية. يحدد User-agent برنامج زحف معين، ويحظر Disallow مسارًا، ويسمح Allow بمسار داخل مجلد محظور، ويشير Sitemap إلى خريطة موقعك بتنسيق XML. تُكتب كل قاعدة في سطر منفصل، وتُراعى حساسية حالة الأحرف في المسارات، وتُطبق برامج الزحف قاعدة المطابقة الأكثر تحديدًا بدلًا من أول قاعدة مُدرجة.
التوجيه | ما يفعله | مثال |
وكيل المستخدم | يُحدد اسم الزاحف الذي تنطبق عليه كتلة القاعدة | وكيل المستخدم: * |
عدم السماح | يعيق عملية الزحف على الطريق | ممنوع: /wp-admin/ |
يسمح | يسمح بمسار داخل مجلد محظور | السماح بـ: /wp-admin/admin-ajax.php |
خريطة الموقع | يُخبر برامج الزحف بمكان وجود خريطة موقعك | خريطة الموقع: https://site.com/sitemap.xml |
تأخير الزحف | يطلب من الروبوتات الانتظار بين الطلبات (تتجاهله جوجل) | تأخير الزحف: 10 |
العلامة النجمية في وكيل المستخدم: * يشير هذا الرمز إلى جميع برامج الزحف. لاستهداف برنامج زحف واحد، قم بتسميته مباشرةً، مثل وكيل المستخدم: Googlebotقيمة "عدم السماح" الفارغة تسمح بكل شيء، بينما ممنوع: / يحجب الموقع بأكمله.
ما يُسمح به وما يُمنع
احجب المسارات التي لا تُضيف قيمةً للبحث والتي تُهدر موارد الزحف، مثل صفحات الإدارة، وروابط سلة التسوق والدفع، ونتائج البحث الداخلية، وروابط تصفية الملفات المُكررة. تجنّب حجب ملفات CSS أو JavaScript أو مجلدات الصور التي تحتاجها محركات البحث لعرض صفحاتك، لأنّ الصفحة التي لا يُمكن عرضها بشكلٍ صحيح قد تُؤثّر سلبًا على جودة فهرسة موقعك.
تشمل المسارات الشائعة التي تستحق الحظر في معظم المواقع ما يلي:
- /wp-admin/ مع السماح /wp-admin/admin-ajax.php
- صفحات نتائج البحث الداخلية مثل /?s=
- روابط سلة التسوق، وصفحة الدفع، وحسابات المتاجر الإلكترونية
- مجلدات التجهيز أو التطوير
- صفحات الشكر والتأكيد بدون أي غرض بحثي
تعتمد محركات البحث على ميزانية الزحف، وهي عدد الصفحات التي يزحف إليها برنامج الزحف خلال فترة زمنية محددة. يساعد حجب الأقسام ذات القيمة المنخفضة برامج الزحف على توجيه هذه الميزانية نحو الصفحات التي تجلب الزيارات فعليًا. تزداد أهمية هذا الأمر مع نمو الموقع، حيث أن 91% من الصفحات لا تحصل على أي زيارات عضوية من جوجل، وفقًا لـ Ahrefsومخلفات الزحف لا تزيد الأمر إلا سوءاً.
التحكم في برامج الزحف التي تعمل بالذكاء الاصطناعي في عام 2026
لم يعد ملف robots.txt الحديث مقتصراً على Googlebot وBingbot فقط. يمكنك الآن السماح أو حظر برامج الزحف المدعومة بالذكاء الاصطناعي مثل GPTBot وClaudeBot وGoogle-Extended وPerplexityBot، بالإضافة إلى برامج زحف تحسين محركات البحث مثل AhrefsBot وSemrushBot. يتم التحكم بكل منها عبر قسم User-agent الخاص بها، مما يمنحك تحكماً مباشراً في تحديد برامج الزحف التي يمكنها الوصول إلى محتواك لأغراض التدريب أو الفهرسة.
إذا كنت ترغب في منع برنامج زحف الذكاء الاصطناعي معين من استخدام محتواك، فأضف كتلة مخصصة له:
- وكيل المستخدم: GPTBot ثم ممنوع: / يحظر برنامج الزحف الخاص بشركة OpenAI
- وكيل المستخدم: Google-Extended ثم ممنوع: / يستبعد هذا الخيار تدريب الذكاء الاصطناعي من جوجل مع الحفاظ على زحف البحث العادي.
- وكيل المستخدم: CCBot ثم ممنوع: / يحظر برنامج Common Crawl bot المستخدم في العديد من مجموعات بيانات الذكاء الاصطناعي
لا يؤثر حظر هذه المواقع على ترتيب نتائج بحثك المعتادة في جوجل أو بينج، لأنها تستخدم برامج تصفح مختلفة. إنما يقتصر الأمر على التحكم في وصول الذكاء الاصطناعي وبيانات الجهات الخارجية.
ملف Robots.txt لـ WordPress
يُنشئ ووردبريس ملف robots.txt افتراضيًا تلقائيًا، لكن تحميل ملف مخصص يمنحك تحكمًا كاملًا. يُحظر إعداد ووردبريس الآمن منطقة الإدارة والبحث الداخلي، مع السماح بملف admin-ajax.php وعرض خريطة الموقع. تجنب حظر مجلد /wp-content/ بالكامل، لأنه يحتوي على ملفات القوالب والإضافات التي يحتاجها جوجل لعرض صفحاتك.
يبدو قالب البداية النظيف لموقع ووردبريس كالتالي:
وكيل المستخدم: *
ممنوع: /wp-admin/
ممنوع: /?s=
السماح بـ: /wp-admin/admin-ajax.php
خريطة الموقع: https://yoursite.com/sitemap_index.xml
استبدل عنوان URL الخاص بخريطتك، ثم أنشئ الملف المذكور أعلاه، وارفعه إلى مجلدك الرئيسي. إذا كنت تدير متجرًا إلكترونيًا، فأضف مسارات سلة التسوق، وصفحة الدفع، وحسابي إلى قائمة "المسارات الممنوعة".
أخطاء شائعة يجب تجنبها في ملف Robots.txt
أكثر الأخطاء ضرراً في ملف robots.txt هو ترك السطر Disallow: / في الملف المُفعّل، مما يؤدي إلى حظر موقعك بالكامل. تشمل الأخطاء الشائعة الأخرى حظر ملفات CSS وJavaScript، وإدراج صفحات حساسة يقوم الملف بالإعلان عنها علنًا، والاعتقاد بأن ملف robots.txt يحذف الصفحات من فهرس جوجل بينما هو في الواقع يتحكم فقط في عملية الزحف.
- الكتلة الكاملة غير المقصودة. ضال ممنوع: / يُخبر هذا الأمر جميع برامج الزحف بتجاهل موقعك بالكامل. يحدث هذا غالبًا عند نشر ملف تجريبي أثناء عملية نقل البيانات.
- حظر الملفات الضرورية لعملية العرض. إن منع استخدام CSS أو JS الخاص بالثيم يمنع جوجل من رؤية صفحتك كما يراها المستخدم، مما قد يضر بترتيب الصفحات، خاصة على أدوات الإنشاء المرئية مثل Elementor.
- استخدام ملف robots.txt حفاظاً على الخصوصية. الملف عام، لذا فإن ذكر مساره الحساس يُظهر للجميع مكانه. استخدم حماية بكلمة مرور أو خاصية منع فهرسة الملفات بدلاً من ذلك.
- مراعاة حالة الأحرف. المسارات حساسة لحالة الأحرف، لذا /صورة/ و /صورة/ يتم التعامل معها كدليلين مختلفين.
إن استخدام مولد بدلاً من كتابة الملف يدويًا يزيل جميع هذه المخاطر تقريبًا، حيث يتم بناء الصيغة بشكل صحيح من مدخلاتك في كل مرة.
ملف Robots.txt مقابل خريطة الموقع مقابل عدم فهرسة الموقع
تؤدي هذه العناصر الثلاثة وظائف مختلفة. يتحكم ملف robots.txt في المسارات التي يمكن لبرامج الزحف الوصول إليها، بينما تسرد خريطة الموقع عناوين URL التي ترغب في زحفها وفهرستها، أما علامة noindex فتمنع ظهور صفحة قابلة للزحف في نتائج البحث. يستخدم إعداد تحسين محركات البحث التقني السليم ملف robots.txt وخريطة الموقع معًا، ويحتفظ بعلامة noindex للصفحات التي يجب إبقاؤها خارج نتائج بحث جوجل.
من الأخطاء الشائعة تناقض هذه الإشارات، كإدراج عنوان URL في خريطة الموقع مع حظره في ملف robots.txt. إذا كنت ترغب في إزالة صفحة من نتائج البحث، فاسمح بالزحف إليها وأضف وسم noindex، لأن جوجل لا يستطيع قراءة وسم noindex في صفحة غير مسموح له بالزحف إليها. لمزيد من التفاصيل، راجع أدلتنا حول... مدونة تحسين محركات البحث.
لماذا يُساعد ملف robots.txt المُناسب في تحسين محركات البحث؟
يُحسّن ملف robots.txt المُهيأ جيدًا من تحسين محركات البحث (SEO) من خلال توجيه برامج الزحف نحو صفحاتك القيّمة وتجنب الصفحات ذات القيمة المنخفضة، مما يُحافظ على ميزانية الزحف ويُساعد على فهرسة المحتوى المهم بشكل أسرع. مع أن ملف robots.txt ليس عاملًا مباشرًا في ترتيب الموقع، إلا أن كفاءة الزحف تُؤثر بشكل مباشر على سرعة وكفاءة معالجة موقعك.
لا تزال الروابط الخلفية واحدة من أهم ثلاثة عوامل تصنيف جوجل، ولا قيمة لأي من تلك السلطة المكتسبة إذا كانت مشاكل الزحف تمنع معالجة أفضل صفحاتك بشكل صحيح. سلطة النطاقيُحسب مؤشر Moz، الذي يتراوح من 1 إلى 100 ويعتمد بشكل كبير على إشارات الروابط الخلفية، بشكل أسرع على المواقع التي تعمل فيها عمليات الزحف والفهرسة بسلاسة. بعد ضبط ملف robots.txt، تحقق من موثوقية موقعك باستخدام أداة التحقق لدينا. أداة DA PA مجانية وقم بفحص الروابط المعطلة التي تُهدر موارد الزحف باستخدام برنامجنا مدقق الروابط المكسورة بالجملة.
الأسئلة الشائعة
هل مولد ملف robots.txt هذا مجاني؟
نعم، مولد ملفات Robots.txt الخاص بنا مجاني تمامًا بدون تسجيل أو قيود. أدخل خريطة موقعك وحدد المسارات الممنوعة، ثم أنشئ الملف وانسخه أو حمله فورًا. يمكنك العودة وإعادة إنشاء ملف محدّث في أي وقت تتغير فيه بنية موقعك، بالإضافة إلى مجموعتنا الكاملة من الميزات. أدوات تحسين محركات البحث المجانية.
أين أضع ملف robots.txt بعد إنشائه؟
ارفع الملف إلى المجلد الرئيسي لموقعك ليتم تحميله على الرابط yoursite.com/robots.txt. لن يعمل في مجلد فرعي. في ووردبريس، يمكنك رفعه عبر بروتوكول نقل الملفات (FTP) أو لصق محتوياته في محرر ملف robots.txt الخاص بإضافة تحسين محركات البحث (SEO) لديك، مثل Yoast أو Rank Math.
هل يقوم ملف robots.txt بحذف صفحاتي من نتائج بحث جوجل؟
لا. ملف robots.txt يتحكم فقط في الزحف، وليس في الفهرسة. قد تظهر صفحة محظورة في نتائج البحث إذا ربطت بها مواقع أخرى، عادةً بدون وصف. لإزالة صفحة من نتائج البحث، استخدم وسم noindex على صفحة قابلة للزحف أو قم بحمايتها بكلمة مرور.
هل يمكنني حظر برامج الزحف التي تعمل بالذكاء الاصطناعي مثل GPTBot باستخدام ملف robots.txt؟
نعم. أضف كتلة مخصصة لوكيل المستخدم الخاص بالبوت، مثل GPTBot أو ClaudeBot أو Google-Extended، متبوعة بـ Disallow: / لحظره. هذا يمنع برنامج الزحف المدعوم بالذكاء الاصطناعي من الوصول إلى محتواك دون التأثير على ترتيبك المعتاد في نتائج بحث جوجل أو بينج، لأن هذه المواقع تستخدم وكلاء مستخدمين مختلفين.
كيف يمكنني اختبار ملف robots.txt الخاص بي بعد تحميله؟
افتح Google Search Console واستخدم أداة فحص عناوين URL على بعض الصفحات الرئيسية للتأكد من عدم حظرها بشكل غير متوقع. اختبر دائمًا قبل وبعد التغييرات، لأن حرفًا واحدًا في غير موضعه قد يحظر صفحات أكثر بكثير مما هو مُخطط له. قم بإجراء فحص سريع لسلطة الموقع باستخدام أداتنا. مدقق سلطة النطاقات بالجملة.
أنشئ ملف Robots.txt الخاص بك الآن
ارجع للأعلى، وأدخل رابط خريطة موقعك وأي مسارات ترغب في حظرها، ثم أنشئ ملف robots.txt نظيفًا وصحيحًا في ثوانٍ. الخدمة مجانية، ولا تتطلب تسجيلًا، وتزيل مخاطر الأخطاء الإملائية التي تصاحب كتابة الملف يدويًا. بمجرد أن يصبح إعداد الزحف الخاص بك نظيفًا، استكشف خدماتنا مجموعة كاملة من أدوات تحسين محركات البحث أو احصل على رأي ثانٍ من فريقنا خبير استشاري في تحسين محركات البحث خدمة.