تقع خريطة الموقع وملف robots.txt في نفس الطبقة التقنية للموقع، وكلاهما ملفات نصية عادية تفحصها برامج الزحف مبكرًا، وهذا التقارب يدفع الكثيرين إلى افتراض أنهما يؤديان نفس الوظيفة تقريبًا. في الواقع، يؤديان وظيفتين متناقضتين تقريبًا، أحدهما يُسهّل عملية الزحف، والآخر يُقيّدها.
ما الذي تفعله خريطة الموقع فعليًا؟
خريطة الموقع XML هي ملف يسرد عناوين المواقع الإلكترونية (URLs) على موقعك التي ترغب في أن تزحف إليها محركات البحث وتأخذها في الاعتبار عند فهرسة الموقع، وغالبًا ما تتضمن بيانات وصفية مثل تاريخ آخر تعديل. وهي بمثابة دعوة، وليست ضمانًا، لأن جوجل لا تزال تقرر بشكل مستقل ما إذا كانت ستزحف إلى كل عنوان URL مدرج وتفهرسه أم لا.
تُعد خريطة الموقع مفيدة للغاية للمواقع الكبيرة، والمواقع الجديدة ذات الروابط الخارجية القليلة، أو المواقع التي يصعب اكتشاف محتواها من خلال الزحف العادي وحده.
ما يفعله ملف Robots.txt فعلياً
ملف robots.txt هو ملف نصي عادي يقيّد المسارات التي يُسمح لبرامج الزحف بطلبها من خادمك. فبينما تقول خريطة الموقع "يرجى الزحف إلى هذه المواقع"، يقول ملف robots.txt "لا تزحف إلى هذه المواقع"، مما يجعل الملفين متناقضين وظيفيًا في الغرض على الرغم من وجودهما في طبقة تقنية متشابهة من الموقع.
مولد ملفات Robots.txt الخاص بنا يقوم هذا البرنامج بإنشاء هذا الملف من خلال تحديدات بسيطة، مما يتجنب الخطأ الشائع المتمثل في حظر أكثر مما هو مقصود عن طريق الخطأ بحرف دخيل في قاعدة مكتوبة يدويًا.
هل يحتاجون إلى الإشارة إلى بعضهم البعض؟
يتضمن ملف Robots.txt عادةً توجيه Sitemap الذي يشير إلى موقع خريطة الموقع، وهو ما يُعتبر ممارسة جيدة ولكنه ليس شرطًا أساسيًا، حيث يمكن أيضًا إرسال خرائط المواقع مباشرةً عبر Google Search Console. يعمل الملفان بشكل مستقل ولا يتطلب أحدهما الآخر ليعملا بشكل صحيح.
من واقع خبرتي، أضيف سطر Sitemap إلى كل ملف robots.txt تقريبًا أقوم بكتابته بغض النظر عما إذا كان العميل قد أرسله أيضًا من خلال Search Console، لأنه يكلف سطرًا واحدًا ويعطي أي برنامج زحف مسارًا مباشرًا إلى خريطة الموقع بدون أي عيب.
ماذا يحدث إذا أدرجت خريطة الموقع عنوان URL محظورًا؟
إذا ظهر عنوان URL في خريطة موقعك ولكنه محظور بواسطة ملف robots.txt، فإن هذا يرسل إشارة متناقضة تُهدر قيمة إدخال خريطة الموقع، لأن جوجل لا يستطيع الزحف إلى عنوان URL تم توجيهه لتجنبه. يُعد هذا التناقض أحد أكثر أخطاء تحسين محركات البحث التقنية شيوعًا التي يتم اكتشافها أثناء عمليات تدقيق المواقع.
من واقع التجربة، يظهر هذا التناقض بالضبط باستمرار في المواقع التي يتم فيها إنشاء خريطة الموقع تلقائيًا بواسطة إضافة بينما يتم تحرير ملف robots.txt يدويًا بواسطة شخص مختلف، دون أن يقوم أحد بالتحقق من أن الملفين يتفقان بالفعل مع بعضهما البعض.
هل تحتاج إلى كلا الملفين؟
تستفيد جميع المواقع تقريبًا من وجود خريطة موقع، لأنها تُسهّل عملية اكتشاف الموقع بغض النظر عن حجمه. يُعد ملف robots.txt اختياريًا من الناحية التقنية، حيث يقوم ووردبريس ومعظم منصات إدارة المحتوى بإنشاء ملف افتراضي أساسي تلقائيًا، ولكن يُنصح بإنشاء ملف مخصص عند الحاجة إلى إدارة ميزانية الزحف أو حظر مسارات محددة.
يدعم إعداد الزحف النظيف أيضًا سلطة النطاق النمو بشكل غير مباشر، لأن DA مبني إلى حد كبير على إشارات الروابط الخلفية التي لا تُحتسب إلا عندما يتمكن جوجل فعليًا من الزحف إلى الصفحة التي تشير إليها تلك الروابط وفهرستها.
| ملف | غاية | مطلوب؟ |
|---|---|---|
| خريطة الموقع | قائمة عناوين المواقع الإلكترونية التي يجب الزحف إليها وفهرستها | يُنصح به بشدة لكل موقع |
| ملف Robots.txt | يقيد وصول برامج الزحف إلى مسارات محددة | اختياري، لكن من المفيد تخصيصه بما يتجاوز الإعدادات الافتراضية لنظام إدارة المحتوى. |
التحقق من اتساق الملفين
يعني التحقق من الاتساق التأكد من عدم وجود أي عنوان URL مدرج في خريطة موقعك محظور في ملف robots.txt، وأن موقع خريطة موقعك مُشار إليه بشكل صحيح إذا اخترت تضمينه كتوجيه. يكشف هذا الفحص السريع أحد أكثر أخطاء تحسين محركات البحث شيوعًا وأسهلها إصلاحًا.
لا تزال الروابط الخلفية من أهم ثلاثة عوامل لتصنيف جوجل، ولا تصل أي من هذه الروابط المكتسبة إلى الصفحة بشكل صحيح إذا كان عدم تطابق خريطة الموقع وملف robots.txt يمنع جوجل من فهرستها. 91% من الصفحات لا تحصل على أي زيارات عضوية من جوجل، وفقًا لـ Ahrefsومثل هذا التناقض في الزحف هو أحد المشكلات القليلة التي تؤدي إلى توقف حركة المرور والتي تستغرق دقائق للعثور عليها وإصلاحها بمجرد معرفة مكان البحث عنها.
الأسئلة الشائعة
هل يمكن للموقع أن يعمل بشكل جيد بدون خريطة موقع على الإطلاق؟
قد تتمكن المواقع الأصغر ذات الروابط الداخلية القوية أحيانًا من الاستغناء عن خريطة الموقع، ولكنها تظل وسيلة سهلة لدعم الزحف بغض النظر عن الحجم.
هل يجب تحديث ملف robots.txt في كل مرة أضيف فيها صفحة جديدة؟
لا، ملف robots.txt يحتاج إلى تحديثات فقط عندما تريد تغيير المسارات المحظورة، وليس لكل صفحة جديدة تنشرها.
أين يجب عليّ إرسال خريطة الموقع الخاصة بي بالإضافة إلى الإشارة إليها في ملف robots.txt؟
قم بإرسالها مباشرة من خلال Google Search Console و Bing Webmaster Tools للحصول على نتائج بحث موثوقة.
هل يمكنني إنشاء عدة خرائط مواقع لموقع واحد؟
نعم، غالباً ما تستخدم المواقع الكبيرة ملف فهرس لخريطة الموقع يشير إلى العديد من خرائط المواقع الأصغر حجماً المنظمة حسب نوع المحتوى.
هل ستتجاهل جوجل خريطة الموقع الخاصة بي إذا كان ملف robots.txt الخاص بي يحتوي على أخطاء؟
ليس بالضرورة خريطة الموقع بأكملها، ولكن سيتم تخطي عناوين URL المحددة المحظورة في ملف robots.txt بغض النظر عن إدراجها في خريطة الموقع.
احصل على كلا الملفين بشكل صحيح
مولد ملفات Robots.txt الخاص بنا يُنشئ ملفًا نظيفًا ومُختبَرًا في دقائق. قم بإقرانه مع مدقق DA PA الخاص بنا لمراقبة السلطة أثناء تنظيف إشارات الزحف، وزيارة مستشارنا الخبير في تحسين محركات البحث للحصول على مراجعة كاملة لتحسين محركات البحث من الناحية الفنية، يرجى زيارة الصفحة المخصصة لذلك.
