Robots.txt फ़ाइल इतनी सरल दिखती है कि ज़्यादातर लोग इसे लिखने के बाद कभी जाँचते ही नहीं। यही अति आत्मविश्वास इसके भारी नुकसान का कारण बनता है। एक भी गलत अक्षर चुपचाप कई पृष्ठों वाले फ़ोल्डर को ब्लॉक कर सकता है, और क्योंकि कोई त्रुटि संदेश नहीं होता, तब तक किसी को पता भी नहीं चलता जब तक कि रैंकिंग गिरने न लगे।
गलती से पूरी वेबसाइट को ब्लॉक कर देना
robots.txt में सबसे बड़ी गलती Disallow: / को लाइव फ़ाइल में छोड़ देना है, जिससे डोमेन पर मौजूद हर URL को हर क्रॉलर द्वारा ब्लॉक कर दिया जाता है। ऐसा अक्सर तब होता है जब किसी साइट के माइग्रेशन या रीलांच के दौरान स्टेजिंग एनवायरनमेंट की robots.txt फ़ाइल को बिना समीक्षा किए प्रोडक्शन में कॉपी कर दिया जाता है।
अनुभव के आधार पर, यह सबसे आम आपातकालीन स्थिति है जिसमें मुझे बुलाया जाता है। एक डेवलपर रीडिजाइन पूरा करता है, और स्टेजिंग robots.txt फ़ाइल जिसमें एक सामान्य "Disallow" निर्देश होता है, बाकी सब कुछ के साथ लाइव कर दी जाती है, और दो से तीन सप्ताह बाद ऑर्गेनिक ट्रैफ़िक अचानक गिर जाता है जिसका कोई स्पष्ट कारण नहीं होता, जब तक कि कोई अंततः फ़ाइल की जाँच नहीं करता।
समस्या का पता चलने पर उसे तुरंत ठीक कर लिया जाता है, लेकिन रिकवरी तुरंत नहीं होती। Google को प्रभावित URL को दोबारा क्रॉल और प्रोसेस करना पड़ता है, जिसमें साइट के आकार के आधार पर कई दिन या सप्ताह लग सकते हैं।
CSS और JavaScript फ़ाइलों को ब्लॉक करना
/wp-content/themes/ या /assets/js/ जैसे फ़ोल्डरों को ब्लॉक करने से Googlebot पेज को सही ढंग से प्रदर्शित करने के लिए आवश्यक स्टाइलिंग और स्क्रिप्ट लोड करने से रुक जाता है। Google प्रदर्शित पेजों का मूल्यांकन करता है, इसलिए कोई पेज जो टूटा हुआ या अधूरा लोड होता है, इंडेक्सिंग के दौरान लेआउट और सामग्री की गुणवत्ता के मामले में गलत मूल्यांकन का शिकार हो सकता है।
यह आमतौर पर एक पुरानी सुरक्षा चेकलिस्ट से आता है जिसमें संवेदनशील बैकएंड पथों और सार्वजनिक रूप से प्रदर्शित होने वाले एसेट फ़ोल्डरों के बीच अंतर किए बिना "सिस्टम" फ़ोल्डरों को ब्लॉक करने की सिफारिश की गई थी, जबकि थीम को वास्तव में इन फ़ोल्डरों को सही ढंग से प्रदर्शित करने की आवश्यकता होती है।
- यह सुनिश्चित करें कि /wp-content/themes/ और /wp-content/plugins/ फ़ाइलें व्यापक रूप से अवरुद्ध न हों।
- यदि पैरेंट फ़ोल्डर अवरुद्ध है, तो .css और .js जैसी सामान्य एसेट एक्सटेंशन फ़ाइलों को स्पष्ट रूप से अनुमति दें।
- सर्च कंसोल में यूआरएल इंस्पेक्शन का उपयोग करके पुष्टि करें कि रेंडर किया गया स्क्रीनशॉट सही दिख रहा है।
संवेदनशील पृष्ठों को छिपाने के लिए Robots.txt का उपयोग करना
Robots.txt एक सार्वजनिक फ़ाइल है जिसे कोई भी आपकी साइट के लिंक (yoursite.com/robots.txt) पर जाकर देख सकता है, इसलिए संवेदनशील पथों को वहां सूचीबद्ध करना वास्तव में उनके स्थान का विज्ञापन करना है। इसके अलावा, यदि कोई अन्य साइट उस पथ से लिंक करती है तो यह इंडेक्सिंग को रोकने के लिए कुछ नहीं करता है, क्योंकि Google अभी भी एक ऐसे URL को इंडेक्स कर सकता है जिसे उसने कभी क्रॉल नहीं किया है।
यदि किसी पथ को वास्तव में खोज परिणामों से बाहर रखना आवश्यक है, तो सुलभ पृष्ठ पर पासवर्ड सुरक्षा या नोइंडेक्स टैग का उपयोग करना सही तरीका है, न कि 'अलाउ' लाइन का उपयोग करना जो जिज्ञासु आगंतुकों को यह बताती है कि उन्हें कहाँ देखना है।
वेब पर मौजूद 55.24% पेजों पर कोई बैकलिंक नहीं है। अहरेफ़्सइसका मतलब यह है कि अधिकतर पेज कभी भी बाहरी लिंक के माध्यम से इंडेक्सिंग की समस्या का सामना नहीं करते। जिन पेजों को लिंक किया जाता है, वे आमतौर पर वे पेज होते हैं जिन्हें साइट के मालिक सबसे अधिक सुरक्षित रखना चाहते हैं, इसलिए गोपनीयता के लिए robots.txt पर निर्भर रहना विशेष रूप से जोखिम भरा होता है।
साइटमैप लाइन को भूल जाना
साइटमैप निर्देश को छोड़ देना कोई गंभीर समस्या नहीं है, क्योंकि साइटमैप को सर्च कंसोल के माध्यम से सीधे सबमिट किया जा सकता है, लेकिन इसे शामिल करने से फ़ाइल अधिक पूर्ण हो जाती है और किसी भी क्रॉलर को अलग से सबमिशन पर निर्भर किए बिना आपके सबसे महत्वपूर्ण यूआरएल तक सीधा रास्ता मिल जाता है।
इसमें एक पंक्ति का शुल्क लगता है और कुछ सेकंड का समय लगता है, इसलिए सही ढंग से कॉन्फ़िगर की गई साइट पर इसे छोड़ने का कोई खास कारण नहीं है।
कई अस्वीकृति पंक्तियों में परस्पर विरोधी नियम
जब एक ही पथ पर कई 'अनुमति न दें' और 'अनुमति दें' नियम ओवरलैप होते हैं, तो Googlebot सबसे पहले सूचीबद्ध नियम के बजाय सबसे विशिष्ट नियम लागू करता है। समय के साथ अलग-अलग लोगों द्वारा लिखे गए ओवरलैपिंग नियमों की लंबी सूचियाँ अक्सर एक-दूसरे के विपरीत होती हैं, जिसका पता तब तक नहीं चलता जब तक कि किसी विशिष्ट अनुभाग पर ट्रैफ़िक कम न हो जाए।
अनुभव से पता चलता है कि किसी अव्यवस्थित पुरानी फ़ाइल को ठीक करने का सबसे कारगर तरीका यह है कि वर्षों से जमा हुई लाइनों को पैच करने की कोशिश करने के बजाय एक संक्षिप्त, सुनियोजित नियम-समूह से शुरुआत की जाए, खासकर उन साइटों पर जिन्होंने एक से अधिक बार CMS या एजेंसी बदली हो।
बैकलिंक्स गूगल के शीर्ष तीन रैंकिंग कारकों में से एक हैं, इसलिए यह याद रखना महत्वपूर्ण है कि परस्पर विरोधी नियमों के कारण होने वाली क्रॉल त्रुटियां उन पृष्ठों को ही दबा सकती हैं जिन्हें आपके लिंक बिल्डिंग कार्य का उद्देश्य समर्थन देना है।
प्रकाशन से पहले परीक्षण नहीं किया गया
robots.txt में हुई गलती को पकड़ने का सबसे तेज़ तरीका है कि नई फ़ाइल प्रकाशित करने से पहले और बाद में Google Search Console के URL निरीक्षण टूल में प्रतिनिधि URL की जाँच की जाए। यह एक छोटी सी आदत ऊपर वर्णित लगभग सभी समस्याओं को रोकती है, क्योंकि यह टूल दिखाता है कि Google वर्तमान में लाइव फ़ाइल को कैसे समझता है।
Moz के अनुसार, 30% से अधिक स्पैम स्कोर को उच्च जोखिम माना जाता है। एक बिल्कुल अलग कारण से, लिंक की गुणवत्ता के लिए, लेकिन वही नियम robots.txt पर भी लागू होता है: अनुमान लगाने से पहले जांच करें, कुछ गलत होने का पता लगाने के लिए ड्रॉप होने का इंतजार न करें।
अक्सर पूछे जाने वाले प्रश्नों
मुझे कैसे पता चलेगा कि मेरी robots.txt फ़ाइल किसी महत्वपूर्ण जानकारी को ब्लॉक कर रही है?
सर्च कंसोल खोलें, प्रमुख पृष्ठों पर यूआरएल निरीक्षण का उपयोग करें और जांचें कि क्या टूल उस पृष्ठ को robots.txt द्वारा अवरुद्ध बताता है।
क्या robots.txt में हुई गलती से मेरी पूरी वेबसाइट का इंडेक्स हट सकता है?
तुरंत नहीं, लेकिन पूरी तरह से अनुमति न देने से पुनः क्रॉलिंग रुक सकती है, और समय के साथ-साथ पृष्ठ स्वाभाविक रूप से इंडेक्स से बाहर हो जाते हैं क्योंकि Google उन्हें दोबारा नहीं देखता है।
क्या मुझे वर्डप्रेस पर टैग और श्रेणी पृष्ठों को ब्लॉक कर देना चाहिए?
यह इस बात पर निर्भर करता है कि वे कोई अनूठा मूल्य जोड़ते हैं या सतही तौर पर दोहराव वाली सामग्री बनाते हैं। कई साइटों के लिए इन पर पूर्ण क्रॉल ब्लॉकिंग की बजाय नोइंडेक्स लगाना बेहतर होता है।
अगर robots.txt में मेरा पेज ब्लॉक है, तो भी वह Google पर क्यों दिख रहा है?
गूगल किसी बाहरी लिंक के माध्यम से खोजी गई यूआरएल को क्रॉल किए बिना भी इंडेक्स कर सकता है, यही कारण है कि अवरुद्ध पृष्ठ कभी-कभी बिना किसी विवरण के दिखाई देते हैं।
robots.txt में गलती मिलने पर मैं उसे कितनी जल्दी ठीक कर सकता हूँ?
गूगल द्वारा फ़ाइल को रीकैश करने के कारण यह लगभग एक दिन के भीतर अपडेट हो जाती है, लेकिन रैंकिंग की पूरी तरह से रिकवरी इस बात पर निर्भर करती है कि त्रुटि कितने समय तक मौजूद थी और प्रभावित अनुभाग कितना बड़ा था।
ट्रैफ़िक कम होने से पहले अपनी फ़ाइल की जाँच कर लें।
हमारा Robots.txt फ़ाइल जनरेटर यह मुक्त पाठ के बजाय चयनित अंशों से एक स्पष्ट नियम-सेट बनाता है, जिससे टाइपिंग की गलतियों का खतरा पूरी तरह खत्म हो जाता है। इसे इसके साथ प्रयोग करें। हमारा बल्क डीए पीए चेकर क्रॉल संबंधी समस्याओं को ठीक करते समय प्राधिकरण पर नज़र रखने के लिए, और जाँच करें हमारा एसईओ ब्लॉग इस तरह के और अधिक तकनीकी एसईओ विश्लेषणों के लिए।
