robots.txt एक साधारण टेक्स्ट नियम पुस्तिका है जो आपके डोमेन के रूट में मौजूद होती है और Googlebot जैसे क्रॉलर को बताती है कि वे किन-किन रास्तों से एक्सेस कर सकते हैं। यह फ़ाइल अपने आप Google के इंडेक्स से पेज नहीं हटाती, बल्कि केवल क्रॉलिंग को नियंत्रित करती है। अगर आप इसका सिंटैक्स गलत लिखते हैं, तो आप बिना किसी चेतावनी के CSS, JS या साइट के पूरे सेक्शन को ब्लॉक कर सकते हैं, जिससे आपकी रैंकिंग गिर सकती है।
Robots.txt वास्तव में क्या नियंत्रित करता है
Robots.txt क्रॉलिंग को नियंत्रित करता है, इंडेक्सिंग को नहीं। यह सर्च इंजन बॉट्स को बताता है कि वे आपके सर्वर से किन URLs के लिए अनुरोध कर सकते हैं। कोई पेज Google के इंडेक्स में तब भी दिखाई दे सकता है, भले ही उसे robots.txt में ब्लॉक किया गया हो, आमतौर पर बिना किसी विवरण के, क्योंकि Google ने उसे सीधे क्रॉल करने के बजाय किसी लिंक के माध्यम से खोजा होता है।
अधिकांश वेबसाइट मालिक यह मान लेते हैं कि robots.txt एक गोपनीयता उपकरण है। ऐसा नहीं है। यह क्रॉलर के लिए एक ट्रैफ़िक प्रबंधन उपकरण है, जो yoursite.com/robots.txt पर मौजूद होता है और पृष्ठ पर लगभग किसी भी अन्य चीज़ से पहले पढ़ा जाता है।
सर्च इंजन इस फाइल को एक ठोस सुझाव के रूप में देखते हैं, न कि किसी बाधा के रूप में। Googlebot और Bingbot जैसे कुशल बॉट इसका बारीकी से पालन करते हैं। इसे पूरी तरह से अनदेखा करने वाले स्क्रैपर आम हैं, इसलिए robots.txt कभी भी सुरक्षा उपाय नहीं है।
- यह बड़ी साइटों पर क्रॉल बजट का प्रबंधन करता है।
- यह बॉट्स को एडमिन क्षेत्रों, खोज परिणाम पृष्ठों और डुप्लिकेट पैरामीटर यूआरएल से दूर रखता है।
- यह क्रॉलर को आपके साइटमैप स्थान की ओर निर्देशित करता है।
वेब पर मौजूद 55.24% पेजों पर कोई बैकलिंक नहीं है। अहरेफ्स अनुसंधानऔर उन पेजों का एक बड़ा हिस्सा ठीक उसी तरह के पतले, पैरामीटर-भारी यूआरएल हैं जिनसे रोबोट्स.टीएक्सटी का उद्देश्य क्रॉलर को दूर रखना है।
Googlebot Robots.txt फ़ाइल को कैसे पढ़ता है
Googlebot किसी डोमेन को क्रॉल करने से पहले robots.txt फ़ाइल प्राप्त करता है और उसे लगभग 24 घंटों के लिए कैश में सहेज लेता है। यह नियमों को ऊपर से नीचे तक पढ़ता है और सबसे सटीक मिलान वाले नियम को लागू करता है, न कि पहले मिलने वाले नियम को। एक अधिक विशिष्ट अनुमति नियम उसी बॉट के लिए एक व्यापक अस्वीकृति नियम को ओवरराइड कर सकता है।
प्रत्येक नियम ब्लॉक एक उपयोगकर्ता-एजेंट पंक्ति से शुरू होता है। Googlebot सामान्य वाइल्डकार्ड ब्लॉक पर वापस जाने से पहले विशेष रूप से "Googlebot" को संबोधित ब्लॉक की खोज करता है जो "*" को संबोधित होता है।
मैंने अपने अनुभव से देखा है कि एजेंसियां स्टेजिंग से प्रोडक्शन माइग्रेशन के दौरान एक नई robots.txt फ़ाइल भेज देती हैं और यह भूल जाती हैं कि स्टेजिंग वर्ज़न में सबसे ऊपर Disallow: / मौजूद था। कुछ ही दिनों में, क्लाइंट के मुख्य श्रेणी पृष्ठों पर ऑर्गेनिक सेशन में भारी गिरावट आई, और इसका एकमात्र समाधान एक संशोधित फ़ाइल भेजना और सर्च कंसोल के माध्यम से नए सिरे से क्रॉल करने का अनुरोध करना था।
हमारा Robots.txt फ़ाइल जनरेटर यह फ़ाइल को मुक्त पाठ के बजाय चयन योग्य नियमों से बनाकर इस सटीक गलती से बचता है, इसलिए एक आकस्मिक स्लैश किसी पूरी साइट की क्रॉल पहुंच को समाप्त नहीं कर सकता है।
Robots.txt का सिंटैक्स: Disallow, Allow, और Sitemap
तीन मुख्य निर्देश हैं: किसी विशिष्ट बॉट को लक्षित करने के लिए User-agent, किसी पथ को अवरुद्ध करने के लिए Disallow, और अवरुद्ध फ़ोल्डर के भीतर किसी पथ को अनुमति देने के लिए Allow। आपके XML साइटमैप की ओर इंगित करने वाली Sitemap पंक्ति वैकल्पिक है, लेकिन अनुशंसित है, क्योंकि यह क्रॉलर को आपके सबसे महत्वपूर्ण URL तक सीधा मार्ग प्रदान करती है।
एक न्यूनतम कार्यशील फ़ाइल इस प्रकार दिखती है:
| आदेश | उद्देश्य | उदाहरण |
|---|---|---|
| उपयोगकर्ता एजेंट | किसी एक बॉट या सभी बॉट्स को लक्षित करता है | उपयोगकर्ता एजेंट: * |
| अनुमति न दें | रेंगने के रास्ते को अवरुद्ध करता है | अनुमति न दें: /wp-admin/ |
| अनुमति दें | अवरुद्ध फ़ोल्डर के अंदर एक पथ की अनुमति देता है | अनुमति दें: /wp-admin/admin-ajax.php |
| साइट मैप | आपकी साइटमैप फ़ाइल की ओर इशारा करते हुए | साइटमैप: https://example.com/sitemap.xml |
पथ केस-संवेदनशील होते हैं और URL पथ की शुरुआत से मिलान करते हैं। अंत में स्लैश का होना महत्वपूर्ण है, क्योंकि Disallow: /blog और Disallow: /blog/ मिलान के मामले में अलग-अलग व्यवहार करते हैं।
Robots.txt और Noindex: ये दोनों एक ही चीज़ नहीं हैं।
Robots.txt क्रॉलर को किसी पेज का अनुरोध करने से रोकता है, जबकि noindex मेटा टैग क्रॉलर को पेज पर जाने की अनुमति देता है लेकिन उसे खोज परिणामों में पेज को स्टोर न करने का निर्देश देता है। किसी पेज को robots.txt से ब्लॉक करना और उसी पेज में noindex जोड़ना विरोधाभासी है, क्योंकि Google उस पेज पर noindex टैग को नहीं पढ़ सकता जिसे क्रॉल करने की उसे अनुमति नहीं है।
यह तकनीकी एसईओ से जुड़ी सबसे आम गलतियों में से एक है। साइट के मालिक किसी पेज को खोज परिणामों से हटाना चाहते हैं, इसलिए वे उसे robots.txt में ब्लॉक कर देते हैं, और फिर सोचते हैं कि हफ्तों बाद भी बिना किसी स्निपेट के वह पेज क्यों दिखाई दे रहा है।
यदि वास्तविक लक्ष्य खोज परिणामों से हटाना है, तो सही क्रम यह है: क्रॉलिंग की अनुमति दें, एक नोइंडेक्स टैग जोड़ें, Google द्वारा पुनः क्रॉल करने और टैग को संसाधित करने की प्रतीक्षा करें, और फिर एक बार टैग हट जाने के बाद वैकल्पिक रूप से पथ को अवरुद्ध करें।
हमारे एसईओ टूल का संपूर्ण सेट इसमें ऐसे चेक शामिल हैं जो परस्पर विरोधी रोबोट और नोइंडेक्स सिग्नल वाले पेजों को इस तरह की गड़बड़ी पैदा करने से पहले ही चिह्नित कर देते हैं।
आपको कब किसी पेज को ब्लॉक करना चाहिए और कब नहीं।
ऐसे पाथ को ब्लॉक करें जिनका SEO में कोई महत्व नहीं है और जो क्रॉल संसाधनों को बर्बाद करते हैं, जैसे कि आंतरिक खोज परिणाम पृष्ठ, कार्ट और चेकआउट URL, फ़िल्टर किए गए पैरामीटर URL और एडमिन लॉगिन पृष्ठ। CSS, JS या इमेज डायरेक्टरी को ब्लॉक करने से बचें जिनकी Google को पेज रेंडर करने के लिए आवश्यकता होती है, क्योंकि रेंडरिंग संबंधी समस्याएं सीधे तौर पर यह प्रभावित करती हैं कि कंटेंट को कैसे समझा जाता है और उसकी रैंकिंग कैसी होती है।
वर्डप्रेस साइटों पर अक्सर होने वाली एक गलती है /wp-content/ फ़ोल्डर को पूरी तरह से ब्लॉक कर देना, जिससे थीम की CSS और JS फ़ाइलें डिलीट हो सकती हैं जिनकी ज़रूरत Google को पेज को सही ढंग से रेंडर करने के लिए होती है। Google ने स्पष्ट किया है कि वह पेजों को ब्राउज़र की तरह ही रेंडर करता है, और जो पेज ठीक से रेंडर नहीं होता, उसकी सामग्री की गुणवत्ता का गलत आकलन किया जा सकता है।
बैकलिंक्स गूगल के शीर्ष तीन रैंकिंग कारकों में से एक हैं, और अगर क्रॉल संबंधी समस्याओं के कारण आपके सबसे अच्छे पेज सही ढंग से प्रोसेस नहीं हो पाते हैं, तो उस लिंक इक्विटी का कोई मतलब नहीं रह जाता है। डोमेन अथॉरिटी, मोज़ द्वारा रैंकिंग क्षमता का अनुमान लगाने के लिए विकसित किया गया 1 से 100 का स्कोर है।यह उसी बैकलिंक और क्रॉल सिग्नल पर आधारित है, इसलिए एक अव्यवस्थित robots.txt फ़ाइल समय के साथ अथॉरिटी ग्रोथ को धीरे-धीरे कम कर सकती है। यदि आप क्रॉल निर्देशों को ठीक करते समय किसी साइट के समग्र लिंक प्रोफ़ाइल का ऑडिट कर रहे हैं, हमारा बल्क ब्रोकन लिंक चेकर यह एक ही बार में आपके बैकलिंक और आउटबाउंड लिंक की स्थिति की जांच कर सकता है।
अपनी Robots.txt फ़ाइल का परीक्षण कैसे करें
Google Search Console के URL Inspection टूल का उपयोग करके बदलावों का परीक्षण करें, जो दिखाता है कि Googlebot किसी भी URL के लिए आपकी वर्तमान robots.txt फ़ाइल की व्याख्या कैसे करता है। बदलाव प्रकाशित करने से पहले और बाद में हमेशा परीक्षण करें, क्योंकि एक भी गलत अक्षर इच्छित से कहीं अधिक अवरोध उत्पन्न कर सकता है।
अनुभव के आधार पर, एजेंसी क्लाइंट्स के साथ मैं जो सबसे सुरक्षित रोलआउट पैटर्न अपनाता हूं, वह है नई फाइल को स्टेज करना, यूआरएल इंस्पेक्शन के माध्यम से साइट पर पांच से दस प्रतिनिधि यूआरएल का परीक्षण करना, साइटमैप लाइन के सही ढंग से रिजॉल्व होने की पुष्टि करना, और उसके बाद ही कम ट्रैफिक वाले समय में इसे लाइव करना ताकि किसी भी अप्रत्याशित गिरावट को आसानी से पहचाना जा सके और जल्दी से ठीक किया जा सके।
एक रिपोर्ट के अनुसार, वेब पर मौजूद 91% पेजों को Google से कोई ऑर्गेनिक ट्रैफिक नहीं मिलता है, जिसका मुख्य कारण उन पेजों पर बैकलिंक्स की कमी है। Ahrefs डेटाएक खराब robots.txt फ़ाइल अन्यथा मजबूत पेजों को भी उसी श्रेणी में धकेल सकती है, क्योंकि यह Google को उन्हें क्रॉल करने से पूरी तरह रोक देती है।
Robots.txt टेम्पलेट जिसे आप कॉपी कर सकते हैं
एक सुरक्षित प्रारंभिक टेम्पलेट डिफ़ॉल्ट रूप से सभी बॉट्स को अनुमति देता है, केवल एडमिन और आंतरिक खोज मार्गों को ब्लॉक करता है, और साइटमैप को सूचीबद्ध करता है। इससे फ़ाइल छोटी, पठनीय और उन साइटों के लिए कम जोखिम वाली रहती है जिनमें क्रॉल बजट संबंधी कोई असामान्य समस्या नहीं होती है।
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
अपने स्वयं के एडमिन पाथ और साइटमैप यूआरएल को बदलें, फिर काम पूरा होने से पहले इसे सर्च कंसोल के साथ सत्यापित करें।
अक्सर पूछे जाने वाले प्रश्नों
क्या robots.txt गूगल सर्च रिजल्ट से पेज हटा देता है?
नहीं। यह केवल क्रॉलिंग को रोकता है। अवरुद्ध पृष्ठ को अभी भी इंडेक्स किया जा सकता है यदि Google इसे बाहरी लिंक के माध्यम से ढूंढता है, जो आमतौर पर बिना विवरण के दिखाई देता है।
robots.txt फ़ाइल कहाँ होनी चाहिए?
इसे डोमेन के रूट में रखें, जैसे example.com/robots.txt। इसे किसी सबफ़ोल्डर में रखने पर यह काम नहीं करेगा।
क्या robots.txt केवल विशिष्ट बॉट्स को ही ब्लॉक कर सकता है?
हाँ। विशिष्ट बॉट, जैसे कि Googlebot या Bingbot, का नाम देते हुए एक समर्पित User-agent ब्लॉक का उपयोग करें, जिसमें वाइल्डकार्ड ब्लॉक से अलग उसके अपने Disallow नियम हों।
क्या robots.txt और फ़ायरवॉल नियम एक ही चीज़ हैं?
नहीं। यह एक स्वैच्छिक निर्देश है जिसका पालन सुचारु क्रॉलर करते हैं। यह कोई वास्तविक सुरक्षा प्रदान नहीं करता और संवेदनशील सामग्री को छिपाने के लिए इस पर कभी भरोसा नहीं किया जाना चाहिए।
गूगल robots.txt फ़ाइल को कितनी बार दोबारा जांचता है?
Google आमतौर पर फ़ाइल को लगभग 24 घंटों के लिए कैश में रखता है, इसलिए परिवर्तन तुरंत नहीं होते हैं, लेकिन आमतौर पर एक दिन के भीतर प्रभावी हो जाते हैं।
पहली बार में ही अपनी Robots.txt फ़ाइल को सही बनाएं।
यदि आप अनुमान लगाने से बचना चाहते हैं, हमारा Robots.txt फ़ाइल जनरेटर यह सरल चयनों से एक स्वच्छ, परीक्षित फ़ाइल बनाता है, और हमारा निःशुल्क डीए पीए टूल क्रॉल संबंधी समस्याओं को ठीक करते समय यह आपको प्राधिकरण पर नज़र रखने में मदद करता है। गहन तकनीकी विश्लेषण के लिए, हमारे विशेषज्ञ एसईओ सलाहकार सेवा समीक्षा क्रॉल निर्देश आपके बाकी तकनीकी सेटअप के साथ-साथ काम करते हैं।
