वर्डप्रेस के लिए Robots.txt फ़ाइल कैसे बनाएं (बिना कोड वाला ट्यूटोरियल)

अगर आप कोई फिजिकल robots.txt फाइल नहीं बनाते हैं, तो WordPress अपने आप एक वर्चुअल robots.txt फाइल बना देता है, और ज्यादातर साइट मालिकों को पता ही नहीं होता कि उसमें क्या होता है। यह डिफ़ॉल्ट फाइल आमतौर पर छोटे ब्लॉग के लिए ठीक रहती है, लेकिन WooCommerce, मेंबरशिप प्लगइन्स या बड़ी कंटेंट लाइब्रेरी चलाने वाले किसी भी व्यक्ति को डिफ़ॉल्ट फाइल से कहीं ज्यादा कंट्रोल की जरूरत होती है।

वर्डप्रेस अपनी डिफ़ॉल्ट Robots.txt फ़ाइल को कहाँ छिपाता है?

WordPress रूट डायरेक्टरी में कोई वास्तविक फ़ाइल न होने पर भी yoursite.com/robots.txt पर एक वर्चुअल robots.txt फ़ाइल बनाता है। यह डिफ़ॉल्ट संस्करण आमतौर पर /wp-admin/ को ब्लॉक कर देता है जबकि admin-ajax.php को अनुमति देता है, और जैसे ही आप इसे ओवरराइड करने के लिए एक वास्तविक robots.txt फ़ाइल अपलोड करते हैं, यह गायब हो जाता है।

आप अपने ब्राउज़र में सीधे अपनी साइट की robots.txt फ़ाइल खोलकर यह डिफ़ॉल्ट सेटिंग देख सकते हैं। यदि आपने इसे पहले कभी नहीं बदला है, तो आपको वर्डप्रेस कोर का अंतर्निहित संस्करण दिखाई देगा, न कि किसी प्लगइन या डेवलपर द्वारा कॉन्फ़िगर किया गया संस्करण।

SEO प्लगइन के माध्यम से Robots.txt को संपादित करना

योस्ट एसईओ और रैंक मैथ सहित अधिकांश प्रमुख वर्डप्रेस एसईओ प्लगइन्स में उनके टूल्स सेटिंग्स के अंतर्गत एक अंतर्निर्मित robots.txt संपादक शामिल होता है। यह गैर-तकनीकी उपयोगकर्ताओं के लिए सबसे आसान तरीका है क्योंकि इसमें किसी फ़ाइल को अपलोड करने या एफटीपी एक्सेस की आवश्यकता नहीं होती है और वर्डप्रेस डैशबोर्ड के माध्यम से सीधे परिवर्तन सहेजे जाते हैं।

जब आप पहली बार इसके एडिटर के माध्यम से बदलाव सेव करते हैं, तो प्लगइन सर्वर पर एक फिजिकल robots.txt फाइल लिखता है, जो वर्चुअल डिफॉल्ट को स्थायी रूप से बदल देता है।

• योस्ट एसईओ: टूल्स मेनू, फ़ाइल संपादक
• रैंक मैथ: सामान्य सेटिंग्स, robots.txt फ़ाइल संपादित करें
• ऑल इन वन एसईओ: टूल्स, रोबोट्स.टीएक्सटी एडिटर

FTP के माध्यम से Robots.txt को मैन्युअल रूप से संपादित करना

किसी FTP क्लाइंट का उपयोग करके अपने सर्वर से कनेक्ट करें, रूट फ़ोल्डर में जाएं जहां wp-config.php फ़ाइल मौजूद है, और या तो मौजूदा robots.txt फ़ाइल को संपादित करें या उसी नाम से एक नई सादी टेक्स्ट फ़ाइल बनाएं। यह विधि इंस्टॉल किए गए प्लगइन्स की परवाह किए बिना काम करती है और मूल सामग्री पर पूर्ण नियंत्रण प्रदान करती है।

अनुभव के आधार पर, मैं यही तरीका अपनाता हूँ जब भी किसी क्लाइंट के SEO प्लगइन एडिटर में कोई गड़बड़ी होती है या जब मुझे एजेंसी-व्यापी सफाई के दौरान एक ही फाइल को एक साथ कई वर्डप्रेस इंस्टॉलेशन पर अपलोड करना होता है। सीधे फाइल अपलोड करने से प्लगइन से जुड़ी कोई भी समस्या दूर हो जाती है।

वर्डप्रेस-विशिष्ट पथ जिन्हें ब्लॉक करना उचित है

डिफ़ॉल्ट /wp-admin/ ब्लॉक के अलावा, वर्डप्रेस साइटों को आंतरिक खोज परिणाम URL, ट्रैकिंग पैरामीटर वाले टिप्पणी उत्तर लिंक और केवल प्रशासकों के लिए उपलब्ध फ़ीड वेरिएंट को ब्लॉक करने से लाभ होता है। इनमें से कोई भी पाथ खोज में उपयोगी नहीं होता, और इन्हें ब्लॉक करने से क्रॉलर वास्तविक सामग्री पर अधिक समय बिता पाते हैं।

User-agent: *
Disallow: /wp-admin/
Disallow: /?s=
Disallow: /search/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml

/wp-content/ को पूरे फोल्डर के रूप में प्रतिबंधित करने से बचें, क्योंकि उस पथ में थीम और प्लगइन एसेट फाइलें होती हैं जिनकी Google को पेज को सही ढंग से प्रदर्शित करने के लिए आवश्यकता होती है।

WooCommerce और सदस्यता प्लगइन संबंधी विचार

WooCommerce स्टोर आमतौर पर robots.txt में कार्ट, चेकआउट और माय-अकाउंट पाथ को ब्लॉक करने से लाभान्वित होते हैं, क्योंकि ये पेज उपयोगकर्ता-विशिष्ट होते हैं और SEO के लिहाज से इनका कोई महत्व नहीं होता। सदस्यता और पेवॉल प्लगइन अक्सर इसी तरह के अकाउंट-आधारित URL जेनरेट करते हैं जिन्हें इसी तरह ब्लॉक करना उचित होता है।

एक रिपोर्ट के अनुसार, 91% पेजों को Google से कोई ऑर्गेनिक ट्रैफिक नहीं मिलता है। अहरेफ़्सअक्सर ऐसा इसलिए होता है क्योंकि उस ट्रैफिक के लिए प्रतिस्पर्धा करने वाले पेज कम जानकारी वाले, डुप्लिकेट या फिर उस तरह की सामग्री वाले नहीं होते हैं जिसे कोई खोजता है, और कार्ट और अकाउंट पेज ठीक इसी श्रेणी में आते हैं।

यदि आप WooCommerce स्टोर चलाते हैं और यह जांचना चाहते हैं कि आपके उत्पाद पृष्ठ बड़े पैमाने पर अथॉरिटी सिग्नल पर कैसा प्रदर्शन कर रहे हैं, हमारा बल्क डीए पीए चेकर यह एक ही बार में 50 डोमेन या पाथ तक को संभाल सकता है।

साइट को बाधित किए बिना अपने परिवर्तनों का परीक्षण करें

वर्डप्रेस में robots.txt में कोई भी बदलाव सेव करने के बाद, ब्राउज़र में सीधे yoursite.com/robots.txt पर जाकर लाइव फ़ाइल का परीक्षण करें और फिर Google सर्च कंसोल के URL निरीक्षण टूल के माध्यम से कुछ प्रमुख पृष्ठों की जांच करें ताकि यह पुष्टि हो सके कि वे अप्रत्याशित रूप से अवरुद्ध तो नहीं हैं।

अनुभव से पता चलता है कि वर्डप्रेस साइटों को सबसे ज्यादा नुकसान उन साइटों को होता है जो स्वचालित माइग्रेशन या स्टेजिंग-टू-लाइव सिंक टूल का उपयोग कर रही होती हैं, जहां किसी डेवलपर वातावरण के लिए संपादित robots.txt फाइल चुपचाप प्रोडक्शन पुश में चली जाती है, बिना किसी द्वारा परिनियोजन चेकलिस्ट में इसकी समीक्षा किए।

बैकलिंक्स गूगल के शीर्ष तीन रैंकिंग कारकों में से एक हैं, और वर्डप्रेस साइट पर रोबोट.टेक्स्ट का गलत तरीके से रोलआउट होना एक ही लापरवाही भरी सेव से महीनों की बैकलिंक मेहनत को बर्बाद कर सकता है। डोमेन अथॉरिटी, जो 1 से 100 के बीच का मोज़ स्कोर है, काफी हद तक उन्हीं बैकलिंक संकेतों पर आधारित है।क्रॉल संबंधी समस्या के शुरुआती संकेतों को पहचानने के लिए यह सबसे आसान मापदंडों में से एक है। आगे बढ़ने से पहले हमेशा इसकी पुष्टि करें।

अक्सर पूछे जाने वाले प्रश्नों

अगर मैं पहले से ही Yoast या Rank Math का इस्तेमाल कर रहा हूं, तो क्या मुझे robots.txt प्लगइन की जरूरत होगी?

नहीं, दोनों प्लगइन में एक अंतर्निर्मित robots.txt संपादक शामिल है, इसलिए एक अलग समर्पित प्लगइन की आवश्यकता नहीं है।

क्या मेरी कस्टम robots.txt फ़ाइल को हटाने से वर्डप्रेस की डिफ़ॉल्ट फ़ाइल वापस आ जाएगी?

हां, भौतिक फ़ाइल को हटाने से वर्डप्रेस कोर का वर्चुअल डिफ़ॉल्ट संस्करण स्वचालित रूप से पुनर्स्थापित हो जाता है।

क्या मुझे वर्डप्रेस की robots.txt फ़ाइल में /wp-includes/ को ब्लॉक कर देना चाहिए?

सामान्यतः नहीं, क्योंकि आधुनिक वर्डप्रेस कोर को अब इसे ब्लॉक करने की आवश्यकता नहीं है, और इसके भीतर कुछ एसेट्स रेंडरिंग के लिए आवश्यक हो सकते हैं।

क्या मैं एक स्टेजिंग वर्डप्रेस साइट के लिए अलग-अलग robots.txt नियम रख सकता हूँ?

हां, और आपको ऐसा करना चाहिए, क्योंकि स्टेजिंग साइटों को आमतौर पर लॉन्च होने तक `Disallow: /` के साथ पूरी तरह से ब्लॉक करना बेहतर होता है, फिर उन्हें प्रोडक्शन नियमों में बदल दिया जाता है।

मैं यह कैसे जांचूं कि मेरी वर्डप्रेस की robots.txt फ़ाइल वास्तव में सक्रिय है या नहीं?

किसी भी ब्राउज़र में सीधे yoursite.com/robots.txt फ़ाइल खोलें। यदि आपके कस्टम नियम, वर्डप्रेस के सामान्य डिफ़ॉल्ट नियमों के स्थान पर दिखाई देते हैं, तो फ़ाइल सक्रिय हो गई है।

अपनी वर्डप्रेस साइट के लिए एक सुरक्षित Robots.txt फ़ाइल बनाएँ

हमारा Robots.txt फ़ाइल जनरेटर सरल चयनों से वर्डप्रेस के लिए तैयार फ़ाइल बनाता है, इसके लिए किसी FTP या प्लगइन सेटिंग की आवश्यकता नहीं होती है। क्लाइंट साइटों पर निरंतर अथॉरिटी ट्रैकिंग के लिए। हमारा निःशुल्क डीए पीए टूल यह एक साथ 50 डोमेन तक को कवर करता है, और हमारे विशेषज्ञ एसईओ सलाहकार यदि आप दूसरी राय चाहते हैं तो यह सेवा आपके संपूर्ण तकनीकी सेटअप का ऑडिट कर सकती है।