इस लेख में
robots.txt क्या है?
robots.txt एक सादा टेक्स्ट फ़ाइल है जो किसी वेबसाइट के रूट पर रखी जाती है और वेब क्रॉलर को बताती है कि उन्हें किन पेजों या अनुभागों तक पहुँचना चाहिए या नहीं। यह Robots Exclusion Protocol का पालन करती है, जो 1994 से सर्च इंजन बॉट, AI क्रॉलर और अन्य स्वचालित एजेंटों को क्रॉलिंग प्राथमिकताएँ बताने के लिए इस्तेमाल किया जाने वाला एक मानक है।
जब कोई क्रॉलर आपकी साइट पर आता है, तो वह किसी भी पेज को क्रॉल करने से पहले yourdomain.com/robots.txt पर robots.txt फ़ाइल की जाँच करता है। इस फ़ाइल में ऐसे निर्देश होते हैं जो निर्दिष्ट करते हैं कि कौन-से यूज़र एजेंट (क्रॉलर) किन पथों तक पहुँच सकते हैं। ध्यान दें कि robots.txt सलाहकारी है — अच्छे व्यवहार वाले क्रॉलर इसका सम्मान करते हैं, लेकिन दुर्भावनापूर्ण बॉट इसे पूरी तरह अनदेखा कर सकते हैं।
robots.txt सिंटैक्स
robots.txt फ़ाइल एक सरल निर्देश-आधारित सिंटैक्स का उपयोग करती है। प्रत्येक ब्लॉक एक User-agent पंक्ति से शुरू होता है, जिसके बाद एक या अधिक नियम आते हैं:
- User-agent — निर्दिष्ट करता है कि नियम किस क्रॉलर पर लागू होते हैं। सभी क्रॉलर के लिए * का उपयोग करें, या Googlebot, Bingbot, या GPTBot जैसा कोई विशिष्ट नाम
- Disallow — किसी विशिष्ट पथ या पैटर्न तक पहुँच को अवरुद्ध करता है। Disallow: /admin/ admin डायरेक्टरी की क्रॉलिंग रोकता है
- Allow — किसी पथ तक पहुँच की स्पष्ट अनुमति देता है, जो व्यापक Disallow नियम को ओवरराइड करने में उपयोगी है। Allow: /admin/public/ उस विशिष्ट सबफ़ोल्डर की अनुमति देगा
- Sitemap — आपके XML साइटमैप का URL निर्दिष्ट करता है ताकि क्रॉलर आपके सभी पेज खोज सकें। Sitemap: https://example.com/sitemap.xml
- Crawl-delay — लगातार अनुरोधों के बीच सेकंड में देरी का सुझाव देता है। सभी क्रॉलर इस निर्देश का समर्थन नहीं करते (Google इसे अनदेखा करता है; Bing इसका सम्मान करता है)
Disallow और Allow में वाइल्डकार्ड समर्थित हैं: * किसी भी अक्षर अनुक्रम से मेल खाता है, और $ किसी URL के अंत से मेल खाता है। उदाहरण के लिए, Disallow: /*.pdf$ .pdf में समाप्त होने वाले सभी URL को अवरुद्ध करता है।
आम robots.txt पैटर्न
यहाँ विभिन्न परिदृश्यों के लिए सबसे उपयोगी robots.txt कॉन्फ़िगरेशन दिए गए हैं:
- सब कुछ अनुमति दें — एक खाली Disallow निर्देश (User-agent: * के साथ Disallow: ) या कोई robots.txt न होना पूर्ण क्रॉलिंग की अनुमति देता है
- सब कुछ अवरुद्ध करें — Disallow: / सभी क्रॉलर को किसी भी पेज तक पहुँचने से रोकता है। इसे स्टेजिंग परिवेश या प्री-लॉन्च साइटों के लिए उपयोग करें
- AI क्रॉलर अवरुद्ध करें — विशिष्ट AI बॉट को User-agent: GPTBot, CCBot, anthropic-ai के बाद Disallow: / के साथ लक्षित करें ताकि सर्च इंजन को अनुमति देते हुए सामग्री स्क्रैपिंग रोकी जा सके
- केवल Google को अनुमति दें — User-agent: Googlebot को Allow: / के साथ और User-agent: * के लिए एक अलग Disallow: / ब्लॉक के साथ जोड़ें
- admin पथों की सुरक्षा करें — Disallow: /admin/, /wp-admin/, /api/, या किसी भी संवेदनशील डायरेक्टरी को सर्च परिणामों और क्रॉलर लॉग से बाहर रखने के लिए अवरुद्ध करें
निःशुल्क आज़माएँ — कोई साइनअप आवश्यक नहीं
robots.txt जनरेट करें →आम उपयोग के मामले
एक अच्छी तरह कॉन्फ़िगर की गई robots.txt फ़ाइल वेबसाइट प्रबंधन के लिए कई महत्वपूर्ण उद्देश्यों की पूर्ति करती है:
- SEO अनुकूलन — डुप्लिकेट सामग्री, पेजिनेशन पेज, सर्च परिणाम पेज और फ़िल्टर किए गए URL की क्रॉलिंग रोकें जो आपकी सर्च रैंकिंग को कमज़ोर कर सकते हैं
- स्क्रैपर अवरुद्ध करना — विशिष्ट यूज़र एजेंट को अस्वीकृत करके सामग्री स्क्रैपर और AI ट्रेनिंग बॉट को आपकी सामग्री कॉपी करने से रोकें
- स्टेजिंग परिवेश की सुरक्षा — स्टेजिंग और डेवलपमेंट सर्वर पर सभी क्रॉलर को अवरुद्ध करें ताकि अधूरी सामग्री सर्च परिणामों में न दिखे
- क्रॉल बजट प्रबंधन — बड़ी साइटों के लिए, कम-मूल्य वाले पेज (टैग आर्काइव, आंतरिक सर्च परिणाम, सेशन URL) को अवरुद्ध करना यह सुनिश्चित करता है कि सर्च इंजन अपना क्रॉल बजट आपके महत्वपूर्ण पेजों पर खर्च करें
robots.txt और SEO
robots.txt का इस बात पर सीधा प्रभाव पड़ता है कि सर्च इंजन आपकी सामग्री को कैसे खोजते और इंडेक्स करते हैं। SEO के साथ इसके संबंध को समझना आवश्यक है:
- अवरुद्ध करने का मतलब डी-इंडेक्सिंग नहीं है — यदि अन्य साइटें किसी ऐसे पेज से लिंक करती हैं जिसे आपने robots.txt में अवरुद्ध किया है, तो सर्च इंजन उस URL को (सामग्री के बिना) फिर भी इंडेक्स कर सकते हैं। इंडेक्सिंग रोकने के लिए इसके बजाय noindex मेटा टैग का उपयोग करें
- हमेशा अपना साइटमैप शामिल करें — Sitemap निर्देश जोड़ना सर्च इंजन को आपके सभी पेज खोजने में मदद करता है, विशेष रूप से नए पेज जिनके पास अभी तक इनबाउंड लिंक न हों
- CSS या JavaScript फ़ाइलें अवरुद्ध न करें — सर्च इंजन को आपके पेज रेंडर करने के लिए इनकी आवश्यकता होती है। इन्हें अवरुद्ध करना आपकी रैंकिंग को नुकसान पहुँचा सकता है क्योंकि क्रॉलर आपके पेज लेआउट को नहीं समझ पाता
- आम गलतियाँ — गलती से पूरी डायरेक्टरी अवरुद्ध करना, संवेदनशील पेजों के लिए noindex के बजाय robots.txt का उपयोग करना, या साइट पुनर्गठन के बाद robots.txt अपडेट करना भूल जाना, ये सभी आपके SEO को नुकसान पहुँचा सकते हैं
अक्सर पूछे जाने वाले प्रश्न
क्या robots.txt अनिवार्य है या केवल सलाहकारी?
robots.txt पूरी तरह सलाहकारी है। Googlebot, Bingbot और अधिकांश वैध बॉट जैसे अच्छे व्यवहार वाले क्रॉलर इसका सम्मान करते हैं, लेकिन कोई तकनीकी प्रवर्तन नहीं है। दुर्भावनापूर्ण बॉट, स्क्रैपर और कुछ AI क्रॉलर इसे पूरी तरह अनदेखा कर सकते हैं। संवेदनशील सामग्री के लिए, केवल robots.txt पर निर्भर रहने के बजाय सर्वर-साइड एक्सेस नियंत्रण (प्रमाणीकरण, IP अवरोधन) का उपयोग करें।
मैं अपनी robots.txt फ़ाइल का परीक्षण कैसे करूँ?
Google Search Console एक robots.txt टेस्टर प्रदान करता है जो दिखाता है कि विशिष्ट URL अवरुद्ध हैं या अनुमत। आप ऐसे ऑनलाइन वैलिडेटर का भी उपयोग कर सकते हैं जो आपकी robots.txt को पार्स करते हैं और क्रॉलर व्यवहार का अनुकरण करते हैं। यह जाँचकर परीक्षण करें कि क्या महत्वपूर्ण पेज सुलभ हैं और गैर-आवश्यक पेज अवरुद्ध हैं। बदलाव लागू करने के बाद हमेशा सत्यापित करें।
क्या Google robots.txt में Crawl-delay का सम्मान करता है?
नहीं, Google Crawl-delay निर्देश का समर्थन नहीं करता। इसके बजाय, Google सर्वर प्रतिक्रिया समय के आधार पर इष्टतम क्रॉल दर निर्धारित करने के लिए अपने स्वयं के एल्गोरिदम का उपयोग करता है। Google की क्रॉल दर को नियंत्रित करने के लिए, Google Search Console में Crawl Rate सेटिंग्स का उपयोग करें। Bing Crawl-delay का सम्मान करता है, इसलिए यदि Bing ट्रैफ़िक आपके लिए मायने रखता है तो इसे शामिल करें।