Robots.txt जनरेटर

robots.txt एक सादा टेक्स्ट फ़ाइल है जो किसी वेबसाइट के रूट पर रखी जाती है और वेब क्रॉलर को बताती है कि उन्हें किन पेजों या अनुभागों तक पहुँचना चाहिए या नहीं। यह Robots Exclusion Protocol का पालन करती है, जो 1994 से सर्च इंजन बॉट, AI क्रॉलर और अन्य स्वचालित एजेंटों को क्रॉलिंग प्राथमिकताएँ बताने के लिए इस्तेमाल किया जाने वाला एक मानक है।