श्रेणी: डेवलपर टूल

robots.txt जेनरेटर

हमारा अपना विचारकोई टूल नहीं मिला?

साझा नियमों और क्रॉलर प्रीसेट के साथ एक robots.txt फ़ाइल बनाएं

उपयोगकर्ता-एजेंट, अनुमति दें, अस्वीकार करें, क्रॉल-विलंब, एक साइटमैप और खोज, सामाजिक, एआई और एसईओ क्रॉलर के लिए प्रीसेट के साथ स्थानीय रूप से robots.txt जेनरेट करें।

robots.txt

यह डिफ़ॉल्ट समूह और नीचे Allow या Block पर सेट किसी भी क्रॉलर पर लागू होता है। Google, Crawl-delay को नज़रअंदाज़ करता है; Bing, Yandex और अधिकतर अन्य क्रॉलर इसका पालन करते हैं।

प्रतिबंधित डायरेक्टरी वहीं ब्लॉक होती हैं जहाँ एक्सेस Allow पर सेट हो। जिस क्रॉलर को आप पूरी तरह ब्लॉक कर देते हैं वह पहले से ही ब्लॉक है, इसलिए वहाँ इनका कोई अतिरिक्त असर नहीं पड़ता।

क्रॉलर-विशिष्ट नियम

"डिफ़ॉल्ट जैसा" चुनने पर क्रॉलर ऊपर दिए डिफ़ॉल्ट समूह का पालन करता है। "Allow" या "Block" चुनने पर उसे ऊपर तय पथों और crawl-delay के साथ अपना अलग User-agent ब्लॉक मिलता है।

सर्च इंजन

सोशल लिंक प्रीव्यू

AI क्रॉलर

SEO क्रॉलर

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

इस पेज पर सब कुछ आपके ब्राउज़र में संसाधित होता है। कुछ भी अपलोड नहीं होता।

यह टूल क्या करता है

यह robots.txt जनरेटर आपके ब्राउज़र में फ़ाइल बॉडी बनाता है। उपयोगकर्ता-एजेंट को कॉन्फ़िगर करें: * समूह, डिफ़ॉल्ट अनुमति या व्यवहार को अवरुद्ध करें, पथों को अस्वीकार करें, पथों को अनुमति दें, वैकल्पिक क्रॉल-विलंब, एक साइटमैप यूआरएल, एक कस्टम उपयोगकर्ता-एजेंट और 14 निश्चित क्रॉलर प्रीसेट। प्रीसेट में सर्च, सोशल, AI और SEO क्रॉलर जैसे Googlebot, Bingbot, GPTBot, Google-एक्सटेंडेड, CCBot और AhrefsBot शामिल हैं। डिफ़ॉल्ट पर सेट किया गया क्रॉलर हटा दिया जाता है और वाइल्डकार्ड समूह में चला जाता है। प्रत्येक जेनरेट किए गए समूह में समान अनुमति और अस्वीकृत पथ दोहराए जाते हैं, इसलिए उपकरण एक पथ नियम को केवल एक क्रॉलर तक सीमित नहीं कर सकता है। आप आउटपुट को कॉपी कर सकते हैं या ब्लॉब ऑब्जेक्ट URL से robots.txt डाउनलोड कर सकते हैं। टूल परीक्षण, सत्यापन, मिलान अनुकरण, मौजूदा robots.txt नहीं लाता है, आपकी साइट पर प्रकाशित नहीं करता है, वेबमास्टर टूल में सबमिट नहीं करता है, पथ मान्य नहीं करता है, एकाधिक साइटमैप लाइनें या आउटपुट रोबोट मेटा टैग, एक्स-रोबोट-टैग, नोइंडेक्स, होस्ट या क्लीन-परम निर्देश नहीं जोड़ता है। क्रॉल-विलंब बिल्कुल वैसा ही लिखा गया है जैसा टाइप किया गया है और Googlebot द्वारा इसे अनदेखा कर दिया गया है। सेटिंग्स ब्राउज़र में रहती हैं.

इस्तेमाल कैसे करें

  1. डिफ़ॉल्ट एक्सेस मोड चुनें और कोई भी साझा अनुमति या अस्वीकृत पथ दर्ज करें।
  2. यदि आवश्यक हो तो क्रॉल-विलंब, एक साइटमैप यूआरएल, एक कस्टम उपयोगकर्ता-एजेंट या क्रॉलर प्रीसेट ओवरराइड जोड़ें।
  3. जेनरेट किए गए robots.txt की समीक्षा करें, फिर इसे कॉपी करें या अपनी साइट रूट के लिए फ़ाइल डाउनलोड करें।

निजता

यह टूल पूरी तरह आपके ब्राउज़र में चलता है। आपका डेटा कभी अपलोड, सेव या साझा नहीं होता — टैब बंद करते ही वह हट जाता है।

अक्सर पूछे जाने वाले सवाल

मैं उपयोगकर्ता-एजेंट को कैसे परिभाषित करूं?
वाइल्डकार्ड उपयोगकर्ता-एजेंट: * समूह हमेशा उत्पन्न होता है। आप एक कस्टम उपयोगकर्ता-एजेंट जोड़ सकते हैं और निश्चित क्रॉलर प्रीसेट के लिए अनुमति, ब्लॉक या डिफ़ॉल्ट चुन सकते हैं।
मुझे अस्वीकृत निर्देश का उपयोग कैसे करना चाहिए?
प्रति पंक्ति एक पथ दर्ज करें. LocalTools खाली लाइनों को ट्रिम करता है और प्रत्येक पथ के लिए एक अस्वीकृत लाइन लिखता है, लेकिन यह पथों को मान्य नहीं करता है या मिलान का अनुकरण नहीं करता है।
क्या मैं अपना साइटमैप robots.txt में जोड़ सकता हूँ?
हाँ, अंत में एक साइटमैप पंक्ति जोड़ी जा सकती है। टूल साइटमैप URL को मान्य नहीं करता है और एकाधिक साइटमैप लाइनों का समर्थन नहीं करता है।
मैं जेनरेट की गई robots.txt फ़ाइल को अपनी वेबसाइट पर कैसे जोड़ूँ?
फ़ाइल को कॉपी या डाउनलोड करें और इसे अपनी साइट के रूट पर रखें। LocalTools इसे आपके लिए अपलोड, प्रकाशित या सबमिट नहीं करता है।
क्या मैं केवल एक क्रॉलर के लिए एक अलग अस्वीकरण सेट कर सकता हूँ?
नहीं, क्रॉलर प्रीसेट को अनुमति दी जा सकती है, अवरुद्ध किया जा सकता है या छोड़ा जा सकता है, लेकिन प्रत्येक जेनरेट किए गए समूह में समान अनुमति और अस्वीकृत पथ सूचियाँ दोहराई जाती हैं।