श्रेणी: डेवलपर टूल
Robots.txt जनरेटर
allow, disallow और sitemap नियमों के साथ robots.txt फ़ाइल बनाएँ
उपयोग के लिए तैयार robots.txt फ़ाइल बनाने हेतु user-agent, allow और disallow पथ, एक वैकल्पिक crawl-delay और साइटमैप URL सेट करें। पूरी तरह आपके ब्राउज़र में चलता है।
robots.txt
robots.txt
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
इस पेज पर सब कुछ आपके ब्राउज़र में संसाधित होता है। कुछ भी अपलोड नहीं होता।
यह टूल क्या करता है
robots.txt फ़ाइल सर्च इंजन क्रॉलर को बताती है कि वे साइट के किन हिस्सों का अनुरोध कर सकते हैं और किनका नहीं, और उन्हें साइटमैप की ओर भी इशारा कर सकती है। यह जनरेटर एक user-agent, allowed पथों की सूची, disallowed पथों की सूची, एक वैकल्पिक crawl-delay, और एक साइटमैप URL से मानक-आकार की फ़ाइल बनाता है।
इस्तेमाल कैसे करें
- user-agent सेट करें, या हर क्रॉलर से मेल खाने के लिए इसे * रहने दें।
- एक-एक पंक्ति में allowed और disallowed पथ सूचीबद्ध करें, और साइटमैप URL जोड़ें।
- जनरेट की गई robots.txt को अपनी साइट के रूट में कॉपी करें।
निजता
यह टूल पूरी तरह आपके ब्राउज़र में चलता है। आपका डेटा कभी अपलोड, सेव या साझा नहीं होता — टैब बंद करते ही वह हट जाता है।
अक्सर पूछे जाने वाले सवाल
- क्या मेरी साइट के बारे में कुछ भी कहीं भेजा जाता है?
- नहीं। फ़ाइल आपके इनपुट से पेज में चल रहे JavaScript में असेंबल होती है, इसलिए कुछ भी अपलोड नहीं होता।
- robots.txt कहाँ होनी चाहिए?
- आपके डोमेन के रूट में, जैसे https://example.com/robots.txt, ताकि क्रॉलर अन्य पेजों का अनुरोध करने से पहले इसे ढूँढ सकें।
- क्या सभी क्रॉलर crawl-delay का पालन करते हैं?
- नहीं। Crawl-delay एक व्यापक रूप से समर्थित परंपरा है लेकिन औपचारिक मानक नहीं, इसलिए कुछ क्रॉलर इसे पूरी तरह अनदेखा कर देते हैं।