श्रेणी: डेवलपर टूल
Robots.txt टेस्टर
जाँचें कि robots.txt फ़ाइल किसी user-agent के लिए एक पथ की अनुमति देती है या नहीं
यह देखने के लिए कि क्रॉलिंग की अनुमति है या नहीं, और कौन-सा नियम व ग्रुप मेल खाया, robots.txt कॉन्टेंट, एक user-agent और एक पथ पेस्ट करें। पूरी तरह आपके ब्राउज़र में चलता है।
इस पेज पर सब कुछ आपके ब्राउज़र में संसाधित होता है। कुछ भी अपलोड नहीं होता।
यह टूल क्या करता है
एक robots.txt फ़ाइल में कई user-agent ग्रुप और ओवरलैप करते Allow व Disallow नियम हो सकते हैं, जिससे यह गलत आंकना आसान हो जाता है कि कोई खास पथ वाकई ब्लॉक है या नहीं। यह टूल पेस्ट किए गए robots.txt टेक्स्ट को पार्स करता है, सबसे विशिष्ट मेल खाने वाला user-agent ग्रुप चुनता है, और वही most-specific-rule-wins प्राथमिकता लागू करता है जो Google के क्रॉलर उपयोग करते हैं: सबसे लंबे पथ वाला मिलान करने वाला नियम जीतता है, और समान रूप से विशिष्ट Allow एक समान रूप से विशिष्ट Disallow पर भारी पड़ता है।
इस्तेमाल कैसे करें
- robots.txt कॉन्टेंट को इनपुट बॉक्स में पेस्ट करें।
- जाँचने के लिए user-agent दर्ज करें, जैसे * या Googlebot।
- जाँचने के लिए पथ दर्ज करें और पढ़ें कि इसकी अनुमति है या नहीं, साथ ही मिलान किया गया ग्रुप और नियम।
निजता
यह टूल पूरी तरह आपके ब्राउज़र में चलता है। आपका डेटा कभी अपलोड, सेव या साझा नहीं होता — टैब बंद करते ही वह हट जाता है।
अक्सर पूछे जाने वाले सवाल
- क्या मेरी robots.txt कहीं भेजी जाती है?
- नहीं। पार्सिंग और मिलान पूरी तरह आपके ब्राउज़र टैब में चल रहे JavaScript में होते हैं।
- अगर पथ से कोई नियम मेल न खाए तो क्या होगा?
- पथ डिफ़ॉल्ट रूप से अनुमत होता है, जो असली क्रॉलर robots.txt के साथ जो व्यवहार करते हैं उसे दर्शाता है: केवल स्पष्ट Disallow नियम ही एक्सेस सीमित करते हैं।
- यह कौन-सी प्राथमिकता प्रणाली उपयोग करता है?
- Most-specific-rule-wins: किसी पथ से मेल खाने वाले नियमों में से, सबसे लंबी पथ स्ट्रिंग वाला नियम लागू होता है। अगर समान लंबाई के दो नियम टकराते हैं, तो टूल Google के दस्तावेज़ीकृत व्यवहार का पालन करता है और कम प्रतिबंधात्मक Allow नियम को प्राथमिकता देता है।