श्रेणी: डेवलपर टूल
robots.txt परीक्षक
जांचें कि robots.txt किसी पथ को अनुमति देता है या रोकता है
robots.txt चिपकाएं, User-agent और पथ दर्ज करें, और देखें कि मेल खाने वाले समूह व नियम के अनुसार क्रॉलिंग की अनुमति है या नहीं। यह आपके ब्राउज़र में ही संसाधित होता है और LocalTools पर डेटा अपलोड नहीं करता।
इस पेज पर सब कुछ आपके ब्राउज़र में संसाधित होता है। कुछ भी अपलोड नहीं होता।
यह टूल क्या करता है
robots.txt चिपकाएं, User-agent और पथ दर्ज करें, और देखें कि मेल खाने वाले समूह व नियम के अनुसार क्रॉलिंग की अनुमति है या नहीं। यह आपके ब्राउज़र में ही संसाधित होता है और LocalTools पर डेटा अपलोड नहीं करता। robots.txt फ़ाइल में कई User-agent समूह और एक-दूसरे पर लागू होने वाले Allow व Disallow नियम हो सकते हैं, जिससे यह गलत समझना आसान होता है कि कोई खास पथ सच में रोका गया है या नहीं। यह टूल चिपकाए गए robots.txt पाठ को पार्स करता है, सबसे विशिष्ट मेल खाने वाला User-agent समूह चुनता है, और Google के क्रॉलर द्वारा इस्तेमाल की जाने वाली सबसे-विशिष्ट-नियम-जीतता है प्राथमिकता लागू करता है: सबसे लंबे पथ वाला मेल खाता नियम जीतता है, और समान रूप से विशिष्ट Allow समान रूप से विशिष्ट Disallow से ऊपर रहता है। यह आपके ब्राउज़र में ही संसाधित होता है और LocalTools पर डेटा अपलोड नहीं करता।
इस्तेमाल कैसे करें
- सामग्री चिपकाएं।
- परिणाम और समस्या विवरण देखें।
- परिणाम की प्रतिलिपि बनाएं।
निजता
यह टूल पूरी तरह आपके ब्राउज़र में चलता है। आपका डेटा कभी अपलोड, सेव या साझा नहीं होता — टैब बंद करते ही वह हट जाता है।
अक्सर पूछे जाने वाले सवाल
- मैं कैसे जांचूं कि robots.txt कोई पथ रोकता है या नहीं?
- robots.txt चिपकाएं, User-agent और पथ दर्ज करें, और देखें कि मेल खाने वाले समूह व नियम के अनुसार क्रॉलिंग की अनुमति है या नहीं। यह आपके ब्राउज़र में ही संसाधित होता है और LocalTools पर डेटा अपलोड नहीं करता।
- जब Allow और Disallow दोनों मेल खाते हैं, तो कौन सा नियम लागू होता है?
- robots.txt चिपकाएं, User-agent और पथ दर्ज करें, और देखें कि मेल खाने वाले समूह व नियम के अनुसार क्रॉलिंग की अनुमति है या नहीं।
- क्या मैं देख सकता हूं कि परिणाम किस आधार पर बना?
- हां। पेज परिणाम के साथ टूल से जुड़े मेल खाने वाले आइटम या समस्या विवरण दिखाता है।
- क्या मेरी सामग्री अपलोड होती है?
- नहीं। सामग्री, सेटिंग और परिणाम आपके ब्राउज़र में ही संसाधित होते हैं।
- यह टूल क्या समर्थन नहीं करता?
- यह लाइव robots.txt फ़ाइल नहीं लाता, साइट को क्रॉल नहीं करता, सर्वर फ़ाइलें नहीं बदलता, robots meta टैग नहीं बनाता, और हर bot-विशिष्ट कार्यान्वयन का मॉडल नहीं बनाता; यह केवल चिपकाए गए नियमों को एक User-agent और पथ के विरुद्ध जांचता है।