Robots.txt टेस्टर
robots.txt फ़ाइलों का परीक्षण और सत्यापन करें। जाँचें कि किसी क्रॉलर के लिए URL अनुमत हैं या अवरुद्ध, डायरेक्टिव पार्स करें और एक साथ कई URL परीक्षण करें।
अपडेट किया गया
Sample Presets
Robots.txt Content
Test Settings
अक्सर पूछे जाने वाले प्रश्न
यह क्या परखता है?
यह आपकी robots.txt को पार्स करता है और Google-शैली के मिलान नियमों का उपयोग करके जाँचता है कि किसी user-agent क्रॉलर के लिए विशिष्ट URL की अनुमति होगी या वे ब्लॉक होंगे।
मिलान कैसे काम करता है?
सबसे विशिष्ट (सबसे लंबा) मिलने वाला नियम जीतता है। समान विशिष्टता पर Allow, Disallow से ऊपर रहता है। यह * वाइल्डकार्ड और $ URL-अंत एंकर का समर्थन करता है।
क्या मैं कई URL परख सकता हूँ?
हाँ — Bulk URL Test टैब कई URL स्वीकार करता है और सारांश गणना के साथ प्रत्येक URL के लिए ALLOWED/BLOCKED निर्णय दिखाता है।
क्या Robots.txt टेस्टर इस्तेमाल करना मुफ़्त है?
हाँ, Robots.txt टेस्टर 100% मुफ़्त है, बिना किसी पंजीकरण, छिपे शुल्क या उपयोग सीमा के। सारी प्रोसेसिंग आपके ब्राउज़र में स्थानीय रूप से होती है, जिससे पूरी निजता सुनिश्चित होती है।
क्या इस टूल के साथ मेरा डेटा सुरक्षित है?
बिल्कुल। Robots.txt टेस्टर सब कुछ आपके ब्राउज़र में क्लाइंट-साइड पर प्रोसेस करता है। कोई भी डेटा किसी सर्वर पर अपलोड या संग्रहित नहीं किया जाता। आपकी सामग्री हर समय आपके डिवाइस पर निजी रहती है।
क्या Robots.txt टेस्टर मोबाइल डिवाइस पर काम करता है?
हाँ, Robots.txt टेस्टर पूरी तरह रिस्पॉन्सिव है और स्मार्टफ़ोन व टैबलेट पर काम करता है। आप इसे किसी भी आधुनिक वेब ब्राउज़र वाले डिवाइस पर इस्तेमाल कर सकते हैं, किसी ऐप डाउनलोड की ज़रूरत नहीं।
क्या इस टूल को इस्तेमाल करने के लिए मुझे खाता बनाना होगा?
किसी खाते या पंजीकरण की ज़रूरत नहीं है। बस अपने ब्राउज़र में Robots.txt टेस्टर खोलें और तुरंत इस्तेमाल शुरू करें। कोई साइन-अप बाधा या उपयोग प्रतिबंध नहीं है।
क्या यह टूल Google के नवीनतम दिशानिर्देशों का पालन करता है?
हाँ, Robots.txt टेस्टर को Google Search के मौजूदा दिशानिर्देशों और सर्वोत्तम प्रथाओं के अनुसार बनाया गया है। हम सर्च इंजन की आवश्यकताओं में बदलावों को दर्शाने के लिए टूल को नियमित रूप से अपडेट करते हैं।
मैं Robots.txt टेस्टर का उपयोग कैसे करूँ?
बस दिए गए फ़ील्ड में अपना इनपुट डालें, अपनी पसंद के अनुसार सेटिंग्स समायोजित करें, और टूल इसे तुरंत प्रोसेस कर देगा। फिर आप परिणाम को क्लिपबोर्ड पर कॉपी कर सकते हैं या डाउनलोड कर सकते हैं।
कौन-कौन से ब्राउज़र समर्थित हैं?
Robots.txt टेस्टर सभी आधुनिक ब्राउज़रों में काम करता है, जिनमें Chrome, Firefox, Safari, Edge और Opera शामिल हैं। सर्वोत्तम अनुभव के लिए अपने पसंदीदा ब्राउज़र के नवीनतम संस्करण का उपयोग करें।
robots.txt में किसी पेज को ब्लॉक करने और noindex टैग जोड़ने में क्या फ़र्क़ है?
Robots.txt क्रॉलिंग को नियंत्रित करता है, इंडेक्सिंग को नहीं। एक Disallow नियम क्रॉलर्स को किसी URL की रिक्वेस्ट न करने के लिए कहता है, लेकिन इससे वह URL सर्च रिज़ल्ट से हटता नहीं है — अगर दूसरे पेज उससे लिंक करते हैं, तो Google फिर भी उस लिंक को बिना किसी डिस्क्रिप्शन के इंडेक्स कर सकता है, क्योंकि उसे कभी पेज पढ़ने की अनुमति ही नहीं मिली थी। इसके विपरीत, एक noindex मेटा टैग या HTTP हेडर क्रॉलर को पेज फ़ेच करने देता है और फिर स्पष्ट रूप से उसे इंडेक्स से बाहर रखता है। पेच यह है कि noindex तभी काम करता है जब पेज क्रॉल किया जा सकता हो, इसलिए robots.txt में उसे ब्लॉक करने से Google कभी noindex डायरेक्टिव देख ही नहीं पाता। किसी पेज को भरोसेमंद तरीके से छिपाने के लिए, क्रॉलिंग की अनुमति दें और noindex का इस्तेमाल करें; वाकई बेकार URL पर क्रॉल बजट बचाने के लिए Disallow का इस्तेमाल करें। यह टेस्टर आपको सटीक ALLOWED या BLOCKED फैसला दिखाता है ताकि noindex पर भरोसा करने से पहले आप पक्का कर सकें कि पेज तक पहुंचा जा सकता है।
robots.txt नियम में * और $ वाइल्डकार्ड का क्या मतलब होता है?
स्टार (*) किसी भी अक्षर-क्रम से मैच करता है, और डॉलर साइन ($) किसी नियम को URL पाथ के अंत से जोड़ देता है। दोनों मिलकर एक ही लाइन से कई URL को कवर कर लेते हैं। उदाहरण के लिए, Disallow: /*?sort= किसी भी ऐसे पाथ को ब्लॉक करता है जिसमें sort पैरामीटर हो, जो फ़ेसेटेड-सर्च और फ़िल्टर URL के लिए काम आता है जो अनगिनत डुप्लिकेट पेज बना देते हैं। Disallow: /*.pdf$ सिर्फ़ उन URL को ब्लॉक करता है जो .pdf पर खत्म होते हैं, इसलिए /guide.pdf?ref=email जैसा पाथ मैच नहीं करेगा क्योंकि एक्सटेंशन के बाद कुछ और भी है। Google और ज़्यादातर आधुनिक क्रॉलर दोनों सिंबल सपोर्ट करते हैं, लेकिन इनमें मामूली गलती होना आसान है, और गलत जगह लगा वाइल्डकार्ड आपकी सोच से कहीं ज़्यादा ब्लॉक कर सकता है। अपनी फ़ाइल पेस्ट करें और यहां किसी सैंपल URL को टेस्ट करके देखें कि आपका वाइल्डकार्ड नियम उम्मीद के मुताबिक मैच करता है या नहीं।
Google को ब्लॉक किए बिना GPTBot जैसे AI क्रॉलर को कैसे ब्लॉक करें?
आप हर बॉट को उसके नाम से, उसके अपने यूज़र-एजेंट ग्रुप में टारगेट करते हैं। सर्च क्रॉलर और AI ट्रेनिंग क्रॉलर अलग-अलग यूज़र-एजेंट स्ट्रिंग इस्तेमाल करते हैं, इसलिए एक के लिए बनाया नियम दूसरे को प्रभावित नहीं करता। Googlebot और Bingbot को साइट इंडेक्स करते रहने देने के लिए User-agent: * को Allow पर सेट रहने दें, फिर GPTBot, ChatGPT-User, Google-Extended, anthropic-ai, ClaudeBot, CCBot, PerplexityBot और Bytespider जैसे एजेंट के लिए अलग Disallow: / ग्रुप जोड़ें। चूंकि सबसे विशिष्ट मैचिंग ग्रुप जीतता है, इसलिए हर नामित बॉट अपने ही ब्लॉक का पालन करता है जबकि सर्च इंजन डिफ़ॉल्ट अनुमति वाले नियम पर बने रहते हैं। ध्यान रहे कि यह पालन स्वैच्छिक है — अच्छे व्यवहार वाले बॉट robots.txt का सम्मान करते हैं, लेकिन यह कोई सुरक्षा दीवार नहीं है। इस टेस्टर में Block AI Bots प्रीसेट शामिल है और यह आपको हर क्रॉलर को अलग-अलग सिम्युलेट करने देता है ताकि आप पक्का कर सकें कि सर्च इंजन अब भी अंदर आ रहे हैं जबकि AI बॉट ब्लॉक हैं।
मेरा robots.txt अनदेखा क्यों हो रहा है या काम क्यों नहीं कर रहा?
सबसे आम वजह होती है लोकेशन: robots.txt फ़ाइल को उस होस्ट के रूट पर, ठीक /robots.txt पर होना ज़रूरी है, और नियम प्रोटोकॉल, सबडोमेन और पोर्ट के हिसाब से लागू होते हैं। /folder/robots.txt पर रखी फ़ाइल या अपेक्स डोमेन पर मौजूद फ़ाइल किसी सबडोमेन को नियंत्रित नहीं करेगी। अन्य चुपचाप होने वाली गड़बड़ियों में शामिल हैं: किसी User-agent लाइन से पहले रखी गई Allow या Disallow लाइनें (जिन्हें क्रॉलर अनदेखा कर देते हैं), डुप्लिकेट यूज़र-एजेंट ग्रुप जो अनजाने में मर्ज हो जाते हैं, एक ज़्यादा विशिष्ट Disallow के पीछे छिपा हुआ बेअसर Allow नियम, और गायब User-agent: * डिफ़ॉल्ट ग्रुप। डायरेक्टिव नामों में टाइपो और नेगेटिव Crawl-delay वैल्यू भी अक्सर अनदेखी कर दी जाती हैं। यह टेस्टर आपकी पूरी फ़ाइल पार्स करता है, इन संरचनात्मक समस्याओं को लाइन नंबर के साथ उजागर करता है, और हर URL का फैसला करने वाले सटीक डायरेक्टिव का नाम बताता है, ताकि आप पता लगा सकें कि कोई नियम उम्मीद के मुताबिक व्यवहार क्यों नहीं कर रहा।
क्या robots.txt में Crawl-delay वाकई Googlebot को धीमा कर देता है?
नहीं — Google, Crawl-delay डायरेक्टिव को सपोर्ट नहीं करता और उसे पूरी तरह अनदेखा कर देता है, इसलिए इसे जोड़ने से Googlebot आपके पेज कितनी तेज़ी से रिक्वेस्ट करता है, यह नहीं बदलेगा। Google की क्रॉल दर को एडजस्ट करने के लिए वह अपनी ऑटोमैटिक एडैप्टिव क्रॉलिंग पर निर्भर रहता है, जो आपके सर्वर की स्पीड और एरर रिस्पॉन्स के हिसाब से बदलती है। हालांकि, Crawl-delay को Bingbot और Yandex जैसे कुछ अन्य क्रॉलर मानते हैं, जहां यह तय करता है कि बॉट दो रिक्वेस्ट के बीच कम-से-कम कितने सेकंड रुके। नेगेटिव वैल्यू अमान्य होती है और उसे नज़रअंदाज़ कर दिया जाता है। चूंकि सपोर्ट हर इंजन में अलग-अलग होता है, इसलिए यह पक्का करना ज़रूरी है कि कौन-सा क्रॉलर यह डायरेक्टिव पढ़ता है और उस पर कौन-सी वैल्यू लागू होती है। यह टेस्टर आपके चुने गए यूज़र-एजेंट के लिए Crawl-delay वैल्यू दिखाता है, इसे आपकी फ़ाइल से पार्स करता है, और अमान्य नेगेटिव वैल्यू के बारे में चेतावनी देता है, ताकि आप एक नज़र में देख सकें कि आपकी देरी असल में किन बॉट को प्रभावित करेगी।
संबंधित टूल
मुफ़्त SEO मेटा टैग जनरेटर
अपनी वेबसाइट के लिए SEO-अनुकूल मेटा टैग बनाएँ। शीर्षक, विवरण, कीवर्ड और बहुत कुछ। मुफ़्त, तेज़ और पूरी तरह आपके ब्राउज़र में काम करता है, बिना साइन-अप के।
मुफ़्त Open Graph टैग जनरेटर
सोशल मीडिया शेयरिंग के लिए Open Graph और Twitter Card मेटा टैग बनाएँ। मुफ़्त, तेज़ और पूरी तरह आपके ब्राउज़र में काम करता है, बिना साइन-अप के।
मुफ़्त Robots.txt जनरेटर
सर्च इंजन क्रॉलिंग को नियंत्रित करने के लिए robots.txt फ़ाइल बनाएँ। मुफ़्त, तेज़ और पूरी तरह आपके ब्राउज़र में काम करता है, बिना साइन-अप के।
मुफ़्त कीवर्ड डेंसिटी चेकर
SEO ऑप्टिमाइज़ेशन के लिए अपने कंटेंट में कीवर्ड डेंसिटी और फ़्रीक्वेंसी का विश्लेषण करें। मुफ़्त, तेज़ और पूरी तरह आपके ब्राउज़र में काम करता है, बिना साइन-अप के।
Robots.txt Tester के बारे में
Robots.txt Tester एक मुफ़्त टूल है जो यह ठीक-ठीक बताता है कि कोई सर्च इंजन या AI क्रॉलर आपके robots.txt नियमों को कैसे पढ़ेगा। robots.txt फ़ाइल की कंटेंट पेस्ट करें, कोई क्रॉलर चुनें और एक URL डालें — टेस्टर तुरंत ALLOWED या BLOCKED का फैसला दिखाता है, यह भी बताता है कि किस डायरेक्टिव ने यह फैसला किया और वह किस लाइन नंबर पर है। यह उन SEO विशेषज्ञों, डेवलपर्स और वेबसाइट मालिकों के लिए बनाया गया है जिन्हें यह पक्का करना होता है कि ज़रूरी पेज क्रॉल किए जा सकें और एडमिन पाथ, फ़ेसेटेड सर्च URL, या AI ट्रेनिंग बॉट बाहर रहें।
robots.txt एक प्लेन-टेक्स्ट फ़ाइल होती है जो डोमेन के रूट पर (/robots.txt) रखी जाती है और क्रॉलर्स को बताती है कि वे कौन-से पाथ रिक्वेस्ट कर सकते हैं और कौन-से नहीं। यह क्रॉलिंग को नियंत्रित करती है, इंडेक्सिंग को नहीं — यानी ब्लॉक किया हुआ URL फिर भी सर्च रिज़ल्ट में दिख सकता है अगर दूसरे पेज उससे लिंक कर रहे हों — और यही वह बारीक व्यवहार है जिसे समझने में यह टेस्टर आपकी मदद करता है, वह भी बदलाव लाइव करने से पहले।
सब कुछ आपके ब्राउज़र में ही लोकली चलता है। आपके द्वारा पेस्ट किया गया robots.txt और टेस्ट किए गए URL कभी किसी सर्वर पर अपलोड नहीं होते, इसलिए आप किसी अनरिलीज़्ड स्टेजिंग साइट के नियम भी बेझिझक जांच सकते हैं। कोई साइन-अप ज़रूरी नहीं है, कोई उपयोग-सीमा नहीं है, और आप अपनी बनाई फ़ाइल को robots.txt के रूप में कॉपी या डाउनलोड कर सकते हैं।
Allow/Blocked जांच कैसे काम करती है
यह टेस्टर Google के मैचिंग एल्गोरिद्म का इस्तेमाल करता है, इसलिए नतीजा वैसा ही होता है जैसा Googlebot और ज़्यादातर आधुनिक क्रॉलर असल में व्यवहार करते हैं:
- सबसे विशिष्ट नियम जीतता है। जब किसी URL से कई
AllowऔरDisallowलाइनें मैच करती हैं, तो जिसका पाथ सबसे लंबा हो (वाइल्डकार्ड को नज़रअंदाज़ करते हुए) उसे प्राथमिकता मिलती है। - बराबरी होने पर Allow जीतता है। अगर कोई
AllowऔरDisallowसमान रूप से विशिष्ट हों, तो URL को अनुमति मिल जाती है। - वाइल्डकार्ड सपोर्ट होते हैं।
*किसी भी अक्षर-क्रम से मैच करता है और$मैच को URL के अंत से जोड़ देता है — इसलिएDisallow: /*.pdf$सिर्फ़ PDF फ़ाइलों को ब्लॉक करता है। - खास यूज़र-एजेंट ग्रुप
*ग्रुप को ओवरराइड करते हैं। अगर आपके चुने हुए क्रॉलर का अपना अलग ब्लॉक हो, तो टेस्टर सामान्य नियमों की बजाय उसी को इस्तेमाल करता है।
आप एक बार में एक URL टेस्ट कर सकते हैं या Bulk Test टैब पर जाकर कई URL (हर लाइन में एक) पेस्ट कर सकते हैं और हर URL का फैसला, साथ ही कितने allowed बनाम blocked हैं इसका सारांश पा सकते हैं।
जिन क्रॉलर्स को सिम्युलेट किया जा सकता है
इस टेस्टर में आज के सबसे ज़रूरी यूज़र-एजेंट पहले से मौजूद हैं, जिनमें Googlebot, Googlebot-Image, Bingbot, Applebot, DuckDuckBot, Yandex और Baiduspider शामिल हैं — साथ ही GPTBot और ChatGPT-User जैसे AI क्रॉलर भी। आप कोई भी कस्टम यूज़र-एजेंट स्ट्रिंग भी टाइप कर सकते हैं। इससे यह पक्का करना आसान हो जाता है कि आप सर्च इंजनों को अंदर आने दे रहे हैं जबकि AI ट्रेनिंग बॉट को बाहर रख रहे हैं — यह एक आम मकसद है जिसे बिल्ट-इन "Block AI Bots" प्रीसेट से हल किया जा सकता है।
वैलिडेशन, पार्स किए गए नियम और प्रीसेट
फैसले के अलावा, यह टेस्टर आपकी पूरी फ़ाइल को पार्स करता है और उन समस्याओं को उजागर करता है जो चुपचाप क्रॉलिंग को तोड़ देती हैं:
- गायब
User-agent: *डिफ़ॉल्ट ग्रुप। - डुप्लिकेट यूज़र-एजेंट ग्रुप जो आपस में मर्ज हो जाते हैं।
- ऐसी
AllowयाDisallowलाइनें जो किसीUser-agentलाइन से पहले आती हैं और इसलिए अनदेखी कर दी जाती हैं। - अमान्य या पहचाने न जा सकने वाले डायरेक्टिव, और नेगेटिव
Crawl-delayवैल्यू। - ऐसे
Allowनियम जो एक ज़्यादा विशिष्टDisallowके पीछे छिपकर संभावित रूप से बेअसर हो जाते हैं।
यह हर पार्स किए गए ग्रुप को भी सूचीबद्ध करता है, दिखाता है कि चुने गए क्रॉलर पर कौन-से डायरेक्टिव लागू होते हैं, किसी भी Sitemap और Host एंट्री को सामने लाता है, और उस बॉट के लिए Crawl-delay बताता है। जल्दी शुरुआत करने के लिए, कोई प्रीसेट लोड करें — Allow All, Block All, Block AI Bots, Standard WordPress, या कई ग्रुप, वाइल्डकार्ड और एंकर वाली एक Complex Google-style फ़ाइल — फिर उसे अपनी साइट के हिसाब से एडिट करके दोबारा टेस्ट करें।
अपना robots.txt ऊपर पेस्ट करें, एक क्रॉलर चुनें, और किसी URL को टेस्ट करके फैसला और उसके पीछे का सटीक नियम देखें।