मुफ़्त Robots.txt जनरेटर
सर्च इंजन क्रॉलिंग को नियंत्रित करने के लिए robots.txt फ़ाइल बनाएँ। मुफ़्त, तेज़ और पूरी तरह आपके ब्राउज़र में काम करता है, बिना साइन-अप के।
अपडेट किया गया
Quick Presets
Global Settings
Rule 1: *
Not supported by Google. Supported by Bing, Yandex, and others.
/Generated Output
# robots.txt generated by The Toolbox # https://seotools.example.com/robots-txt-generator User-agent: * Allow: /
Important Notes
- robots.txt should be placed at the root of your domain (e.g., example.com/robots.txt)
- robots.txt is a suggestion, not a security measure -- it will not prevent access
- Use "Disallow: /" to block all crawling, "Disallow:" (empty) to allow all
- The * wildcard matches any sequence of characters in a path
- The $ anchor matches the end of URL (e.g. /*.pdf$ blocks only .pdf URLs)
- Always include your sitemap URL(s) for better indexing
- Crawl-delay is not supported by Google but is respected by Bing and Yandex
- Test your robots.txt using Google Search Console's robots.txt Tester
- Blocking AI bots (GPTBot, CCBot, etc.) does not affect search engine indexing
Privacy First: All generation, validation, and testing happens locally in your browser. No data is sent to any server.
अक्सर पूछे जाने वाले प्रश्न
Robots.txt Generator क्या है?
Robots.txt Generator एक मुफ़्त ऑनलाइन टूल है जो robots.txt फ़ाइलें बनाता है ताकि यह नियंत्रित किया जा सके कि सर्च इंजन क्रॉलर आपकी वेबसाइट तक कैसे पहुँचें और उसे कैसे इंडेक्स करें।
क्या Robots.txt Generator मुफ़्त है?
हाँ, यह पूरी तरह मुफ़्त है और इसके लिए किसी रजिस्ट्रेशन की ज़रूरत नहीं है। सारी फ़ाइल जनरेशन आपके ब्राउज़र में क्लाइंट-साइड पर होती है।
मुझे robots.txt फ़ाइल की ज़रूरत क्यों है?
एक robots.txt फ़ाइल सर्च इंजन बॉट्स को बताती है कि कौन-से पेज क्रॉल करने हैं और किन्हें छोड़ना है, जिससे आपको crawl budget प्रबंधित करने और निजी पेजों के इंडेक्स होने से रोकने में मदद मिलती है।
क्या इस टूल के साथ मेरा डेटा सुरक्षित है?
बिल्कुल। Robots.txt Generator सब कुछ आपके ब्राउज़र में क्लाइंट-साइड पर प्रोसेस करता है। कोई डेटा किसी सर्वर पर अपलोड या संग्रहीत नहीं किया जाता। आपकी सामग्री हर समय आपके डिवाइस पर निजी रहती है।
क्या Robots.txt Generator मोबाइल डिवाइस पर काम करता है?
हाँ, Robots.txt Generator पूरी तरह रिस्पॉन्सिव है और स्मार्टफ़ोन तथा टैबलेट पर काम करता है। आप इसे किसी भी आधुनिक वेब ब्राउज़र वाले डिवाइस पर उपयोग कर सकते हैं — किसी ऐप डाउनलोड की ज़रूरत नहीं।
क्या इस टूल का उपयोग करने के लिए मुझे खाता बनाना होगा?
किसी खाते या रजिस्ट्रेशन की ज़रूरत नहीं है। बस अपने ब्राउज़र में Robots.txt Generator खोलें और तुरंत उपयोग शुरू करें। कोई साइन-अप बाधा या उपयोग प्रतिबंध नहीं है।
क्या यह टूल Google के नवीनतम दिशानिर्देशों का पालन करता है?
हाँ, Robots.txt Generator को Google Search के मौजूदा दिशानिर्देशों और सर्वोत्तम प्रथाओं के अनुसार बनाया गया है। हम सर्च इंजन आवश्यकताओं में बदलावों को दर्शाने के लिए टूल को नियमित रूप से अपडेट करते हैं।
मैं Robots.txt Generator का उपयोग कैसे करूँ?
बस दिए गए फ़ील्ड में अपना इनपुट दर्ज करें, अपनी पसंद के अनुसार कोई भी सेटिंग समायोजित करें, और टूल इसे तुरंत प्रोसेस कर देगा। इसके बाद आप परिणाम को क्लिपबोर्ड पर कॉपी या डाउनलोड कर सकते हैं।
कौन-से ब्राउज़र समर्थित हैं?
Robots.txt Generator Chrome, Firefox, Safari, Edge और Opera सहित सभी आधुनिक ब्राउज़रों में काम करता है। सर्वोत्तम अनुभव के लिए अपने पसंदीदा ब्राउज़र का नवीनतम संस्करण उपयोग करें।
robots.txt में Allow और Disallow के बीच क्या अंतर है?
Disallow किसी क्रॉलर को बताता है कि वह उसके बाद आने वाले पाथ का अनुरोध न करे, जबकि Allow स्पष्ट रूप से उन्हें अनुमति देता है, जो किसी ऐसी डायरेक्टरी के भीतर एक फ़ाइल या सबफ़ोल्डर को खोलने के लिए उपयोगी है जिसे आपने बाकी सब जगह ब्लॉक कर रखा है। उदाहरण के लिए, Disallow: /admin/ पूरे फ़ोल्डर को ब्लॉक करता है, और Allow: /admin/public.html सिर्फ़ उस एक पेज को अनुमति देता है। जब कोई URL Allow और Disallow दोनों नियमों से मेल खाता है, तो सर्च इंजन ऊपर से नीचे की क्रम में नहीं चलते — सबसे विशिष्ट (सबसे लंबा) मेल खाने वाला पैटर्न जीतता है, और अगर दो पैटर्न की लंबाई बराबर हो तो Allow को प्राथमिकता मिलती है। इस प्राथमिकता क्रम को गलत समझना अक्सर गलती से पेजों को ब्लॉक या उजागर कर देता है। इस जनरेटर का URL Tester ठीक यही मैचिंग लॉजिक दोहराता है: एक पाथ और एक यूज़र-एजेंट डालें, और यह दिखाता है कि URL अनुमत है या ब्लॉक, और किस नियम ने यह तय किया, ताकि आप डिप्लॉय करने से पहले पुष्टि कर सकें।
robots.txt में GPTBot और ClaudeBot जैसे AI क्रॉलर को कैसे ब्लॉक करें?
AI क्रॉलर अपने खुद के यूज़र-एजेंट नाम से robots.txt का पालन करते हैं, सर्च बॉट्स से अलग तरीके से, इसलिए Googlebot को ब्लॉक करने से GPTBot नहीं रुकता, और इसका उल्टा भी सच है। किसी बॉट को बाहर रखने के लिए, उसके सटीक नाम को टारगेट करते हुए एक ब्लॉक जोड़ें और उसमें Disallow: / लाइन डालें, उदाहरण के लिए User-agent: GPTBot के बाद Disallow: /। जनरेटर में एक समर्पित AI Bot Control टैब है जो यह काम आपके लिए संभालता है: आप हर क्रॉलर को अलग-अलग अनुमति या ब्लॉक कर सकते हैं — GPTBot और ChatGPT-User (OpenAI), Google-Extended, ClaudeBot और anthropic-ai (Anthropic), PerplexityBot, CCBot, Bytespider, और अन्य — या इन सभी को एक साथ ब्लॉक करते हुए सामान्य सर्च इंजन को अपने पेज इंडेक्स करने के लिए स्वतंत्र छोड़ सकते हैं। याद रखें कि यह एक स्वैच्छिक मानक है, इसलिए अच्छे व्यवहार वाले AI क्रॉलर इसका सम्मान करते हैं लेकिन यह पालन को ज़बरदस्ती लागू नहीं करा सकता। हर एक को टॉगल करने और अपनी फ़ाइल में नियमों को बनते देखने के लिए AI Bot Control टैब पर जाएँ।
क्या robots.txt किसी पेज को Google सर्च रिज़ल्ट में दिखने से रोक सकता है?
भरोसे के साथ नहीं। Disallow क्रॉलर को किसी पेज को फ़ेच न करने के लिए कहता है, लेकिन यह गारंटी नहीं देता कि वह URL सर्च रिज़ल्ट से बाहर ही रहेगा — अगर अन्य पेज उससे लिंक करते हैं तो Google फिर भी एक ब्लॉक किए गए URL को इंडेक्स कर सकता है, कभी-कभी बिना किसी विवरण के लिंक दिखाते हुए क्योंकि वह कंटेंट नहीं पढ़ पाया। किसी पेज को असल में इंडेक्स से बाहर रखने के लिए, उस पेज पर ही noindex मेटा टैग या X-Robots-Tag हेडर का उपयोग करें, और सबसे ज़रूरी बात यह कि उसे क्रॉल करने योग्य ही छोड़ें ताकि क्रॉलर उस डायरेक्टिव को देख सके; robots.txt में इसे ब्लॉक करने से noindex टैग छुप जाता है। Robots.txt क्रॉल बजट प्रबंधित करने और बॉट्स को कम-मूल्य वाले URL से दूर रखने के लिए सबसे अच्छा है, संवेदनशील डेटा छिपाने के लिए नहीं, क्योंकि यह ऐसा नहीं कर सकता क्योंकि दुर्भावनापूर्ण बॉट इसे पूरी तरह नज़रअंदाज़ कर सकते हैं। क्रॉलिंग को नियंत्रित करने के लिए इस जनरेटर का उपयोग करें, और जब आपको रिज़ल्ट से वास्तविक हटाव चाहिए तो इसे पेज-स्तर के noindex टैग के साथ जोड़ें।
मेरी वेबसाइट पर robots.txt फ़ाइल कहाँ रखनी चाहिए?
robots.txt फ़ाइल डोमेन के रूट में ही रहनी चाहिए — जैसे https://example.com/robots.txt — न कि /blog/robots.txt जैसे किसी सबफ़ोल्डर में, क्योंकि क्रॉलर इसे हमेशा सिर्फ़ उसी एक रूट स्थान पर खोजते हैं। यह प्रति-होस्ट भी लागू होती है, इसलिए आपके मुख्य डोमेन के रूट पर मौजूद फ़ाइल किसी सबडोमेन को कवर नहीं करती: shop.example.com को अपनी खुद की robots.txt चाहिए, और http व https वर्शन, साथ ही www व non-www, हर एक को अलग होस्ट माना जाता है जिसे सही फ़ाइल सर्व करनी चाहिए। यह फ़ाइल प्लेन टेक्स्ट होती है और इसे UTF-8 एन्कोडेड होना चाहिए, साथ ही फ़ाइल का नाम बिल्कुल robots.txt लोअरकेस में होना चाहिए। यह जनरेटर आपको पूरी हो चुकी फ़ाइल को क्लिपबोर्ड पर कॉपी करने या इसे अपलोड के लिए तैयार .txt के रूप में डाउनलोड करने देता है, तो बस इसे अपने डोमेन रूट पर डालें और पुष्टि करें कि यह yoursite.com/robots.txt पर लोड होती है।
robots.txt में CSS और JavaScript फ़ाइलों को क्यों ब्लॉक नहीं करना चाहिए?
सर्च इंजन आपके पेजों को लगभग वैसे ही रेंडर करते हैं जैसे एक ब्राउज़र करता है, यानी वह CSS और JavaScript लोड करते हैं जो पेज को अपना लेआउट और कंटेंट दिखाने के लिए चाहिए होते हैं। अगर आपकी robots.txt उन संसाधनों को रखने वाले फ़ोल्डर को disallow करती है, तो क्रॉलर उन्हें फ़ेच नहीं कर पाता, इसलिए वह पेज का टूटा-फूटा या अधूरा वर्शन देखता है। इससे यह असर पड़ सकता है कि पेज को कैसे समझा और रैंक किया जाता है, खासकर मोबाइल-फ़्रेंडलीनेस और स्क्रिप्ट द्वारा इंजेक्ट किए गए कंटेंट के लिए। एक आम गलती यह है कि /assets/ या /wp-includes/ जैसी डायरेक्टरी को ब्लॉक कर दिया जाता है जिसमें रेंडर-क्रिटिकल फ़ाइलें भी होती हैं। इसका समाधान यह है कि उन आस-पास की डायरेक्टरी को disallow करते हुए भी उन संसाधनों को allow रखें — उदाहरण के लिए, फ़ोल्डर को ब्लॉक रखें लेकिन उसके अंदर मौजूद .css और .js पाथ के लिए एक Allow नियम जोड़ें। जैसे-जैसे आप यहाँ नियम बनाते हैं, लाइव वैलिडेशन टकराव और जोखिम भरे पैटर्न को फ़्लैग करता है, और URL Tester आपको पब्लिश करने से पहले यह पुष्टि करने देता है कि ज़रूरी स्क्रिप्ट और स्टाइल फ़ाइलें क्रॉल करने योग्य बनी रहें।
संबंधित टूल
मुफ़्त SEO मेटा टैग जनरेटर
अपनी वेबसाइट के लिए SEO-अनुकूल मेटा टैग बनाएँ। शीर्षक, विवरण, कीवर्ड और बहुत कुछ। मुफ़्त, तेज़ और पूरी तरह आपके ब्राउज़र में काम करता है, बिना साइन-अप के।
मुफ़्त Open Graph टैग जनरेटर
सोशल मीडिया शेयरिंग के लिए Open Graph और Twitter Card मेटा टैग बनाएँ। मुफ़्त, तेज़ और पूरी तरह आपके ब्राउज़र में काम करता है, बिना साइन-अप के।
मुफ़्त कीवर्ड डेंसिटी चेकर
SEO ऑप्टिमाइज़ेशन के लिए अपने कंटेंट में कीवर्ड डेंसिटी और फ़्रीक्वेंसी का विश्लेषण करें। मुफ़्त, तेज़ और पूरी तरह आपके ब्राउज़र में काम करता है, बिना साइन-अप के।
मुफ़्त SEO स्लग जनरेटर
किसी भी टेक्स्ट से साफ़, SEO-अनुकूल URL स्लग बनाएँ, विशेष वर्णों के प्रबंधन के साथ। मुफ़्त, तेज़ और पूरी तरह आपके ब्राउज़र में काम करता है, बिना साइन-अप के।
Robots.txt जनरेटर के बारे में
Robots.txt जनरेटर आपकी वेबसाइट के लिए एक वैध robots.txt फ़ाइल बनाता है, बिना आपको सिंटैक्स रटे। robots.txt एक प्लेन-टेक्स्ट फ़ाइल होती है जो डोमेन के रूट में रहती है — जैसे https://example.com/robots.txt — और सर्च इंजन व AI क्रॉलर को बताती है कि साइट के किन हिस्सों का अनुरोध वे कर सकते हैं। यह टूल इसे एक विज़ुअल प्रक्रिया बना देता है: आप नियम जोड़ते हैं, उन बॉट्स को चुनते हैं जिन पर वे लागू होते हैं, और एक सही ढंग से फॉर्मैट की गई फ़ाइल को रीयल-टाइम में खुद-ब-खुद बनते देखते हैं। यह उन साइट मालिकों, SEO पेशेवरों और डेवलपर्स के लिए है जो बिना हाथ से डायरेक्टिव लिखे या पूरी साइट को गलती से ब्लॉक करने का जोखिम उठाए, क्रॉल पर नियंत्रण चाहते हैं।
सब कुछ आपके ब्राउज़र में ही चलता है। आप जो कुछ भी टाइप करते हैं — पाथ, साइटमैप URL, या इम्पोर्ट की गई कोई मौजूदा फ़ाइल — वह किसी सर्वर पर अपलोड या स्टोर नहीं होती, और कोई साइन-अप भी नहीं चाहिए। आप नतीजे को क्लिपबोर्ड पर कॉपी कर सकते हैं या इसे .txt फ़ाइल के रूप में डाउनलोड कर सकते हैं, जो आपके डोमेन रूट पर डालने के लिए तैयार होगी।
विज़ुअल बिल्डर से नियम बनाना
बिल्डर यूज़र-एजेंट ब्लॉक्स में काम करता है। हर ब्लॉक एक क्रॉलर को टारगेट करता है (या सभी के लिए *) और उसके अपने Allow व Disallow पाथ, एक वैकल्पिक Crawl-delay रखता है, और आप किसी भी साइट की ज़रूरत के हिसाब से जितने चाहें उतने ब्लॉक जोड़ सकते हैं। आम पाथ एक क्लिक की दूरी पर हैं — /admin/, /wp-admin/, /api/, /cart/, /checkout/, /*.pdf$, और अन्य — या आप कस्टम पाथ भी टाइप कर सकते हैं। आप एक या अधिक Sitemap: लाइनें और एक Host: डायरेक्टिव भी जोड़ सकते हैं।
अगर आप किसी जाने-पहचाने अच्छे बेसलाइन से शुरू करना चाहें, तो प्रीसेट्स सामान्य सेटअप्स को कवर करते हैं: Allow All, Block All, Standard Website, WordPress, Shopify, Next.js, Laravel, और E-commerce। हर प्रीसेट उस प्लेटफ़ॉर्म के लिए सामान्य निजी और डुप्लिकेट-कंटेंट पाथ को ब्लॉक करता है और, जहाँ प्रासंगिक हो, सही साइटमैप पाथ का सुझाव भी देता है।
AI क्रॉलर को नियंत्रित करना
एक समर्पित AI Bot Control टैब उन बॉट्स को संभालता है जो लार्ज-लैंग्वेज-मॉडल ट्रेनिंग और AI सर्च के लिए कंटेंट स्क्रैप करते हैं। आप हर एक को अलग-अलग अनुमति या ब्लॉक कर सकते हैं — GPTBot और ChatGPT-User (OpenAI), Google-Extended, ClaudeBot और anthropic-ai (Anthropic), PerplexityBot, CCBot (Common Crawl), Bytespider, और अन्य — या इन सभी को एक साथ ब्लॉक करते हुए सामान्य सर्च इंजन को अपने पेज इंडेक्स करने के लिए स्वतंत्र छोड़ सकते हैं। यह इसलिए मायने रखता है क्योंकि AI क्रॉलर robots.txt को Googlebot से अलग तरीके से मानते हैं: Google को ब्लॉक करने से GPTBot ब्लॉक नहीं होता, और इसका उल्टा भी सच है।
डिप्लॉय करने से पहले टेस्ट और वैलिडेट करना
क्योंकि एक भी गलत जगह लगा कैरेक्टर पूरी साइट को डीइंडेक्स कर सकता है, यह जनरेटर आपके काम को बनाते समय ही जाँचता है। लाइव वैलिडेशन गलतियों और चेतावनियों को फ़्लैग करता है — किसी पाथ में शुरुआती / का न होना, कोई साइटमैप जो पूरा URL नहीं है, एक ही Allow और Disallow पाथ का आपस में टकराना, एक ही बॉट के लिए डुप्लिकेट ब्लॉक, या इतना अधिक crawl-delay कि इंडेक्सिंग धीमी हो जाए।
URL Tester से आप एक पाथ और एक यूज़र-एजेंट डालकर देख सकते हैं कि वह अनुमत होगा या ब्लॉक, और किस नियम ने यह तय किया। यह वही असली मैचिंग नियम फॉलो करता है जो सर्च इंजन इस्तेमाल करते हैं: जब कोई URL Allow और Disallow दोनों से मेल खाता है, तो सबसे विशिष्ट (सबसे लंबा) पैटर्न जीतता है, और बराबरी की स्थिति में Allow को प्राथमिकता मिलती है। आप एक साथ कई पेजों की जाँच के लिए URL को बल्क में भी टेस्ट कर सकते हैं। एक इम्पोर्ट विकल्प भी है — किसी मौजूदा robots.txt को पेस्ट या अपलोड करें और टूल उसे वापस संपादन योग्य नियमों में पार्स कर देता है, ताकि आप किसी लाइव फ़ाइल को दोबारा लिखने के बजाय उसकी जाँच करके सुधार सकें।
Robots.txt क्यों मायने रखता है
एक सही ढंग से बनी robots.txt क्रॉलर को उन पेजों पर केंद्रित रखती है जो इंडेक्स होने लायक हैं, और सर्च-रिज़ल्ट पेज, फ़ेसेटेड-नेविगेशन URL, तथा पैरामीटर डुप्लिकेट से दूर रखती है जो क्रॉल बजट बर्बाद करते हैं। कुछ बातें ध्यान में रखने लायक हैं: यह फ़ाइल एक स्वैच्छिक मानक है, इसलिए अच्छे व्यवहार वाले क्रॉलर इसे मानते हैं लेकिन दुर्भावनापूर्ण बॉट इसे नज़रअंदाज़ कर सकते हैं — इसका इस्तेमाल कभी भी संवेदनशील डेटा छिपाने के लिए न करें। इसे डोमेन के रूट पर ही रहना चाहिए, और सबडोमेन पर मौजूद फ़ाइल सिर्फ़ उसी सबडोमेन पर लागू होती है। साथ ही, किसी पेज को रेंडर करने के लिए ज़रूरी CSS या JavaScript को ब्लॉक करने से सर्च इंजन उस पेज को कैसे देखते हैं, इस पर बुरा असर पड़ सकता है, इसलिए उन आस-पास की डायरेक्टरी को disallow करते समय भी उन संसाधनों को allow रखें।