What is Robots.txt file in SEO

Robots.txt File Kya Hoti Hai: अपनी वेबसाइट के लिए कैसे बनायें

अगर आप Blogger या SEO Person है तो आपने Robots.txt File का नाम जरुर सुना होगा. पर क्या आप जानते हैं Robots.txt File Kya Hoti Hai? इसे क्यों बनाया जाता है ? इसे बनाने के क्या फायदे होते हैं? और इसे कैसे बनायें?

अगर आप ऊपर पूछे गए सभी प्रश्नों का जवाब जानना चाहते हैं तो इस लेख को पूरा पढ़िए. इसमें मैंने आपको Robots.txt File की पूरी जानकारी विस्तार से बताई है .मुझे पूरी उम्मीद है कि इस लेख को पढने के बाद आपको Same Information के लिए किसी दूसरे किसी वेबसाइट पर जाने की जरुरत नहीं पड़ेगी.

तो चलिए बिना देरी किये शुरू करते हैं आज का यह लेख और जानते हैं Robots.txt फाइल क्या है की पूरी जानकारी आसान शब्दों में.

Robots.txt File क्या है

Robots.txt File एक ऐसी फाइल होती है जिसके द्वारा वेबमास्टर सर्च इंजन क्रॉलर को निर्देश देते हैं कि वेबसाइट के कौन से पेज को क्रॉल करना है और किस पेज को क्रॉल नहीं करना है.

जब भी हम कोई ब्लॉग या वेबसाइट बनाते हैं तो सर्च इंजन के Robot या क्रॉलर हमारे वेबसाइट के हर एक पेज को Crawl करते हैं और फिर Index करते हैं. पर वेबसाइट में कुछ ऐसे पेज भी होते हैं जिन्हें हम चाहते हैं कि ये पेज प्राइवेट ही रहे. मतलब सर्च इंजन के क्रॉलर इन्हें क्रॉल ना करें. सर्च इंजन के क्रॉलर को यह निर्देश देने के लिए Robots.txt File का प्रयोग किया जाता है.

Definition of Robots.txt File in Hindi
किसी वेबसाइट में Robots.txt File वह फाइल होती है जिसके माध्यम से सर्च इंजन क्रॉलर को यह निर्देश दिया जाता है कि वेबसाइट के किस पेज को क्रॉल करना है और किस पेज को नहीं.

Robots.txt File कैसे काम करती है ?

मैंने एक पिछले लेख में आपको बताया था कि Search Engine काम कैसे करते हैं. इसके दो प्रमुख काम हैं एक तो Crawling और दूसरा Indexing .

जब भी कोई सर्च इंजन बोट्स हमारी वेबसाइट पर आता है तो वह सबसे पहले Robots.txt File को ढूंढता है और देखता है कि उसे क्या निर्देश मिले हैं. और फिर उसी के अनुसार वह वेबसाइट की Crawling और Indexing करता है. अगर सर्च इंजन बोट्स को Robots.txt File बनी नहीं मिलती है तो वह वेबसाइट के सभी पेज को Crawl कर लेता है.

जितने भी भरोसेमंद सर्च इंजन हैं वह सभी Robots.txt File के निर्देशों का सख्ती के साथ पालन करते हैं. जैसे Google, Bing आदि.

Robots.txt File क्यों बनाई जाती है ?

एक सवाल आप सभी के मन में आ रहा होगा कि हम ऐसा चाहते ही क्यों हैं कि हमारी वेबसाइट के कुछ पेज Index न हो? क्योकि जब भी ब्लॉगर नया ब्लॉग बनाता है तो वह चाहता है कि मेरी वेबसाइट के सभी पेज जल्दी से जल्दी Index हो .

चलिए इस प्रश्न का जवाब भी जानते हैं. जब भी सर्च इंजन क्रॉलर किसी वेबसाइट को क्रॉल करने आते हैं तो उनके पास निश्चित समय और संसाधन होते हैं एक वेबसाइट को Crawl करने के लिए, जिसे की Crawl Budget कहते हैं.

इसलिए हम चाहते हैं कि क्रॉलर उस सीमित समय और संसाधनों के साथ हमारे वेबसाइट के सभी महत्वपूर्ण पेज को जल्दी इंडेक्स करें, जो हमारी वेबसाइट के रैंकिंग को प्रभावित कर सकते हैं. इसी काम के लिए Robots.txt File का इस्तेमाल किया जाता है.

Robots.txt File बनाने से सर्च इंजन बोट्स वेबसाइट के उस पेज को क्रॉल नहीं करेंगे जो वेबपेज वेबसाइट के लिए उतने महत्वपूर्ण नहीं हैं. आप Category, Tags , Author, Admin etc. पेजों की Indexing को Robots.txt फाइल से ब्लॉक कर सकते हैं.

इसके अलावा हर किसी वेबसाइट में कुछ प्राइवेट वेबपेज भी होते हैं जिन्हें हम इंडेक्स नहीं करवाना चाहते हैं. इन वेबपेजों की Indexing को रोकने के लिए भी Robots.txt File का इस्तेमाल किया जाता है.

Robots.txt के फायदे

Robots.txt File बनाने के अनेक सारे फायदे आपको मिलते हैं, जैसे कि –

Robots.txt File Format in Hindi

Robots.txt File का जो Format होता है वह कुछ इस प्रकार होता है –

User Agent – *
Allow : /
Disallow : /

इस फॉर्मेट में User Agents का मतलब होता है सर्च इंजन क्रॉलर. जैसे अगर हम केवल Google Bots को निर्देश देंगे तो User Agents में Googlebot लिखेंगे, इसी प्रकार Bing को निर्देश देने के लिए Bingbot का प्रयोग करेंगे. लेकिन अगर हम सभी सर्च इंजन बोट्स को निर्देश देना चाहते हैं तो * चिन्ह का प्रयोग करते हैं .

Allow वाले सेक्शन में हम अपने उन वेबपेज को क्रॉल करने का निर्देश देते हैं, जिन्हें हम चाहते हैं कि सर्च इंजन इंडेक्स करें.

Disallow के सेक्शन में हम उन वेबपेज को ऐड करते हैं जिन्हें हम चाहते हैं कि सर्च इंजन बोट्स इन्हें क्रॉल न करें. तो यह था Robots.txt File का Basic Format जिसे समझना बहुत आसान है.

Robots.txt File Kaise Banaye
मैं आपको Blogger.com और WordPress दोनों में बताऊंगा कि Robots.txt File कैसे बनाई जाती है .

Robots.txt File For Blogger
Blogger में Robots.txt File बनाने के लिए नीचे बताए गए स्टेप को फॉलो करें –

Robots.txt File For WordPress

WordPress पर Robots.txt File बनाने के लिए नीचे बताये गए स्टेप को फॉलो करें. यह Yoast SEO प्लगइन के लिए है.

.

Rank Math प्लगइन में आपको साइडबार में ही Robots.txt का विकल्प मिल जाएगा, इस पर क्लिक करते ही आप Robots.txt को एडिट कर सकते हैं.

वेबसाइट की Robots.txt File Check कैसे करें?
इस नीचे दिए गए URL की मदद से आप किसी भी Website का Robots.txt File देख सकते हैं –

https://example.com/robots.txt.
example.com में उस वेबसाइट का Domain Name डालना है जिस वेबसाइट की आप Robots.txt File देखना चाहते हैं . जैसे हमारी वेबसाइट का Robots.txt File https://www.hinditechdr.com/robots.txt है.

FAQ For Robots.txt File in Hindi

Q – किसी भी वेबसाइट की Robots.txt File कैसे देखें ?

Robots.txt File देखने के लिए इस URL का प्रयोग करें – example.com/Robots.txt example.com के साथं पर उस वेबसाइट का नाम लिखना है जिसका आप Robots.txt File देखना चाहते हैं.

Q – Robots.txt File का प्रयोग क्यों किया जाता है?

किसी भी वेबसाइट का कौन सा पेज क्रॉल करना है और कौन सा पेज क्रॉल नहीं करना है यह निर्देश सर्च इंजन क्रॉलर को देने के लिए Robots.txt File का प्रयोग किया जाता है.

Q – किसी वेबपेज की Crawling को कैसे रोक सकते हैं?

आप Robots.txt File के इस्तेमाल से किसी भी वेबपेज की Crawling को रोक सकते हैं.

Q – Robots.txt फाइल कहाँ मौजूद होती है?

Robots.txt File वेबसाइट के रूट फोल्डर में मौजूद होती है.